首先,该文章来自于极客时间网站,王争的专栏——《数据结构与算法之美》,我这里只是做简单的解释、记录并添加自己的见解,只是作为个人笔记,若侵权,马上删除。最后建议直接去该网站上购买该课程看原作者的讲解,一来是支持作者,二来是作者写的确实不错。
首先,我们来看一道思考题:假设我们有 1000 万个整数数据,每个数据占 8 个字节,如何设计数据结构和算法,快速判断某个整数是否出现在这 1000 万数据中? 我们希望这个功能不要占用太多的内存空间,最多不要超过 100MB,你会怎么做呢?
无处不在的二分思想
先看一个例子,假设现在有10个订单,订单金额分别是8,11,19,23,27,33,45,55,67,98。我们的任务是寻找是否存在金额等于19元的订单。如果存在,则返回订单数据,如果不存在则返回null。
利用二分思想,每次都与区间的中间数据(如果范围的数字有偶数个,中间数有两个,则选择较小的那个)比对大小,缩小查找区间的范围。如下图所示,low 和 high 表示待查找区间的下标,mid 表示待查找区间的中间元素下标。
看懂这个例子后,对二分思想进行一下总结:二分查找针对的是一个有序的数据集合,查找思想有点类似分治思想。每次都通过跟区间的中间元素对比,将待查找的区间缩小为之前的一半,直到找到要查找的元素,或者区间被缩小为 0。
O(logn) 惊人的查找速度
二分查找是一种非常高效的查找算法,我们一起分析一下它的时间复杂度。
我们假设数据大小是 n,每次查找后数据都会缩小为原来的一半,也就是会除以 2。最坏情况下,直到查找区间被缩小为空,才停止。
可以看出来,这是一个等比数列。其中 $n/2^k=1$ 时,$k$的值就是总共缩小的次数。而每一次缩小操作只涉及两个数据的大小比较,所以,经过了 $k$ 次区间缩小操作,时间复杂度就是 $O(k)$。通过 $n/2^k=1$,我们可以求得 $k=log_2n$,所以时间复杂度就是 $O(logn)$。
二分查找是目前我们遇到的第一个时间复杂度为$O(logn)$的算法。当然后面堆、二叉树的操作时间复杂度也是$O(logn)$。这种对数时间复杂度,是一种极其高效的时间复杂度,有时比常量级$O(1)$的算法还要高效。因为对于对数时间复杂度,即使n特别大,比如2的32次方,大约为42亿,使用二分查找法在其中查找一个数据,最多需要比较32次。而用大O标记法表示时间复杂度时,会省略掉常数、系数和低阶。对于常量级时间复杂度的算法来说,O(1) 有可能表示的是一个非常大的常量值,比如 O(1000)、O(10000)。所以,常量级时间复杂度的算法有时候可能还没有 $O(logn) $的算法执行效率高。而对数反过来的就是指数,用指数时间复杂度的算法在大规模数据面前是无效的。
二分查找的递归与非递归实现
二分查找有最简单的形式,也有其变体形式。我们首先看下最简单的二分查找。
最简单的情况就是有序数组中不存在重复元素,我们在其中用二分查找值等于给定值的数据。最简单的二分查找算法对应的Java代码如下。
1 | public int bsearch(int[] a, int n, int value) { |
这个代码中以下三个地方容易出错:
- 循环退出条件:注意是 low<=high,而不是 low
- mid 的取值:实际上,mid=(low+high)/2 这种写法是有问题的。因为如果 low 和 high 比较大的话,两者之和就有可能会溢出。改进的方法是将 mid 的计算方式写成 low+(high-low)/2。更进一步,如果要将性能优化到极致的话,我们可以将这里的除以 2 操作转化成位运算 low+((high-low)>>1)。因为相比除法运算来说,计算机处理位运算要快得多。
- low 和 high 的更新:low=mid+1,high=mid-1。注意这里的 +1 和 -1,如果直接写成 low=mid 或者 high=mid,就可能会发生死循环。比如,当 high=3,low=3 时,如果 a[3] 不等于 value,就会导致一直循环不退出。
实际上,二分查找除了用循环来实现,还可以用递归来实现,过程也非常简单。对应的Java代码如下:
1 | // 二分查找的递归实现 |
二分查找应用的局限性
首先,二分查找依赖的是顺序表结构,简单点说就是数组。二分查找是不能依赖于其他像链表这样的数据结构的,主要原因是二分查找算法需要按照下标随机访问元素。我们在数组和链表那两节讲过,数组按照下标随机访问数据的时间复杂度是 O(1),而链表随机访问的时间复杂度是 O(n)。所以,如果数据使用链表存储,二分查找的时间复杂就会变得很高。
其次,二分查找针对的是有序数据。如果数据没有序,我们需要先排序,而排序的时间复杂度最低是 O(nlogn)。所以,如果我们针对的是一组静态的数据,没有频繁地插入、删除,我们可以进行一次排序,多次二分查找。这样排序的成本可被均摊,二分查找的边际成本就会比较低。但是,如果我们的数据集合有频繁的插入和删除操作,要想用二分查找,要么每次插入、删除操作之后保证数据仍然有序,要么在每次二分查找之前都先进行排序。针对这种动态数据集合,无论哪种方法,维护有序的成本都是很高的。所以,二分查找只能用在插入、删除操作不频繁,一次排序多次查找的场景中。
再次,数据量太小不适合二分查找。如果要处理的数据量很小,完全没有必要用二分查找,顺序遍历就足够了。比如在大小为10的数组中查找一个元素。不过,如果数据之间的比较操作比较耗时,不管数据量大小,都推荐使用二分查找。比如数组中存储的都是长度超过300的字符串,比对两个字符串的大小特别耗时。我们需要尽可能的减少比较次数,提高性能,这时二分查找会比顺序遍历更有优势。
最后,数据量太大也不适合二分查找。这时因为二分查找为了支持随机访问,依赖内存连续的数据结构,也就是数组。比如我们有1G大小的数据,如果要用数组来存储,需要1GB的连续内存空间。太大的数据用数组存储就太吃力的,也就不用二分查找了。
解答开篇
思考下开头的思考题:如何在 1000 万个整数中快速查找某个整数?每个整数所占的内存大小为8字节。内存限制为100MB。
计算一下1000万的整数所占的内存为:$10^7*8/1000/1000=80MB$。符合内存限制。所以我们可以采用先对这1000万数据从小到大排序,然后再利用二分查找算法,快速查找某个整数。
若你对数据结构和算法有一定的了解,知道散列表、二叉树这些支持快速查找的动态数据结构。可能觉得它们也可以解决这个问题,实际上是不行的。因为虽然大部分情况下,用二分查找可以解决的问题,用散列表、二叉树都可以解决。但是不管是二叉树还是散列表,都会需要比较多的额外内存空间。100MB内存肯定装不下这1000万的数据。而二分查找所依赖的底层数据结构为数组,不需要额外存储其他信息,是最省内存空间的存储方式。
内容小节
二分查找是一种针对有序数据的高效查找算法,时间复杂度为0(logn)。
二分查找的核心思想理解起来非常简单,有点类似分治思想。即每次都通过跟区间中的中间元素对比,将待查找的区间缩小为一半,直到找到要查找的元素,或者区间被缩小为 0。但是二分查找的代码实现比较容易写错。具体有三个容易出错的地方:循环退出条件、mid 的取值,low 和 high 的更新。
二分查找虽然性能比较优秀,但应用场景也比较有限。底层必须依赖数组,并且还要求数据是有序的。对于较小规模的数据查找,我们直接使用顺序遍历就可以了,二分查找的优势并不明显。二分查找更适合处理静态数据,也就是没有频繁的数据插入、删除操作。
课后思考
如何编程实现“求一个数x的平方根y”?要求精确到小数点后 6 位。
答:因为要精确到后六位,可以先用二分查找出整数位,然后再二分查找小数第一位,第二位,一直到第六位。
整数查找很简单,当前数 y 的平方小于 x ,而当前数 y+1 后平方大于 x ,则整数位即为 y。
小数查找以查找第一位小数为例,从 x.0 到 (x+1).0 查找,查找终止条件和上面一样,也就是当前数 y 的平方小于x,而当前数 y+0.1 后平方大于 x,则精确到小数点后一位的 y 为当前数y。
后面的位数以此类推,可以用 x*10^(-i) 通项来循环或者递归,终止条件是 i>6 。
每次二分的时间复杂度为logn,包括整数位会查找7次,所以时间复杂度为 7logn,用大O表示法为 O(logn),空间复杂度为O(1)。
如果数据使用链表存储,二分查找的时间复杂就会变得很高,那查找的时间复杂度究竟是多少呢?
答:假设链表长度为n,二分查找每次都要找到中间点(计算中忽略奇偶数差异):第一次查找中间点,需要移动指针n/2次;第二次,需要移动指针n/4次;第三次需要移动指针n/8次;……;以此类推,一直到1次为值(这里所说的移动指针是顺序移动而不是逆序移动,即第二次时,链表大小为n/2,从头移动到链表中间需要n/4次)。总共指针移动次数(查找次数) = n/2 + n/4 + n/8 + …+ 1,这显然是个等比数列,根据等比数列求和公式:Sum = n - 1。最后算法时间复杂度为:O(n-1),忽略常数,即为O(n)。时间复杂度和顺序查找时间复杂度相同。所以使用链表时,二分查找相比顺序查找没有优势。