15二分查找(下):如何快速定位IP对应的省份地址

首先,该文章来自于极客时间网站,王争的专栏——《数据结构与算法之美》,我这里只是做简单的解释、记录并添加自己的见解,只是作为个人笔记,若侵权,马上删除。最后建议直接去该网站上购买该课程看原作者的讲解,一来是支持作者,二来是作者写的确实不错。

首先提出一个问题,如何根据IP地址快速定位地理位置?其实它是通过维护一个很大的 IP 地址库来实现的。地址库中包括 IP 地址范围和归属地的对应关系。例如部分IP地址库如下:

1
2
3
4
5
6
[202.102.133.0, 202.102.133.255]  山东东营市 
[202.102.135.0, 202.102.136.255] 山东烟台
[202.102.156.34, 202.102.157.255] 山东青岛
[202.102.48.0, 202.102.48.255] 江苏宿迁
[202.102.49.15, 202.102.51.251] 江苏泰州
[202.102.56.0, 202.102.56.255] 江苏连云港

当查询202.102.133.13IP地址时,查询IP地址库发现落在了[202.102.133.0, 202.102.133.255],所以显示出的地理位置为“山东东营市”。

然而,在庞大的地址库中逐一比对IP地址所在的区间是非常耗时的。假设有12万条这样的IP区间与归属地的对应关系,如何快速定位一个IP地址的归属地?

这需要用到二分查找的变形形式。上一节介绍的二分查找是最简单的形式,即在不存在重复元素的有序数组中,查找值等于给定值的元素。最简单的二分查找写起来确实不难,但是二分查找的变形问题就比较难了。

二分查找的变形问题很多,下面为几个经典的变形形式。

img

为了简化,下面均以数据从小到大排列为前提。如果你要处理的数据是从大到小排列的,解决思路是一样的。

变体一:查找第一个值等于给定值的元素

看到这个变体第一反应应该想到的是,不同于二分查找最简单的形式,在这个变体中,有序数组中的元素可以重复。然后要查找第一个值等于给定值的元素。

比如下面的数组存在重复的数字,第一个等于8的数据在下标为5时得到。

img

如果我们拿最简单形式的二分查找代码来实现,首先拿 8 与区间的中间值 a[4] 比较,8 比 6 大,于是在下标 5 到 9 之间继续查找。下标 5 和 9 的中间位置是下标 7,a[7] 正好等于 8,所以代码就返回了。尽管a[7]也等于8,但是它并不是第一个等于8的元素。最简单形式的二分查找代码就没法处理这种情况了。

思考下怎么对二分查找法进行变形才能解决这个问题呢?可以在算法终止条件入手。若不是首元素,则判断一下找出的目标元素的上一个元素是不是也是目标元素。若不是的话,则该找出的目标元素是第一个等于给定值的元素;若是的话,则改变查找的范围,继续寻找。

针对这个问题的变形二分查找有很多种实现方法。有很简洁的形式,但是理解起来比较麻烦,例如下面代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
public int bsearch(int[] a, int n, int value) {
int low = 0;
int high = n - 1;
while (low <= high) {
int mid = low + ((high - low) >> 1);
if (a[mid] >= value) {
high = mid - 1;
} else {
low = mid + 1;
}
}

if (low < n && a[low]==value) return low;
else return -1;
}

然而,这种写法不好理解,而且特别容易忘。作者换了另外一种实现方法。代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
public int bsearch(int[] a, int n, int value) {
int low = 0;
int high = n - 1;
while (low <= high) {
int mid = low + ((high - low) >> 1);
if (a[mid] > value) {
high = mid - 1;
} else if (a[mid] < value) {
low = mid + 1;
} else {
if ((mid == 0) || (a[mid - 1] != value)) return mid;
else high = mid - 1;
}
}
return -1;
}

这个代码中最关键的点在于对 a[mid]=value 的处理,此时我们要保证这个 a[mid] 是第一个值等于给定值的元素。我们重点看if ((mid == 0) || (a[mid - 1] != value))这行代码,如果 mid 等于 0,那这个元素已经是数组的第一个元素,那它肯定是我们要找的;如果 mid 不等于 0,但 a[mid] 的前一个元素 a[mid-1] 不等于 value,那也说明 a[mid] 就是我们要找的第一个值等于给定值的元素。如果经过检查之后发现 a[mid] 前面的一个元素 a[mid-1] 也等于 value,那说明此时的 a[mid] 肯定不是我们要查找的第一个值等于给定值的元素。那我们就更新 high=mid-1,因为要找的元素肯定出现在 [low, mid-1] 之间。

变体二:查找最后一个值等于给定值的元素

将前一个问题稍微更改一下,改为查找最后一个值等于给定值的元素。其实这个核心思想和上一个问题的核心思想一致。代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
public int bsearch(int[] a, int n, int value) {
int low = 0;
int high = n - 1;
while (low <= high) {
int mid = low + ((high - low) >> 1);
if (a[mid] > value) {
high = mid - 1;
} else if (a[mid] < value) {
low = mid + 1;
} else {
if ((mid == n - 1) || (a[mid + 1] != value)) return mid;
else low = mid + 1;
}
}
return -1;
}

我们还是重点分析下if ((mid == n - 1) || (a[mid + 1] != value))这行代码,如果 a[mid] 这个元素已经是数组中的最后一个元素了,那它肯定是我们要找的;如果 a[mid] 的后一个元素 a[mid+1] 不等于 value,那也说明 a[mid] 就是我们要找的最后一个值等于给定值的元素。如果我们经过检查之后,发现 a[mid] 后面的一个元素 a[mid+1] 也等于 value,那说明当前的这个 a[mid] 并不是最后一个值等于给定值的元素。我们就更新 low=mid+1,因为要找的元素肯定出现在 [mid+1, high] 之间。

变体三:查找第一个大于等于给定值的元素

现在我们再看另外一种变形问题。在有序数组中,查找第一个大于等于给定值的元素。比如,数组中存储的这样一个序列:3,4,6,7,10。如果查找第一个大于等于 5 的元素,那就是 6。

实现的思路跟之前很像,如下所示:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
public int bsearch(int[] a, int n, int value) {
int low = 0;
int high = n - 1;
while (low <= high) {
int mid = low + ((high - low) >> 1);
if (a[mid] >= value) {
if ((mid == 0) || (a[mid - 1] < value)) return mid;
else high = mid - 1;
} else {
low = mid + 1;
}
}
return -1;
}

如果 a[mid] 小于要查找的值 value,那要查找的值肯定在 [mid+1, high] 之间,所以,我们更新 low=mid+1。

对于 a[mid] 大于等于给定值 value 的情况,我们要先看下这个 a[mid] 是不是我们要找的第一个值大于等于给定值的元素。如果 a[mid] 前面已经没有元素,或者前面一个元素小于要查找的值 value,那 a[mid] 就是我们要找的元素。这段逻辑对应的代码是if ((mid == 0) || (a[mid - 1] < value)) return mid;第一行。

如果 a[mid-1] 也大于等于要查找的值 value,那说明要查找的元素在 [low, mid-1] 之间,所以,我们将 high 更新为 mid-1。

变体四:查找最后一个小于等于给定值的元素

现在看最后一种二分查找的变体,查找最后一个小于等于给定值的元素。比如,数组中存储了这样一组数据:3,5,6,8,9,10。最后一个小于等于 7 的元素就是 6。是不是有点类似上面那一种?实际上,实现思路也是一样的。代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
public int bsearch7(int[] a, int n, int value) {
int low = 0;
int high = n - 1;
while (low <= high) {
int mid = low + ((high - low) >> 1);
if (a[mid] > value) {
high = mid - 1;
} else {
if ((mid == n - 1) || (a[mid + 1] > value)) return mid;
else low = mid + 1;
}
}
return -1;
}

解答开篇

我们再看下开篇的问题:如何快速定位出一个 IP 地址的归属地?

因为IP地址库不经常更新,所以可以预先将IP地址库按照起始IP地址从小到大排列。排序的时候可以采用下面思路:IP地址分为四段,每一段都可以用8位二进制数表示,所以IP 地址可以转化为 32 位的整型数,将起始地址按照对应的整型值的大小关系,从小到大进行排序。然后这个问题就可以变形为“查找最后一个小于等于给定值的元素”。

当我们要查询某个 IP 归属地时,我们可以先通过二分查找,找到最后一个起始 IP 小于等于这个 IP 的 IP 区间,然后,检查这个 IP 是否在这个 IP 区间内,如果在,我们就取出对应的归属地显示;如果不在,就返回未查找到。

内容小结

在我们学到后面的散列表或者二叉查找树时,就得到一个结论:凡是用二分查找能解决的,绝大部分我们更倾向于用散列表或者二叉查找树。即便是二分查找在内存使用上更节省,但是毕竟内存如此紧缺的情况并不多。

那么何时用到二分查找呢?实际上,上一节讲的求“值等于给定值”的二分查找确实不怎么会被用到,二分查找更适合用在“近似”查找问题,在这类问题上,二分查找的优势更加明显。比如今天讲的这几种变体问题,用其他数据结构,比如散列表、二叉树,就比较难实现了。

变体的二分查找算法写起来非常烧脑,很容易因为细节处理不好而产生 Bug,这些容易出错的细节有:终止条件、区间上下界更新方法、返回值选择。

课后思考

如果有序数组是一个循环有序数组,比如 4,5,6,1,2,3。针对这种情况,如何实现一个求“值等于给定值”的二分查找算法呢?这个问题对应leetcode第33题。

答:这里有三种方法:

方法一:

  1. 找到分界下标,分成两个有序数组;
  2. 判断目标值在哪个有序数据范围内,做二分查找

方法二:

  1. 找到最大值的下标 x;
  2. 所有元素下标 +x 偏移,超过数组范围值的取模;
  3. 利用偏移后的下标做二分查找;
  4. 如果找到目标下标,再作 -x 偏移,就是目标值实际下标。

这里两种方法的最高耗时均是在查找分界点上,所以时间复杂度是 O(N)。

方法三:

我们发现循环数组存在一个性质:以数组中间点为分区,会将数组分成一个有序数组和一个循环有序数组。

  1. 如果首元素小于 mid,说明前半部分是有序的,后半部分是循环有序数组;
  2. 如果首元素大于 mid,说明后半部分是有序的,前半部分是循环有序的数组;
  3. 如果目标元素在有序数组范围中,使用二分查找;
  4. 如果目标元素在循环有序数组中,设定数组边界后,使用以上方法继续查找。

    时间复杂度为 O(logN)。

------ 本文结束------
坚持原创技术分享,您的支持将鼓励我继续创作!

欢迎关注我的其它发布渠道