作者:ThinkingKeep
鏈接:https://juejin.cn/post/7118954784853327903
細心的朋友應該會發現,最近,繼新浪微博之后,頭條、騰訊、抖音、知乎、快手、小紅書等各大平臺陸陸續續都上線了“網路用戶IP地址顯示功能”,境外用戶顯示的是國家,國內的用戶顯示的省份,而且此項顯示無法關閉,歸屬地強制顯示,
作為技術人,那!這個功能要怎么實作呢?
下面,我就來講講,Java中是如何獲取IP屬地的,主要分為以下幾步:
- 通過 HttpServletRequest 物件,獲取用戶的 IP 地址
- 通過 IP 地址,獲取對應的省份、城市
首先需要寫一個 IP 獲取的工具類,因為每一次用戶的 Request 請求,都會攜帶上請求的 IP 地址放到請求頭中

通過此方法,從請求Header中獲取到用戶的IP地址
目前本人在做的專案中,也有獲取IP地址歸屬地省份、城市的需求,用的是:淘寶IP庫
地址:ip.taobao.com/


原來的請求原始碼如下:


可以看到日志log檔案中,大量的the request over max qps for user問題

下面,給大家介紹下之前在Github沖浪時發現的今天的主角:
目前最新已更新到了v2.0版本,ip2region v2.0是一個離線IP地址定位庫和IP定位資料管理框架,10微秒級別的查詢效率,準提供了眾多主流編程語言的 xdb 資料生成和查詢客戶端實作,
99.9%準確率:
資料聚合了一些知名ip到地名查詢提供商的資料,這些是他們官方的的準確率,經測驗著實比經典的純真IP定位準確一些,
多查詢客戶端的支持
已經集成的客戶端有:java、C#、php、c、python、nodejs、php擴展(php5和php7)、golang、rust、lua、lua_c, nginx,
| binding | 描述 | 開發狀態 | binary查詢耗時 | b-tree查詢耗時 | memory查詢耗時 |
|---|---|---|---|---|---|
| c | ANSC c binding | 已完成 | 0.0x毫秒 | 0.0x毫秒 | 0.00x毫秒 |
| c# | c# binding | 已完成 | 0.x毫秒 | 0.x毫秒 | 0.1x毫秒 |
| golang | golang binding | 已完成 | 0.x毫秒 | 0.x毫秒 | 0.1x毫秒 |
| java | java binding | 已完成 | 0.x毫秒 | 0.x毫秒 | 0.1x毫秒 |
| lua | lua實作的binding | 已完成 | 0.x毫秒 | 0.x毫秒 | 0.x毫秒 |
| lua_c | lua的c擴展 | 已完成 | 0.0x毫秒 | 0.0x毫秒 | 0.00x毫秒 |
| nginx | nginx的c擴展 | 已完成 | 0.0x毫秒 | 0.0x毫秒 | 0.00x毫秒 |
| nodejs | nodejs | 已完成 | 0.x毫秒 | 0.x毫秒 | 0.1x毫秒 |
| php | php實作的binding | 已完成 | 0.x毫秒 | 0.1x毫秒 | 0.1x毫秒 |
| php5_ext | php5的c擴展 | 已完成 | 0.0x毫秒 | 0.0x毫秒 | 0.00x毫秒 |
| php7_ext | php7的c擴展 | 已完成 | 0.0毫秒 | 0.0x毫秒 | 0.00x毫秒 |
| python | python bindng | 已完成 | 0.x毫秒 | 0.x毫秒 | 0.x毫秒 |
| rust | rust binding | 已完成 | 0.x毫秒 | 0.x毫秒 | 0.x毫秒 |
Ip2region V2.0 特性
1、標準化的資料格式
每個 ip 資料段的 region 資訊都固定了格式:國家|區域|省份|城市|ISP,只有中國的資料絕大部分精確到了城市,其他國家部分資料只能定位到國家,后前的選項全部是0,
2、資料去重和壓縮
xdb 格式生成程式會自動去重和壓縮部分資料,默認的全部 IP 資料,生成的 ip2region.xdb 資料庫是 11MiB,隨著資料的詳細度增加資料庫的大小也慢慢增大,
3、極速查詢回應
即使是完全基于 xdb 檔案的查詢,單次查詢回應時間在十微秒級別,可通過如下兩種方式開啟記憶體加速查詢:
- vIndex 索引快取 :使用固定的 512KiB 的記憶體空間快取 vector index 資料,減少一次 IO 磁盤操作,保持平均查詢效率穩定在10-20微秒之間,
- xdb 整個檔案快取:將整個 xdb 檔案全部加載到記憶體,記憶體占用等同于 xdb 檔案大小,無磁盤 IO 操作,保持微秒級別的查詢效率,
4、極速查詢回應
v2.0 格式的 xdb 支持億級別的 IP 資料段行數,region 資訊也可以完全自定義,例如:你可以在 region 中追加特定業務需求的資料,例如:GPS資訊/國際統一地域資訊編碼/郵編等,也就是你完全可以使用 ip2region 來管理你自己的 IP 定位資料,
ip2region xdb java 查詢客戶端實作
- 使用方式
引入maven倉庫:
<dependency>
<groupId>org.lionsoul</groupId>
<artifactId>ip2region</artifactId>
<version>2.6.4</version>
</dependency>
- 完全基于檔案的查詢
import org.lionsoul.ip2region.xdb.Searcher;
import java.io.*;
import java.util.concurrent.TimeUnit;
public class SearcherTest {
public static void main(String[] args) {
// 1、創建 searcher 物件
String dbPath = "ip2region.xdb file path";
Searcher searcher = null;
try {
searcher = Searcher.newWithFileOnly(dbPath);
} catch (IOException e) {
System.out.printf("failed to create searcher with `%s`: %s\n", dbPath, e);
return;
}
// 2、查詢
try {
String ip = "1.2.3.4";
long sTime = System.nanoTime();
String region = searcher.search(ip);
long cost = TimeUnit.NANOSECONDS.toMicros((long) (System.nanoTime() - sTime));
System.out.printf("{region: %s, ioCount: %d, took: %d μs}\n", region, searcher.getIOCount(), cost);
} catch (Exception e) {
System.out.printf("failed to search(%s): %s\n", ip, e);
}
// 3、備注:并發使用,每個執行緒需要創建一個獨立的 searcher 物件單獨使用,
}
}
- 快取VectorIndex索引
我們可以提前從 xdb 檔案中加載出來 VectorIndex 資料,然后全域快取,每次創建 Searcher 物件的時候使用全域的 VectorIndex 快取可以減少一次固定的 IO 操作,從而加速查詢,減少 IO 壓力,
import org.lionsoul.ip2region.xdb.Searcher;
import java.io.*;
import java.util.concurrent.TimeUnit;
public class SearcherTest {
public static void main(String[] args) {
String dbPath = "ip2region.xdb file path";
// 1、從 dbPath 中預先加載 VectorIndex 快取,并且把這個得到的資料作為全域變數,后續反復使用,
byte[] vIndex;
try {
vIndex = Searcher.loadVectorIndexFromFile(dbPath);
} catch (Exception e) {
System.out.printf("failed to load vector index from `%s`: %s\n", dbPath, e);
return;
}
// 2、使用全域的 vIndex 創建帶 VectorIndex 快取的查詢物件,
Searcher searcher;
try {
searcher = Searcher.newWithVectorIndex(dbPath, vIndex);
} catch (Exception e) {
System.out.printf("failed to create vectorIndex cached searcher with `%s`: %s\n", dbPath, e);
return;
}
// 3、查詢
try {
String ip = "1.2.3.4";
long sTime = System.nanoTime();
String region = searcher.search(ip);
long cost = TimeUnit.NANOSECONDS.toMicros((long) (System.nanoTime() - sTime));
System.out.printf("{region: %s, ioCount: %d, took: %d μs}\n", region, searcher.getIOCount(), cost);
} catch (Exception e) {
System.out.printf("failed to search(%s): %s\n", ip, e);
}
// 備注:每個執行緒需要單獨創建一個獨立的 Searcher 物件,但是都共享全域的制度 vIndex 快取,
}
}
- 快取整個xdb資料
我們也可以預先加載整個 ip2region.xdb 的資料到記憶體,然后基于這個資料創建查詢物件來實作完全基于檔案的查詢,類似之前的 memory search,
import org.lionsoul.ip2region.xdb.Searcher;
import java.io.*;
import java.util.concurrent.TimeUnit;
public class SearcherTest {
public static void main(String[] args) {
String dbPath = "ip2region.xdb file path";
// 1、從 dbPath 加載整個 xdb 到記憶體,
byte[] cBuff;
try {
cBuff = Searcher.loadContentFromFile(dbPath);
} catch (Exception e) {
System.out.printf("failed to load content from `%s`: %s\n", dbPath, e);
return;
}
// 2、使用上述的 cBuff 創建一個完全基于記憶體的查詢物件,
Searcher searcher;
try {
searcher = Searcher.newWithBuffer(cBuff);
} catch (Exception e) {
System.out.printf("failed to create content cached searcher: %s\n", e);
return;
}
// 3、查詢
try {
String ip = "1.2.3.4";
long sTime = System.nanoTime();
String region = searcher.search(ip);
long cost = TimeUnit.NANOSECONDS.toMicros((long) (System.nanoTime() - sTime));
System.out.printf("{region: %s, ioCount: %d, took: %d μs}\n", region, searcher.getIOCount(), cost);
} catch (Exception e) {
System.out.printf("failed to search(%s): %s\n", ip, e);
}
// 備注:并發使用,用整個 xdb 資料快取創建的查詢物件可以安全的用于并發,也就是你可以把這個 searcher 物件做成全域物件去跨執行緒訪問,
}
}
IDEA中做個測驗

完全基于檔案的查詢
ip屬地國內的話,會展示省份,國外的話,只會展示國家,可以通過如下圖這個方法進行進一步封裝,得到獲取IP屬地的資訊,

下面是官網給出的命令運行jar方式給出的測驗demo,可以理解下
編譯測驗程式
通過 maven 來編譯測驗程式,
# cd 到 java binding 的根目錄
cd binding/java/
mvn compile package
然后會在當前目錄的 target 目錄下得到一個 ip2region-{version}.jar 的打包檔案,
查詢測驗
可以通過 java -jar ip2region-{version}.jar search 命令來測驗查詢:
? java git:(v2.0_xdb) ? java -jar target/ip2region-2.6.0.jar search
java -jar ip2region-{version}.jar search [command options]
options:
--db string ip2region binary xdb file path
--cache-policy string cache policy: file/vectorIndex/content
例如:使用默認的 data/ip2region.xdb 檔案進行查詢測驗:
? java git:(v2.0_xdb) ? java -jar target/ip2region-2.6.0.jar search --db=../../data/ip2region.xdb
ip2region xdb searcher test program, cachePolicy: vectorIndex
type 'quit' to exit
ip2region>> 1.2.3.4
{region: 美國|0|華盛頓|0|谷歌, ioCount: 7, took: 82 μs}
ip2region>>
輸入 ip 即可進行查詢測驗,也可以分別設定 cache-policy 為 file/vectorIndex/content 來測驗三種不同快取實作的查詢效果,
bench 測驗
可以通過 java -jar ip2region-{version}.jar bench 命令來進行 bench 測驗,一方面確保 xdb 檔案沒有錯誤,一方面可以評估查詢性能:
? java git:(v2.0_xdb) ? java -jar target/ip2region-2.6.0.jar bench
java -jar ip2region-{version}.jar bench [command options]
options:
--db string ip2region binary xdb file path
--src string source ip text file path
--cache-policy string cache policy: file/vectorIndex/content
例如:通過默認的 data/ip2region.xdb 和 data/ip.merge.txt 檔案進行 bench 測驗:
? java git:(v2.0_xdb) ? java -jar target/ip2region-2.6.0.jar bench --db=../../data/ip2region.xdb --src=https://www.cnblogs.com/javastack/archive/2022/data/ip.merge.txt
Bench finished, {cachePolicy: vectorIndex, total: 3417955, took: 8s, cost: 2 μs/op}
可以通過分別設定 cache-policy 為 file/vectorIndex/content 來測驗三種不同快取實作的效果, @Note: 注意 bench 使用的 src 檔案要是生成對應 xdb 檔案相同的源檔案,
到這里獲取用戶IP屬地已經完成啦,這篇文章介紹的v2.0版本,有興趣的小伙伴可以登錄上門的github地址了解下v1.0版本
如若覺得有用,歡迎收藏+點贊,如遇到什么問題,歡迎留言討論
近期熱文推薦:
1.1,000+ 道 Java面試題及答案整理(2022最新版)
2.勁爆!Java 協程要來了,,,
3.Spring Boot 2.x 教程,太全了!
4.別再寫滿屏的爆爆爆炸類了,試試裝飾器模式,這才是優雅的方式!!
5.《Java開發手冊(嵩山版)》最新發布,速速下載!
覺得不錯,別忘了隨手點贊+轉發哦!
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/501695.html
標籤:其他
