文章目錄
- 命令列工具
- 原生 JSON
- CTE 與集合運算
- 統計函式
- 性能
- 檔案、圖形以及全文搜索
- 更多功能
🍺業精于勤，荒于嬉；行成于思，毀于隨，——韓愈
大家好！我是只談技術不剪發的 Tony 老師，
如果問你哪個資料庫產品是世界上使用最多的資料庫，你認為是 Oracle、MySQL 還是 Microsoft SQL Server？
以上都不是，世界上安裝使用最多的資料庫是 SQLite，沒錯，就是這個小巧的嵌入式資料庫引擎，所有的手機、電腦、瀏覽器以及無數的應用程式都內置了 SQLite 資料庫，PHP 和 Python 語言也內置的 SQLite 支持，預計正在使用的 SQLite 資料庫達到了一萬億（1012）以上，
無論對于開發/測驗人員、資料分析師/科學家、IT 運維人員還是產品經理，SQLite 都是一個非常有用的工具，本文就帶大家回顧一下 SQLite 提供的一些實用功能，如果覺得文章有用，歡迎評論📝、點贊👍、推薦🎁
命令列工具
SQLite 提供了一個非常方便的資料庫控制臺，也就是 Windows 系統上的 sqlite3.exe 或者 Linux / macOS 系統上的 sqlite3，對于資料分析師來說，它比 Excel 強大，但是比 Python pandas 簡單，用戶可以通過命令匯入 CSV 檔案，匯入時會自動創建相應的資料表：
> .import --csv city.csv city
> select count(*) from city;
1117
SQLite 命令列工具支持各種 SQL 陳述句，同時以 ASCII 風格顯示查詢結果：
select
century || ' century' as dates,
count(*) as city_count
from history
group by century
order by century desc;
┌────────────┬────────────┐
│ dates │ city_count │
├────────────┼────────────┤
│ 21 century │ 1 │
│ 20 century │ 263 │
│ 19 century │ 189 │
│ 18 century │ 191 │
│ 17 century │ 137 │
│ ... │ ... │
└────────────┴────────────┘
查詢結果可以被匯出到各種 SQL 命令、CSV、JSON、Markdown 以及 HTML 格式的檔案，例如：
.mode json
.output city.json
select city, foundation_year, timezone from city limit 10;
.shell cat city.json
[
{ "city": "Amsterdam", "foundation_year": 1300, "timezone": "UTC+1" },
{ "city": "Berlin", "foundation_year": 1237, "timezone": "UTC+1" },
{ "city": "Helsinki", "foundation_year": 1548, "timezone": "UTC+2" },
{ "city": "Monaco", "foundation_year": 1215, "timezone": "UTC+1" },
{ "city": "Moscow", "foundation_year": 1147, "timezone": "UTC+3" },
{ "city": "Reykjavik", "foundation_year": 874, "timezone": "UTC" },
{ "city": "Sarajevo", "foundation_year": 1461, "timezone": "UTC+1" },
{ "city": "Stockholm", "foundation_year": 1252, "timezone": "UTC+1" },
{ "city": "Tallinn", "foundation_year": 1219, "timezone": "UTC+2" },
{ "city": "Zagreb", "foundation_year": 1094, "timezone": "UTC+1" }
]
如果你喜歡使用 BI 工具而不是控制臺，常見的資料探索工具都支持 SQLite，例如 Metabase、Redash 以及 Superset 等，
原生 JSON
SQLite 可以非常方便地分析和轉換 JSON 資料，用戶可以直接從檔案中查詢資料，也可以將資料匯入表中然后進行查詢：
select
json_extract(value, '$.iso.code') as code,
json_extract(value, '$.iso.number') as num,
json_extract(value, '$.name') as name,
json_extract(value, '$.units.major.name') as unit
from
json_each(readfile('currency.sample.json'));
┌──────┬─────┬─────────────────┬──────────┐
│ code │ num │ name │ unit │
├──────┼─────┼─────────────────┼──────────┤
│ ARS │ 032 │ Argentine peso | peso │
│ CHF │ 756 │ Swiss Franc │ franc │
│ EUR │ 978 │ Euro │ euro │
│ GBP │ 826 │ British Pound │ pound │
│ INR │ 356 │ Indian Rupee │ rupee │
│ JPY │ 392 │ Japanese yen │ yen │
│ MAD │ 504 │ Moroccan Dirham │ dirham │
│ RUR │ 643 │ Russian Rouble │ rouble │
│ SOS │ 706 │ Somali Shilling │ shilling │
│ USD │ 840 │ US Dollar │ dollar │
└──────┴─────┴─────────────────┴──────────┘
無論 JSON 物件包含多少層嵌套，SQLite 都可以獲取其中的資料：
select
json_extract(value, '$.id') as id,
json_extract(value, '$.name') as name
from
json_tree(readfile('industry.sample.json'))
where
path like '$[%].industries';
┌────────┬──────────────────────┐
│ id │ name │
├────────┼──────────────────────┤
│ 7.538 │ Internet provider │
│ 7.539 │ IT consulting │
│ 7.540 │ Software development │
│ 9.399 │ Mobile communication │
│ 9.400 │ Fixed communication │
│ 9.401 │ Fiber-optics │
│ 43.641 │ Audit │
│ 43.646 │ Insurance │
│ 43.647 │ Bank │
└────────┴──────────────────────┘
CTE 與集合運算
SQLite 支持通用表運算式（Common Table Expression）和連接查詢，對于具有層級關系的資料（例如組織結構等），可以通過 WITH RECURSIVE 很方便地進行遍歷，
with recursive tmp(id, name, level) as (
select id, name, 1 as level
from area
where parent_id is null
union all
select
area.id,
tmp.name || ', ' || area.name as name,
tmp.level + 1 as level
from area
join tmp on area.parent_id = tmp.id
)
select * from tmp;
┌──────┬──────────────────────────┬───────┐
│ id │ name │ level │
├──────┼──────────────────────────┼───────┤
│ 93 │ US │ 1 │
│ 768 │ US, Washington DC │ 2 │
│ 1833 │ US, Washington │ 2 │
│ 2987 │ US, Washington, Bellevue │ 3 │
│ 3021 │ US, Washington, Everett │ 3 │
│ 3039 │ US, Washington, Kent │ 3 │
│ ... │ ... │ ... │
└──────┴──────────────────────────┴───────┘
SQLite 還提供了 UNION、INTERSECT 以及 EXCEPT 集合運算子：
select employer_id
from employer_area
where area_id = 1
except
select employer_id
from employer_area
where area_id = 2;
基于其他欄位的生成列也不在話下：
alter table vacancy
add column salary_net integer as (
case when salary_gross = true then
round(salary_from/1.04)
else
salary_from
end
);
生成列可以像其他普通欄位一樣查詢：
select
substr(name, 1, 40) as name,
salary_net
from vacancy
where
salary_currency = 'JPY'
and salary_net is not null
limit 10;
統計函式
通過加載 stats 插件，SQLite 支持以下描述性統計：均值、中位數、百分位、標準差等，
.load sqlite3-stats
select
count(*) as book_count,
cast(avg(num_pages) as integer) as mean,
cast(median(num_pages) as integer) as median,
mode(num_pages) as mode,
percentile_90(num_pages) as p90,
percentile_95(num_pages) as p95,
percentile_99(num_pages) as p99
from books;
┌────────────┬──────┬────────┬──────┬─────┬─────┬──────┐
│ book_count │ mean │ median │ mode │ p90 │ p95 │ p99 │
├────────────┼──────┼────────┼──────┼─────┼─────┼──────┤
│ 1483 │ 349 │ 295 │ 256 │ 640 │ 817 │ 1199 │
└────────────┴──────┴────────┴──────┴─────┴─────┴──────┘
SQLite 比其他資料庫管理系統提供的函式更少一些，不過可以通過擴展插件的方式獲取額外的支持，這個專案按照不同的領域編譯了一些常用的插件，
以下示例在控制臺中描繪了一個資料分布圖：
with slots as (
select
num_pages/100 as slot,
count(*) as book_count
from books
group by slot
),
max as (
select max(book_count) as value
from slots
)
select
slot,
book_count,
printf('%.' || (book_count * 30 / max.value) || 'c', '*') as bar
from slots, max
order by slot;
┌──────┬────────────┬────────────────────────────────┐
│ slot │ book_count │ bar │
├──────┼────────────┼────────────────────────────────┤
│ 0 │ 116 │ ********* │
│ 1 │ 254 │ ******************** │
│ 2 │ 376 │ ****************************** │
│ 3 │ 285 │ ********************** │
│ 4 │ 184 │ ************** │
│ 5 │ 90 │ ******* │
│ 6 │ 54 │ **** │
│ 7 │ 41 │ *** │
│ 8 │ 31 │ ** │
│ 9 │ 15 │ * │
│ 10 │ 11 │ * │
│ 11 │ 12 │ * │
│ 12 │ 2 │ * │
└──────┴────────────┴────────────────────────────────┘
性能
SQLite 可以支持數以億計的資料行，在個人電腦上的普通 INSERT 陳述句也可以達到 10 萬條/秒以上，如果使用虛擬表連接 CSV 檔案，插入性能會更好：
.load sqlite3-vsv
create virtual table temp.blocks_csv using vsv(
filename="ipblocks.csv",
schema="create table x(network text, geoname_id integer, registered_country_geoname_id integer, represented_country_geoname_id integer, is_anonymous_proxy integer, is_satellite_provider integer, postal_code text, latitude real, longitude real, accuracy_radius integer)",
columns=10,
header=on,
nulls=on
);
.timer on
insert into blocks
select * from blocks_csv;
Run Time: real 5.176 user 4.716420 sys 0.403866
select count(*) from blocks;
3386629
Run Time: real 0.095 user 0.021972 sys 0.063716
很多人認為 SQLite 不適合作為 Web 應用后臺資料庫，因為它不支持并發訪問，實際上這是一個謠傳，在write-ahead log 模式下，SQLite 提供了并發讀取，雖然只能單個行程寫入，但是很多情況下已經足夠了，
SQLite 非常適合小型網站和應用程式，sqlite.org 就是使用 SQLite 作為資料庫，在不需要進行優化的情況下（每個頁面大概包含 200 個查詢請求），它可以處理每個月 70 萬的訪問量，同時性能超過 95% 的網站，
檔案、圖形以及全文搜索
SQLite 支持部分索引和運算式索引（函式索引），我們可以基于計算列創建索引，甚至將 SQLite 作為檔案資料庫使用：
create table currency(
body text,
code text as (json_extract(body, '$.code')),
name text as (json_extract(body, '$.name'))
);
create index currency_code_idx on currency(code);
insert into currency
select value
from json_each(readfile('currency.sample.json'));
explain query plan
select name from currency where code = 'EUR';
QUERY PLAN
`--SEARCH TABLE currency USING INDEX currency_code_idx (code=?)
有了 WITH RECURSIVE 查詢，SQLite 也可以作為一個圖形資料庫使用，或者使用這個 simple-graph（Python 模塊），
SQLite 提供了內置的全文搜索功能：
create virtual table books_fts
using fts5(title, author, publisher);
insert into books_fts
select title, author, publisher from books;
select
author,
substr(title, 1, 30) as title,
substr(publisher, 1, 10) as publisher
from books_fts
where books_fts match 'ann'
limit 5;
┌─────────────────────┬────────────────────────────────┬────────────┐
│ author │ title │ publisher │
├─────────────────────┼────────────────────────────────┼────────────┤
│ Ruby Ann Boxcar │ Ruby Ann's Down Home Trailer P │ Citadel │
│ Ruby Ann Boxcar │ Ruby Ann's Down Home Trailer P │ Citadel │
│ Lynne Ann DeSpelder │ The Last Dance: Encountering D │ McGraw-Hil │
│ Daniel Defoe │ Robinson Crusoe │ Ann Arbor │
│ Ann Thwaite │ Waiting for the Party: The Lif │ David R. G │
└─────────────────────┴────────────────────────────────┴────────────┘
如果想要一個記憶體資料庫作為中間計算模塊，只需要一行 Python 代碼就可以搞定：
db = sqlite3.connect(":memory:")
甚至可以支持多個連接訪問：
db = sqlite3.connect("file::memory:?cache=shared")
更多功能
SQLite 還提供了許多其他的高級功能，例如視窗函式、UPSERT 陳述句、UPDATE FROM、generate_series() 函式、R-樹索引、正則運算式、模糊查找以及 GEO 等，
如果你在尋找 SQLite 管理開發工具，推薦兩款免費開源的工具：DBeaver 和 DB Browser for SQLite，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/281758.html
標籤：AI