主頁 > .NET開發 > MySQL在大復合主鍵上尋找分頁

MySQL在大復合主鍵上尋找分頁

2021-10-16 16:03:53 .NET開發

假設我有一個像這樣定義的 MySQL 表:

CREATE TABLE big_table (
  primary_1 varbinary(1536),
  primary_2 varbinary(1536),
  ts timestamp(6),
  ...
  PRIMARY KEY (primary_1, primary_2),
  KEY ts_idx (ts),
)

我想實作本博客文章中所述的高效分頁(尋求分頁)https://use-the-index-luke.com/sql/partial-results/top-n-queries

如果我只使用主鍵的第一部分,流水線執行會按預期快速運行:

mysql> explain  select * from big_table order by ts, primary_1 limit 5;
 ---- ------------- ------------------------------------- ------------ ------- --------------- -------- --------- ------ ------ ---------- ------- 
| id | select_type | table                               | partitions | type  | possible_keys | key    | key_len | ref  | rows | filtered | Extra |
 ---- ------------- ------------------------------------- ------------ ------- --------------- -------- --------- ------ ------ ---------- ------- 
|  1 | SIMPLE      | big_table                           | NULL       | index | NULL          | ts_idx | 7       | NULL |    5 |   100.00 | NULL  |
 ---- ------------- ------------------------------------- ------------ ------- --------------- -------- --------- ------ ------ ---------- ------- 

但是,如果我將主鍵的第二部分添加到 ORDER BY 子句中,一切都會變慢并且開始使用檔案排序:

mysql> explain  select * from big_table order by ts, primary_1, primary_2 limit 5;
 ---- ------------- ------------------------------------- ------------ ------ --------------- ------ --------- ------ --------- ---------- ---------------- 
| id | select_type | table                               | partitions | type | possible_keys | key  | key_len | ref  | rows    | filtered | Extra          |
 ---- ------------- ------------------------------------- ------------ ------ --------------- ------ --------- ------ --------- ---------- ---------------- 
|  1 | SIMPLE      | big_table                           | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 6388499 |   100.00 | Using filesort |
 ---- ------------- ------------------------------------- ------------ ------ --------------- ------ --------- ------ --------- ---------- ---------------- 

是否無法在復合主節點上進行這種流水線執行和排序?還是應該以某種特殊方式撰寫查詢?

uj5u.com熱心網友回復:

如果沒有關于 MySQL 內部如何作業的先驗知識,就沒有理由假設 上的索引ts可以使用而order by ts, primary_1無需對primary_1. 想象一下,例如所有值ts都相同的邊緣情況- 索引只會給你所有的行,然后你必須按 排序primary_1

然而,MySQL 可以利用一些附加資訊: InnoDB 以包含主鍵列的方式存盤二級索引(以便能夠在表中找到實際行)。由于該資訊無論如何都在那里,MySQL 可以使用它 - 通過使用Index Extensions確實可以使用它這基本上將索引擴展ts到索引ts, primary_1, primary_2

所以這個技術技巧允許你使用索引 onts來 order by ts, primary_1, primary_2但既然總有一個“但是”,這里是“但是”:

優化器對索引擴展的使用受到索引中關鍵部分數量 (16) 和最大密鑰長度 (3072 位元組) 的通常限制。

上的索引ts, primary_1, primary_2將長于 3072 位元組。例如,您也可以不手動創建這樣的索引。所以這個擴展不再起作用,MySQL 回退到把索引ts當作ts.

那么它為什么有效order by ts, primary_1呢?好吧,即使由于這些技術原因,MySQL 無法在 上創建內部索引ts, primary_1, primary_2,它至少可以在不遇到ts, primary_1技術問題的情況下做到這一點MySQL 實際上并沒有這樣做 - 但是 MariaDB 開發人員實作了這個技巧,所以我假設您實際上正在使用 MariaDB。盡管如此,3072 的長度限制仍然適用,因此您對兩個主列的排序仍然無效。

你能做什么?

如果您可以稍微縮短主鍵,索引擴展將再次起作用。長的(和那種型別的)主鍵無論如何都不常見和不切實際(不僅對于這個用例),所以也許你可以為你的表找到一個不同的主鍵。

如果這不是一個選項,您可以利用一些關于您的資料分布的先驗知識,例如,如果您知道最多 10 個值ts可以相同,您可以首先選擇前 n 10 行(使用索引),然后僅按主鍵排序。如果您通常只顯示前幾頁,這可能會加快您的特定情況。但是您可能想針對它提出一個單獨的問題,并提供具體的細節。

轉載請註明出處,本文鏈接:https://www.uj5u.com/net/318726.html

標籤:mysql 分页 查询优化 数据库性能

上一篇:mysql:通過user_id進行計算并將值存盤在另一個表中

下一篇:如何配對來自1個源資料庫查詢myql的資料

標籤雲
其他(123570) Java(13369) Python(12731) C(7545) 區塊鏈(7372) JavaScript(7059) 基礎類(6313) AI(6244) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4120) MySQL(4012) Linux(3394) C語言(3288) C++語言(3117) Java相關(2746) 疑難問題(2699) 單片機工控(2479) Web開發(1951) 網絡通信(1793) 數據庫相關(1767) VB基礎類(1755) PHP(1727) 開發(1646) 系統維護與使用區(1617) .NETCore(1586) 基礎和管理(1579) JavaEE(1566) C++(1527) 專題技術討論區(1515) Windows客戶端使用(1484) HtmlCss(1466) ASP.NET(1428) Unity3D(1354) VCL組件開發及應用(1353) HTML(CSS)(1220) 其他技術討論專區(1200) WindowsServer(1192) .NET技术(1165) 交換及路由技術(1149) 語言基礎算法系統設計(1133) WindowsSDKAPI(1124) 界面(1088) JavaSE(1075) Qt(1074) VBA(1048) 新手樂園(1016) 其他開發語言(947) Go(907) HTML5(901) 新技術前沿(898) 硬件設計(872) 區塊鏈技術(860) 網絡編程(857) 非技術版(846) 一般軟件使用(839) 網絡協議與配置(835) Eclipse(790) Spark(750) 下載資源懸賞專區(743)

熱門瀏覽
  • WebAPI簡介

    Web體系結構: 有三個核心:資源(resource),URL(統一資源識別符號)和表示 他們的關系是這樣的:一個資源由一個URL進行標識,HTTP客戶端使用URL定位資源,表示是從資源回傳資料,媒體型別是資源回傳的資料格式。 接下來我們說下HTTP. HTTP協議的系統是一種無狀態的方式,使用請求/ ......

    uj5u.com 2020-09-09 22:07:47 more
  • asp.net core 3.1 入口:Program.cs中的Main函式

    本文分析Program.cs 中Main()函式中代碼的運行順序分析asp.net core程式的啟動,重點不是剖析原始碼,而是理清程式開始時執行的順序。到呼叫了哪些實體,哪些法方。asp.net core 3.1 的程式入口在專案Program.cs檔案里,如下。ususing System; us ......

    uj5u.com 2020-09-09 22:07:49 more
  • asp.net網站作為websocket服務端的應用該如何寫

    最近被websocket的一個問題困擾了很久,有一個需求是在web網站中搭建websocket服務。客戶端通過網頁與服務器建立連接,然后服務器根據ip給客戶端網頁發送資訊。 其實,這個需求并不難,只是剛開始對websocket的內容不太了解。上網搜索了一下,有通過asp.net core 實作的、有 ......

    uj5u.com 2020-09-09 22:08:02 more
  • ASP.NET 開源匯入匯出庫Magicodes.IE Docker中使用

    Magicodes.IE在Docker中使用 更新歷史 2019.02.13 【Nuget】版本更新到2.0.2 【匯入】修復單列匯入的Bug,單元測驗“OneColumnImporter_Test”。問題見(https://github.com/dotnetcore/Magicodes.IE/is ......

    uj5u.com 2020-09-09 22:08:05 more
  • 在webform中使用ajax

    如果你用過Asp.net webform, 說明你也算是.NET 開發的老兵了。WEBform應該是2011 2013左右,當時還用visual studio 2005、 visual studio 2008。后來基本都用的是MVC。 如果是新開發的專案,估計沒人會用webform技術。但是有些舊版 ......

    uj5u.com 2020-09-09 22:08:50 more
  • iis添加asp.net網站,訪問提示:由于擴展配置問題而無法提供您請求的

    今天在iis服務器配置asp.net網站,遇到一個問題,記錄一下: 問題:由于擴展配置問題而無法提供您請求的頁面。如果該頁面是腳本,請添加處理程式。如果應下載檔案,請添加 MIME 映射。 WindowServer2012服務器,添加角色安裝完.netframework和iis之后,運行aspx頁面 ......

    uj5u.com 2020-09-09 22:10:00 more
  • WebAPI-處理架構

    帶著問題去思考,大家好! 問題1:HTTP請求和回傳相應的HTTP回應資訊之間發生了什么? 1:首先是最底層,托管層,位于WebAPI和底層HTTP堆疊之間 2:其次是 訊息處理程式管道層,這里比如日志和快取。OWIN的參考是將訊息處理程式管道的一些功能下移到堆疊下端的OWIN中間件了。 3:控制器處理 ......

    uj5u.com 2020-09-09 22:11:13 more
  • 微信門戶開發框架-使用指導說明書

    微信門戶應用管理系統,采用基于 MVC + Bootstrap + Ajax + Enterprise Library的技術路線,界面層采用Boostrap + Metronic組合的前端框架,資料訪問層支持Oracle、SQLServer、MySQL、PostgreSQL等資料庫。框架以MVC5,... ......

    uj5u.com 2020-09-09 22:15:18 more
  • WebAPI-HTTP編程模型

    帶著問題去思考,大家好!它是什么?它包含什么?它能干什么? 訊息 HTTP編程模型的核心就是訊息抽象,表示為:HttPRequestMessage,HttpResponseMessage.用于客戶端和服務端之間交換請求和回應訊息。 HttpMethod類包含了一組靜態屬性: private stat ......

    uj5u.com 2020-09-09 22:15:23 more
  • 部署WebApi隨筆

    一、跨域 NuGet參考Microsoft.AspNet.WebApi.Cors WebApiConfig.cs中配置: // Web API 配置和服務 config.EnableCors(new EnableCorsAttribute("*", "*", "*")); 二、清除默認回傳XML格式 ......

    uj5u.com 2020-09-09 22:15:48 more
最新发布