用三種解決方案優化MySQL兩千萬資料大表-有解無憂

問題概述

使用阿里云rds for MySQL資料庫（就是MySQL5.6版本），有個用戶上網記錄表6個月的資料量近2000萬，保留最近一年的資料量達到4000萬，查詢速度極慢，日常卡死，嚴重影響業務，

問題前提：老系統，當時設計系統的人大概是大學沒畢業，表設計和sql陳述句寫的不僅僅是垃圾，簡直無法直視，原開發人員都已離職，到我來維護，這就是傳說中的維護不了就跑路，然后我就是掉坑的那個！！！

我嘗試解決該問題，so，有個這個日志，

方案概述

方案一：優化現有mysql資料庫，優點：不影響現有業務，源程式不需要修改代碼，成本最低，缺點：有優化瓶頸，資料量過億就玩完了，
方案二：升級資料庫型別，換一種100%兼容mysql的資料庫，優點：不影響現有業務，源程式不需要修改代碼，你幾乎不需要做任何操作就能提升資料庫性能，缺點：多花錢
方案三：一步到位，大資料解決方案，更換newsql/nosql資料庫，優點：擴展性強，成本低，沒有資料容量瓶頸，缺點：需要修改源程式代碼

以上三種方案，按順序使用即可，資料量在億級別一下的沒必要換nosql，開發成本太高，三種方案我都試了一遍，而且都形成了落地解決方案，該程序心中慰問跑路的那幾個開發者一萬遍 ??

方案一詳細說明：優化現有mysql資料庫

跟阿里云資料庫大佬電話溝通 and Google解決方案 and 問群里大佬，總結如下（都是精華）：

資料庫設計和表創建時就要考慮性能
sql的撰寫需要注意優化
磁區
分表
分庫

1.資料庫設計和表創建時就要考慮性能
mysql資料庫本身高度靈活，造成性能不足，嚴重依賴開發人員能力，也就是說開發人員能力高，則mysql性能高，這也是很多關系型資料庫的通病，所以公司的dba通常工資巨高，

設計表時要注意：

表欄位避免null值出現，null值很難查詢優化且占用額外的索引空間，推薦默認數字0代替null，
盡量使用INT而非BIGINT，如果非負則加上UNSIGNED（這樣數值容量會擴大一倍），當然能使用TINYINT、SMALLINT、MEDIUM_INT更好，
使用列舉或整數代替字串型別
盡量使用TIMESTAMP而非DATETIME
單表不要有太多欄位，建議在20以內
用整型來存IP

索引

索引并不是越多越好，要根據查詢有針對性的創建，考慮在WHERE和ORDER BY命令上涉及的列建立索引，可根據EXPLAIN來查看是否用了索引還是全表掃描
應盡量避免在WHERE子句中對欄位進行NULL值判斷，否則將導致引擎放棄使用索引而進行全表掃描
值分布很稀少的欄位不適合建索引，例如"性別"這種只有兩三個值的欄位
字符欄位只建前綴索引
字符欄位最好不要做主鍵
不用外鍵，由程式保證約束
盡量不用UNIQUE，由程式保證約束
使用多列索引時主意順序和查詢條件保持一致，同時洗掉不必要的單列索引

簡言之就是使用合適的資料型別，選擇合適的索引

選擇合適的資料型別

（1）使用可存下資料的最小的資料型別，整型< date,time < char,varchar < blob

（2）使用簡單的資料型別，整型比字符處理開銷更小，因為字串的比較更復雜，如，int型別存盤時間型別，bigint型別轉ip函式

（3）使用合理的欄位屬性長度，固定長度的表會更快，使用enum、char而不是varchar

（4）盡可能使用not null定義欄位

（5）盡量少用text，非用不可最好分表

選擇合適的索引列

（1）查詢頻繁的列，在where，group by，order by，on從句中出現的列

（2）where條件中，>=，between，in，以及like 字串+通配符（%）出現的列

（3）長度小的列，索引欄位越小越好，因為資料庫的存盤單位是頁，一頁中能存下的資料越多越好

（4）離散度大（不同的值多）的列，放在聯合索引前面，查看離散度，通過統計不同的列值來實作，count越大，離散程度越高：
原開發人員已經跑路，該表早已建立，我無法修改，故：該措辭無法執行，放棄！

2.sql的撰寫需要注意優化

使用limit對查詢結果的記錄進行限定
避免select *，將需要查找的欄位列出來
使用連接（join）來代替子查詢
拆分大的delete或insert陳述句
可通過開啟慢查詢日志來找出較慢的SQL
不做列運算：SELECT id WHERE age + 1 = 10，任何對列的操作都將導致表掃描，它包括資料庫教程函式、計算運算式等等，查詢時要盡可能將操作移至等號右邊
sql陳述句盡可能簡單：一條sql只能在一個cpu運算；大陳述句拆小陳述句，減少鎖時間；一條大sql可以堵死整個庫
OR改寫成IN：OR的效率是n級別，IN的效率是log(n)級別，in的個數建議控制在200以內
不用函式和觸發器，在應用程式實作
避免%xxx式查詢
少用JOIN
使用同型別進行比較，比如用'123'和'123'比，123和123比
盡量避免在WHERE子句中使用!=或<>運算子，否則將引擎放棄使用索引而進行全表掃描
對于連續數值，使用BETWEEN不用IN：SELECT id FROM t WHERE num BETWEEN 1 AND 5
串列資料不要拿全表，要使用LIMIT來分頁，每頁數量也不要太大

原開發人員已經跑路，程式已經完成上線，我無法修改sql，故：該措辭無法執行，放棄！

引擎

目前廣泛使用的是MyISAM和InnoDB兩種引擎：

MyISAM

MyISAM引擎是MySQL 5.1及之前版本的默認引擎，它的特點是：

不支持行鎖，讀取時對需要讀到的所有表加鎖，寫入時則對表加排它鎖
不支持事務
不支持外鍵
不支持崩潰后的安全恢復
在表有讀取查詢的同時，支持往表中插入新紀錄
支持BLOB和TEXT的前500個字符索引，支持全文索引
支持延遲更新索引，極大提升寫入性能
對于不會進行修改的表，支持壓縮表，極大減少磁盤空間占用

InnoDB

InnoDB在MySQL 5.5后成為默認索引，它的特點是：

支持行鎖，采用MVCC來支持高并發
支持事務
支持外鍵
支持崩潰后的安全恢復
不支持全文索引

總體來講，MyISAM適合SELECT密集型的表，而InnoDB適合INSERT和UPDATE密集型的表

MyISAM速度可能超快，占用存盤空間也小，但是程式要求事務支持，故InnoDB是必須的，故該方案無法執行，放棄！

3.磁區

MySQL在5.1版引入的磁區是一種簡單的水平拆分，用戶需要在建表的時候加上磁區引數，對應用是透明的無需修改代碼

對用戶來說，磁區表是一個獨立的邏輯表，但是底層由多個物理子表組成，實作磁區的代碼實際上是通過對一組底層表的物件封裝，但對SQL層來說是一個完全封裝底層的黑盒子，MySQL實作磁區的方式也意味著索引也是按照磁區的子表定義，沒有全域索引

用戶的SQL陳述句是需要針對磁區表做優化，SQL條件中要帶上磁區條件的列，從而使查詢定位到少量的磁區上，否則就會掃描全部磁區，可以通過EXPLAIN PARTITIONS來查看某條SQL陳述句會落在那些磁區上，從而進行SQL優化，我測驗，查詢時不帶磁區條件的列，也會提高速度，故該措施值得一試，

磁區的好處是：

可以讓單表存盤更多的資料
磁區表的資料更容易維護，可以通過清楚整個磁區批量洗掉大量資料，也可以增加新的磁區來支持新插入的資料，另外，還可以對一個獨立磁區進行優化、檢查、修復等操作
部分查詢能夠從查詢條件確定只落在少數磁區上，速度會很快
磁區表的資料還可以分布在不同的物理設備上，從而搞笑利用多個硬體設備
可以使用磁區表賴避免某些特殊瓶頸，例如InnoDB單個索引的互斥訪問、ext3檔案系統的inode鎖競爭
可以備份和恢復單個磁區

磁區的限制和缺點：

一個表最多只能有1024個磁區
如果磁區欄位中有主鍵或者唯一索引的列，那么所有主鍵列和唯一索引列都必須包含進來
磁區表無法使用外鍵約束
NULL值會使磁區過濾無效
所有磁區必須使用相同的存盤引擎

磁區的型別：

RANGE磁區：基于屬于一個給定連續區間的列值，把多行分配給磁區
LIST磁區：類似于按RANGE磁區，區別在于LIST磁區是基于列值匹配一個離散值集合中的某個值來進行選擇
HASH磁區：基于用戶定義的運算式的回傳值來進行選擇的磁區，該運算式使用將要插入到表中的這些行的列值進行計算，這個函式可以包含MySQL中有效的、產生非負整數值的任何運算式
KEY磁區：類似于按HASH磁區，區別在于KEY磁區只支持計算一列或多列，且MySQL服務器提供其自身的哈希函式，必須有一列或多列包含整數值
具體關于mysql磁區的概念請自行google或查詢官方檔案，我這里只是拋磚引玉了，

我首先根據月份把上網記錄表RANGE磁區了12份，查詢效率提高6倍左右，效果不明顯，故：換id為HASH磁區，分了64個磁區，查詢速度提升顯著，問題解決！
結果如下：PARTITION BY HASH (id)PARTITIONS 64
select count() from readroom_website; --11901336行記錄
/ 受影響行數: 0 已找到記錄: 1 警告: 0 持續時間 1 查詢: 5.734 sec. /
select * from readroom_website where month(accesstime) =11 limit 10;
/ 受影響行數: 0 已找到記錄: 10 警告: 0 持續時間 1 查詢: 0.719 sec. */

4.分表

分表就是把一張大表，按照如上程序都優化了，還是查詢卡死，那就把這個表分成多張表，把一次查詢分成多次查詢，然后把結果組合回傳給用戶，

分表分為垂直拆分和水平拆分，通常以某個欄位做拆分項，比如以id欄位拆分為100張表：表名為 tableName_id%100

但：分表需要修改源程式代碼，會給開發帶來大量作業，極大的增加了開發成本，故：只適合在開發初期就考慮到了大量資料存在，做好了分表處理，不適合應用上線了再做修改，成本太高！！！而且選擇這個方案，都不如選擇我提供的第二第三個方案的成本低！故不建議采用，

5.分庫

把一個資料庫分成多個，建議做個讀寫分離就行了，真正的做分庫也會帶來大量的開發成本，得不償失！不推薦使用，

方案二詳細說明：升級資料庫，換一個100%兼容mysql的資料庫

mysql性能不行，那就換個，為保證源程式代碼不修改，保證現有業務平穩遷移，故需要換一個100%兼容mysql的資料庫，

開源選擇

tiDBhttps://github.com/pingcap/tidb
Cubridhttps://www.cubrid.org/
開源資料庫會帶來大量的運維成本且其工業品質和MySQL尚有差距，有很多坑要踩，如果你公司要求必須自建資料庫，那么選擇該型別產品，

云資料選擇

阿里云POLARDB
https://www.aliyun.com/product/polardb?spm=a2c4g.11174283.cloudEssentials.47.7a984b5cS7h4wH

官方介紹語：POLARDB 是阿里云自研的下一代關系型分布式云原生資料庫，100%兼容MySQL，存盤容量最高可達 100T，性能最高提升至 MySQL 的 6 倍，POLARDB 既融合了商業資料庫穩定、可靠、高性能的特征，又具有開源資料庫簡單、可擴展、持續迭代的優勢，而成本只需商用資料庫的 1/10，

我開通測驗了一下，支持免費mysql的資料遷移，無操作成本，性能提升在10倍左右，價格跟rds相差不多，是個很好的備選解決方案！

阿里云OcenanBase
淘寶使用的，扛得住雙十一，性能卓著，但是在公測中，我無法嘗試，但值得期待
阿里云HybridDB for MySQL (原PetaData)
https://www.aliyun.com/product/petadata?spm=a2c4g.11174283.cloudEssentials.54.7a984b5cS7h4wH

官方介紹：云資料庫HybridDB for MySQL （原名PetaData）是同時支持海量資料在線事務（OLTP）和在線分析（OLAP）的HTAP（Hybrid Transaction/Analytical Processing）關系型資料庫，

我也測驗了一下，是一個olap和oltp兼容的解決方案，但是價格太高，每小時高達10塊錢，用來做存盤太浪費了，適合存盤和分析一起用的業務，

騰訊云DCDB
https://cloud.tencent.com/product/dcdb_for_tdsql

官方介紹：DCDB又名TDSQL，一種兼容MySQL協議和語法，支持自動水平拆分的高性能分布式資料庫——即業務顯示為完整的邏輯表，資料卻均勻的拆分到多個分片中；每個分片默認采用主備架構，提供災備、恢復、監控、不停機擴容等全套解決方案，適用于TB或PB級的海量資料場景，

騰訊的我不喜歡用，不多說，原因是出了問題找不到人，線上問題無法解決頭疼！但是他價格便宜，適合超小公司，玩玩，

方案三詳細說明：去掉mysql，換大資料引擎處理資料

資料量過億了，沒得選了，只能上大資料了，

開源解決方案

hadoop家族，hbase/hive懟上就是了，但是有很高的運維成本，一般公司是玩不起的，沒十萬投入是不會有很好的產出的！

云解決方案

這個就比較多了，也是一種未來趨勢，大資料由專業的公司提供專業的服務，小公司或個人購買服務，大資料就像水/電等公共設施一樣，存在于社會的方方面面，

國內做的最好的當屬阿里云，

我選擇了阿里云的MaxCompute配合DataWorks，使用超級舒服，按量付費，成本極低，

MaxCompute可以理解為開源的Hive，提供sql/mapreduce/ai演算法/python腳本/shell腳本等方式操作資料，資料以表格的形式展現，以分布式方式存盤，采用定時任務和批處理的方式處理資料，DataWorks提供了一種作業流的方式管理你的資料處理任務和調度監控，

當然你也可以選擇阿里云hbase等其他產品，我這里主要是離線處理，故選擇MaxCompute，基本都是圖形界面操作，大概寫了300行sql，費用不超過100塊錢就解決了資料處理問題，

點關注，不迷路

好了各位，以上就是這篇文章的全部內容了，能看到這里的人呀，都是人才，之前說過，PHP方面的技術點很多，也是因為太多了，實在是寫不過來，寫過來了大家也不會看的太多，所以我這里把它整理成了PDF和檔案，如果有需要的可以

點擊進入暗號: 博客園

更多學習內容可以訪問【對標大廠】精品PHP架構師教程目錄大全，只要你能看完保證薪資上升一個臺階（持續更新）

以上內容希望幫助到大家，很多PHPer在進階的時候總會遇到一些問題和瓶頸，業務代碼寫多了沒有方向感，不知道該從那里入手去提升，對此我整理了一些資料，包括但不限于：分布式架構、高可擴展、高性能、高并發、服務器性能調優、TP6，laravel，YII2，Redis，Swoole、Swoft、Kafka、Mysql優化、shell腳本、Docker、微服務、Nginx等多個知識點高級進階干貨需要的可以免費分享給大家，需要的可以加入我的PHP技術交流群953224940

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/377.html

標籤：PHP

上一篇：寶塔面板連接資料庫失敗

下一篇：【新】常見的PHP面試題型匯總（含答案）