MySQL 快速洗掉大量資料（千萬級別）的幾種實踐方案—

筆者最近作業中遇見一個性能瓶頸問題，MySQL表，每天大概新增776萬條記錄，存盤周期為7天，超過7天的資料需要在新增記錄前老化，連續運行9天以后，洗掉一天的資料大概需要3個半小時（環境：128G, 32核，4T硬碟），而這是不能接受的，當然如果要整個表洗掉，毋庸置疑用

TRUNCATE TABLE就好，

最初的方案（因為未預料到洗掉會如此慢），代碼如下（最簡單和樸素的方法）:

delete from table_name where cnt_date <= target_date

后經過研究，最終實作了飛一般(1秒左右)的速度洗掉770多萬條資料，單張表總資料量在4600萬上下，優化程序的方案層層遞進，詳細記錄如下：

批量洗掉（每次限定一定數量），然后回圈洗掉直到全部資料洗掉完畢；同時key_buffer_size 由默認的8M提高到512M

運行效果：洗掉時間大概從3個半小時提高到了3小時

（1）通過limit(具體size 請酌情設定）限制一次洗掉的資料量，然后判斷資料是否洗掉完，附原始碼如下（Python實作）：

def delete_expired_data(mysqlconn, day):
    mysqlcur = mysqlconn.cursor()
    delete_sql = "DELETE from table_name where cnt_date<='%s' limit 50000" % day
    query_sql = "select srcip from table_name  where cnt_date <= '%s' limit 1" % day
    try: 
        df = pd.read_sql(query_sql, mysqlconn)
        while True:
            if df is None or df.empty:
                break
            mysqlcur.execute(delete_sql)
            mysqlconn.commit()

            df = pd.read_sql(query_sql, mysqlconn)
    except:
       mysqlconn.rollback()

（2）增加key_buffer_size

mysqlcur.execute("SET GLOBAL key_buffer_size = 536870912")

key_buffer_size是global變數，詳情參見Mysql官方檔案： https://dev.mysql.com/doc/refman/5.7/en/server-configuration.html

DELETE QUICK + OPTIMIZE TABLE

適用場景：MyISAM Tables

Why: MyISAM洗掉的資料維護在一個鏈表中，這些空間和行的位置接下來會被Insert的資料復用，直接的delete后，mysql會合并索引塊，涉及大量記憶體的拷貝移動；而OPTIMIZE TABLE直接重建索引，即直接把資料塊情況，再重新搞一份（聯想JVM垃圾回收演算法），

運行效果：洗掉時間大3個半小時提高到了1小時40分

具體代碼如下：

def delete_expired_data(mysqlconn, day):
    mysqlcur = mysqlconn.cursor()
    delete_sql = "DELETE QUICK from table_name where cnt_date<='%s' limit 50000" % day
    query_sql = "select srcip from table_name where cnt_date <= '%s' limit 1" % day
    optimize_sql = "OPTIMIZE TABLE g_visit_relation_asset"
    try: 
        df = pd.read_sql(query_sql, mysqlconn)
        while True:
            if df is None or df.empty:
                break
            mysqlcur.execute(delete_sql)
            mysqlconn.commit()

            df = pd.read_sql(query_sql, mysqlconn)
        mysqlcur.execute(optimize_sql)
        mysqlconn.commit()
    except:
       mysqlconn.rollback()

表磁區，直接洗掉過期日期所在的磁區（最終方案—秒殺）

MySQL表磁區有幾種方式，包括RANGE、KEY、LIST、HASH，具體參見官方檔案，因為這里的應用場景日期在變化，所以不適合用RANGE設定固定的磁區名稱，HASH磁區更符合此處場景

（1）磁區表定義，SQL陳述句如下：

ALTER TABLE table_name PARTITION BY HASH(TO_DAYS(cnt_date)) PARTITIONS 7;

TO_DAYS將日期（必須為日期型別，否則會報錯:Constant, random or timezone-dependent expressions in (sub)partitioning function are not allowed）轉換為天數（年月日總共的天數），然后HASH；建立7個磁區，實際上，就是 days MOD 7 ，

（2）查詢出需要老化的日期所在的磁區,SQL陳述句如下：

"explain partitions select * from g_visit_relation_asset where cnt_date = '%s'" % expired_day

執行結果如下（partitions列即為所在磁區）：

+----+-------------+------------------+------------+------+----------------+------+---------+------+---------+----------+-------------+
| id | select_type | table            | partitions | type | possible_keys  | key  | key_len | ref  | rows    | filtered | Extra       |
+----+-------------+------------------+------------+------+----------------+------+---------+------+---------+----------+-------------+
|  1 | SIMPLE      | table_name       | p1         | ALL  | cnt_date_index | NULL | NULL    | NULL | 1325238 |   100.00 | Using where |
+----+-------------+------------------+------------+------+----------------+------+---------+------+---------+----------+-------------+
1 row in set, 2 warnings (0.00 sec)

（3）OPTIMIZE or REBUILD partition,SQL陳述句如下：

"ALTER TABLE g_visit_relation_asset OPTIMIZE PARTITION '%s'" % partition

完整代碼如下【Python實作】，回圈洗掉小于指定日期的資料：

def clear_partition_data(mysqlconn, day):
    mysqlcur = mysqlconn.cursor()
    expired_day = day
    query_partition_sql = "explain partitions select * from table_name where cnt_date = '%s'" % expired_day
    # OPTIMIZE or REBUILD after truncate partition
    try: 
        while True:
            df = pd.read_sql(query_partition_sql, mysqlconn)
            if df is None or df.empty:
                break
            partition = df.loc[0, 'partitions']
            if partition is not None:
                clear_partition_sql = "alter table table_name TRUNCATE PARTITION %s" % partition
                mysqlcur.execute(clear_partition_sql)
                mysqlconn.commit()

                optimize_partition_sql = "ALTER TABLE table_name OPTIMIZE PARTITION %s" % partition
                mysqlcur.execute(optimize_partition_sql)
                mysqlconn.commit()
            
            expired_day = (expired_day - timedelta(days = 1)).strftime("%Y-%m-%d")
            df = pd.read_sql(query_partition_sql, mysqlconn)
    except:
       mysqlconn.rollback()

其它

如果洗掉的資料超過表資料的百分之50，建議拷貝所需資料到臨時表，然后洗掉原表，再重命名臨時表為原表，附MySQL如下：

   INSERT INTO New
      SELECT * FROM Main
         WHERE ...;  -- just the rows you want to keep
   RENAME TABLE main TO Old, New TO Main;
   DROP TABLE Old;   -- Space freed up here

可通過： ALTER TABLE table_name REMOVE PARTITIONING 洗掉磁區，而不會洗掉相應的資料

參考：

1）https://dev.mysql.com/doc/refman/5.7/en/alter-table-partition-operations.html 具體磁區說明

2）http://mysql.rjweb.org/doc.php/deletebig#solutions 洗掉大資料的解決方案

本文著作權歸作者和博客園共有，歡迎轉載，但未經作者同意必須保留此段宣告，且在文章頁面明顯位置給出原文連接，否則保留追究法律責任的權利，

************************************************************************

精力有限，想法太多，專注做好一件事就行

我只是一個程式猿，5年內把代碼寫好，技術博客字字推敲，堅持零拷貝和原創
寫博客的意義在于打磨文筆，訓練邏輯條理性，加深對知識的系統性理解；如果恰好又對別人有點幫助，那真是一件令人開心的事

************************************************************************

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/12668.html

標籤：MySQL

上一篇：MySQL學習筆記（13）：鎖和事務

下一篇：不用破解版的 Navicat 了，幾款免費且好用的 SQL 客戶端送給你

MySQL 快速洗掉大量資料（千萬級別）的幾種實踐方案——附原始碼