DML操作的大致流程
在解答上述疑惑之前，我們來梳理一下DML操作的大致流程：
1、語法決議、語意決議
2、生成執行計劃
3、事務修改階段
1) 激活事務，事務狀態由not_active變為active
2) 查找定位資料
3) 樂觀插入
4) 記錄insert相關的undo記錄，并將undo記錄的變化寫入redo log buffer
5) 進行insert 元組插入，及實際的插入操作，并寫入到redo log buffer
6) binlog event 寫入到 binlog cache
4、事務提交階段
1) 事務prepare
2) redo組提交，redo落盤
3) flush binlog cache到binlog檔案，然后fsync binlog檔案將它落盤
4) innodb進行提交，事務狀態由prepare變為not_active
寫了哪些檔案？會寫UNDO相關的檔案嗎？
從上述流程中可以看到，主要對redo log file和binlog進行了寫入，
那么是否會實時地寫入Undo tablespace呢？
我們先來簡單地分析一下：
1.磁盤中的undo segment，不論它是保存在system tablespace中，還是保存在獨立的undo tablespace中，根據頁的物理結構（參考阿里內核月報）來看，它們是離散地分布在表空間檔案中的，因此需要讀/寫的時候，會產生很多的隨機讀寫io操作，而隨機讀寫的效率是非常低的；
2.Innodb使用了很多種方法來將磁盤隨機讀寫盡可能地轉換成順序讀寫，比如change buffer特性、WAL特性、MRR、extent塊管理，等等，上述這些都是在盡可能地減少磁盤隨機讀寫，所以Innodb應該不會將undo日志實時地落盤；
3.在上述流程中的3.4部分，已經將Undo的變化寫入到redo log buffer了，redo會在事務提交時落盤，所以即使在事務失敗、Undo沒有落盤的情況下實體宕機，重新啟動實體的時候，也會從redo中找到Undo來回滾，從而保證事務的原子性，
綜上，可以初步判斷Undo不會實時地落盤，但是這只是根據原理來進行分析的，為了確定我的分析是否正確，可以打開原始碼進行分析驗證，或使用strace等工具來驗證，
以下是原始碼淺析：
插入的流程：
1 //trx_undof_page_add_undo_rec_log--記錄undo的redo log 入redo buffer 2 > mysqld.exe!trx_undof_page_add_undo_rec_log(unsigned char * undo_page, unsigned __int64 old_free, unsigned __int64 new_free, mtr_t * mtr) 行 74 3 mysqld.exe!trx_undo_page_set_next_prev_and_add(unsigned char * undo_page, unsigned char * ptr, mtr_t * mtr) 行 204 4 //trx_undo_page_report_insert--記錄insert的undo記錄 5 mysqld.exe!trx_undo_page_report_insert(unsigned char * undo_page, trx_t * trx, dict_index_t * index, const dtuple_t * clust_entry, mtr_t * mtr) 行 537 6 mysqld.exe!trx_undo_report_row_operation(unsigned __int64 flags, unsigned __int64 op_type, que_thr_t * thr, dict_index_t * index, const dtuple_t * clust_entry, const upd_t * update, unsigned __int64 cmpl_info, const unsigned char * rec, const unsigned __int64 * offsets, unsigned __int64 * roll_ptr) 行 1951 7 mysqld.exe!btr_cur_ins_lock_and_undo(unsigned __int64 flags, btr_cur_t * cursor, dtuple_t * entry, que_thr_t * thr, mtr_t * mtr, unsigned __int64 * inherit) 行 2984 8 //btr_cur_optimistic_insert--進行樂觀插入 9 mysqld.exe!btr_cur_optimistic_insert(unsigned __int64 flags, btr_cur_t * cursor, unsigned __int64 * * offsets, mem_block_info_t * * heap, dtuple_t * entry, unsigned char * * rec, big_rec_t * * big_rec, unsigned __int64 n_ext, que_thr_t * thr, mtr_t * mtr) 行 3244 10 mysqld.exe!row_ins_clust_index_entry_low(unsigned __int64 flags, unsigned __int64 mode, dict_index_t * index, unsigned __int64 n_uniq, dtuple_t * entry, unsigned __int64 n_ext, que_thr_t * thr, bool dup_chk_only) 行 2447 11 mysqld.exe!row_ins_clust_index_entry(dict_index_t * index, dtuple_t * entry, que_thr_t * thr, unsigned __int64 n_ext, bool dup_chk_only) 行 3162 12 mysqld.exe!row_ins_index_entry(dict_index_t * index, dtuple_t * entry, que_thr_t * thr) 行 3292 13 mysqld.exe!row_ins_index_entry_step(ins_node_t * node, que_thr_t * thr) 行 3442 14 mysqld.exe!row_ins(ins_node_t * node, que_thr_t * thr) 行 3584 15 mysqld.exe!row_ins_step(que_thr_t * thr) 行 3769 16 mysqld.exe!row_insert_for_mysql_using_ins_graph(const unsigned char * mysql_rec, row_prebuilt_t * prebuilt) 行 1734 17 mysqld.exe!row_insert_for_mysql(const unsigned char * mysql_rec, row_prebuilt_t * prebuilt) 行 1853 18 mysqld.exe!ha_innobase::write_row(unsigned char * record) 行 7484 19 mysqld.exe!handler::ha_write_row(unsigned char * buf) 行 7845 20 mysqld.exe!write_record(THD * thd, TABLE * table, COPY_INFO * info, COPY_INFO * update) 行 1860 21 mysqld.exe!Sql_cmd_insert::mysql_insert(THD * thd, TABLE_LIST * table_list) 行 780 22 mysqld.exe!Sql_cmd_insert::execute(THD * thd) 行 3092 23 mysqld.exe!mysql_execute_command(THD * thd, bool first_level) 行 3520 24 mysqld.exe!mysql_parse(THD * thd, Parser_state * parser_state) 行 5519 25 mysqld.exe!dispatch_command(THD * thd, const COM_DATA * com_data, enum_server_command command) 行 1432 26 mysqld.exe!do_command(THD * thd) 行 997 27 mysqld.exe!handle_connection(void * arg) 行 301 28 mysqld.exe!pfs_spawn_thread(void * arg) 行 2190 29 mysqld.exe!win_thread_start(void * p) 行 37
其中，trx_undo_page_report_insert函式的代碼如下：
1 /**********************************************************************//** 2 在UNDO日志中報告聚集索引記錄的插入，注意：這里的UNDO日志，指的是記憶體中的資料結構 3 @return在頁面上插入的條目的偏移量（如果成功），如果失敗則為0 */ 4 static 5 ulint 6 trx_undo_page_report_insert( 7 /*========================*/ 8 page_t* undo_page, /*!< in: undo log page */ 9 trx_t* trx, /*!< in: transaction */ 10 dict_index_t* index, /*!< in: clustered index */ 11 const dtuple_t* clust_entry, /*!< in: index entry which will be 12 inserted to the clustered index */ 13 mtr_t* mtr) /*!< in: mtr */ 14 { 15 ulint first_free; 16 byte* ptr; 17 ulint i; 18 19 //...省略若干內容 20 21 22 /* 預留2位元組給指向下一條UNDO日志的指標 */ 23 ptr += 2; 24 25 /* Store first some general parameters to the undo log */ 26 *ptr++ = TRX_UNDO_INSERT_REC; 27 ptr += mach_u64_write_much_compressed(ptr, trx->undo_no); 28 ptr += mach_u64_write_much_compressed(ptr, index->table->id); 29 /*----------------------------------------*/ 30 /* 然后存盤唯一確定要在聚簇索引中插入的記錄所需的欄位 */ 31 32 for (i = 0; i < dict_index_get_n_unique(index); i++) { 33 34 const dfield_t* field = dtuple_get_nth_field(clust_entry, i); 35 ulint flen = dfield_get_len(field); 36 37 if (trx_undo_left(undo_page, ptr) < 5) { 38 39 return(0); 40 } 41 42 ptr += mach_write_compressed(ptr, flen); 43 44 if (flen != UNIV_SQL_NULL) { 45 if (trx_undo_left(undo_page, ptr) < flen) { 46 47 return(0); 48 } 49 50 ut_memcpy(ptr, dfield_get_data(field), flen); 51 ptr += flen; 52 } 53 } 54 55 if (index->table->n_v_cols) { 56 if (!trx_undo_report_insert_virtual( 57 undo_page, index->table, clust_entry, &ptr)) { 58 return(0); 59 } 60 } 61 /* 呼叫trx_undo_page_set_next_prev_and_add函式 */ 62 return(trx_undo_page_set_next_prev_and_add(undo_page, ptr, mtr)); 63 }
trx_undo_page_set_next_prev_and_add函式的代碼如下：
1 /**********************************************************************//** 2 在UNDO page中為寫入到ptr的撤消記錄設定下一個和上一個指標， 通過為此UNDO日志寫入的位元組數更新第一個空閑值， 3 @return在頁面上插入的條目的偏移量（如果成功），如果失敗則為0 */ 4 static 5 ulint 6 trx_undo_page_set_next_prev_and_add( 7 /*================================*/ 8 page_t* undo_page, /*!< in/out: undo log page */ 9 byte* ptr, /*!< in: ptr up to where data has been 10 written on this undo page. */ 11 mtr_t* mtr) /*!< in: mtr */ 12 { 13 ulint first_free; /*!< offset within undo_page */ 14 ulint end_of_rec; /*!< offset within undo_page */ 15 byte* ptr_to_first_free; 16 /* pointer within undo_page 17 that points to the next free 18 offset value within undo_page.*/ 19 20 //...省略若干代碼 21 22 ptr_to_first_free = undo_page + TRX_UNDO_PAGE_HDR + TRX_UNDO_PAGE_FREE; 23 24 first_free = mach_read_from_2(ptr_to_first_free); 25 26 /* 寫入上一個UNDO日志記錄的偏移量 */ 27 mach_write_to_2(ptr, first_free); 28 ptr += 2; 29 30 end_of_rec = ptr - undo_page; 31 32 /* 寫入下一個UNDO日志記錄的偏移量 */ 33 mach_write_to_2(undo_page + first_free, end_of_rec); 34 35 /* 將偏移量更新為第一個空閑的UNDO記錄 */ 36 mach_write_to_2(ptr_to_first_free, end_of_rec); 37 38 /* 將此日志條目寫入UNDO日志,注釋原文是Write this log entry to the UNDO log， 39 但是你不要被此處的UNDO log迷惑了誤以為是磁盤中的檔案，其實Innodb代碼中的UNDO log， 40 我覺得應該理解為UNDO entry,指的是記憶體中的內容 */ 41 trx_undof_page_add_undo_rec_log(undo_page, first_free, 42 end_of_rec, mtr); 43 44 return(first_free); 45 }
trx_undof_page_add_undo_rec_log函式的代碼如下：
1 /************************************************************************ 2 將插入的UNDO條目的mtr日志條目寫入到redo log buffer，注釋原文是： 3 Writes the mtr log entry of the inserted undo log record on the undo log page. 4 但是請注意，這里并不是將undo落盤 */ 5 UNIV_INLINE 6 void 7 trx_undof_page_add_undo_rec_log( 8 /*============================*/ 9 page_t* undo_page, /*!< in: undo log page */ 10 ulint old_free, /*!< in: start offset of the inserted entry */ 11 ulint new_free, /*!< in: end offset of the entry */ 12 mtr_t* mtr) /*!< in: mtr */ 13 { 14 byte* log_ptr; 15 const byte* log_end; 16 ulint len; 17 18 log_ptr = mlog_open(mtr, 11 + 13 + MLOG_BUF_MARGIN); 19 20 if (log_ptr == NULL) { 21 22 return; 23 } 24 25 log_end = &log_ptr[11 + 13 + MLOG_BUF_MARGIN]; 26 /*mlog_write_initial_log_record_fast,是mini-transaction相關的函式，用來將redo條目寫入到redo log buffer 27 MLOG_UNDO_INSERT,是redo日志型別的一種，是在將一條記錄設定為頁面中的最小記錄時產生的，因為只是打個標記，存盤的內容比較簡單*/ 28 log_ptr = mlog_write_initial_log_record_fast( 29 undo_page, MLOG_UNDO_INSERT, log_ptr, mtr); 30 len = new_free - old_free - 4; 31 32 mach_write_to_2(log_ptr, len); 33 log_ptr += 2; 34 35 if (log_ptr + len <= log_end) { 36 memcpy(log_ptr, undo_page + old_free + 2, len); 37 mlog_close(mtr, log_ptr + len); 38 } else { 39 mlog_close(mtr, log_ptr); 40 mlog_catenate_string(mtr, undo_page + old_free + 2, len); 41 } 42 }
總結
MySQL一條insert操作，會寫redo log file和binlog檔案，但是不會將UNDO落盤，
UNDO包含在Innodb Buffer Pool中，由Page Cleaner Thread定時刷到磁盤，由Purge Thread定時回收，
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/78543.html
標籤：MySQL