主頁 > 資料庫 > 記一次批量更新整型型別的列 → 探究 UPDATE 的使用細節

記一次批量更新整型型別的列 → 探究 UPDATE 的使用細節

2022-09-28 09:07:32 資料庫

開心一刻

  今天,她給我打來電話

  她:你明天陪我去趟醫院吧

  我:怎么了

  她:我懷孕了,陪我去打胎

  我:他的嗎

  她:嗯

  我心一沉,猶豫了片刻:生下來吧,我養!

  她:他的孩子,你不配養!

  我:我隨孩子姓

需求背景

  最近接到一個資料遷移的需求,舊系統的資料遷移到新系統;舊系統不會再新增業務資料,業務操作都在新系統上進行

  為了降低遷移的影響,資料進行分批遷移,也就是說新舊系統會并行一段時間

  資料分批不是根據 id 范圍來分的,也就說每批資料的 id 都是無規律的

  另外,為了保證新舊系統資料的對應,新系統的 id 盡可能的沿用舊系統的 id

  因為表 id 在新舊系統都是自增的,所以遷移的時候,舊系統的 id 可能在新系統已經被占用了,類似如下

  需求描述

  資料遷移的時候,盡可能沿用舊系統的 id,而沖突的 id 需要進行批量調整

  如何調整這批沖突的 id,正是我當下要實作的需求

  我的實作是根據業務資料的增長情況,結合目前新系統的最大 id 來預設一個起始的 id

  

  這個 SQL 該如何寫?

  需求實作

  有小伙伴可能覺得,這還不簡單?

  不就 5 條資料嘛,這么寫不就搞定了

  多簡單的事,還鋪墊那么多,樓主你到底會不會?

  樓主此刻幡然醒悟:小伙伴,你好厲害哇哦

  但是如果沖突的資料很多了(幾百上千),你也這樣一條一條改?

  如果你真這樣做,我是真心佩服你

  很顯然,理智的小伙伴更多

  那該如何實作了?

  樓主就不賣關子了,可以用區域變數 +  UPDATE 來實作,直接上 SQL 

  我們來看實際案例

  表 tbl_batch_update 

  資料如下

  執行效果如下

  更新之后

  更嚴謹點

 

  該如何實作?  UPDATE 是不是也支持 ORDER BY ?

  還真支持,如下所示

  樓主平時使用 UPDATE 的時候,基本沒結合 ORDER BY ,也沒嘗試過結合 LIMIT 

  這次嘗試讓樓主對 UPDATE 產生了陌生的感覺,它的完整語法應該是怎樣的?我們慢慢往下看

UPDATE

  下文都是基于 MySQL 8.0 的官方檔案 UPDATE Statement 整理而來,推薦大家直接去看官方檔案

  單表語法

 

   是不是有很多疑問:

  多表語法

  相比于單表,貌似更簡單一些,不支持 ORDER BY 和  LIMIT 

  LOW_PRIORITY

   UPDATE 的修飾符之一,用來降低 SQL 的優先級

  當使用 LOW_PRIORITY 之后, UPDATE 的執行將會被延遲,直到沒有其他客戶端從表中讀取資料為止

  但是,只有表級鎖的存盤引擎才支持 LOW_PRIORITY ,表級鎖的存盤引擎包括: MyISAM 、 MEMORY 和 MERGE ,所以最常用的 InnoDB 是不支持的

  使用場景很少,混個眼熟就好

  IGNORE

   UPDATE 的修飾符之一,用來宣告 SQL 執行時發生錯誤的處理方式

  如果沒有使用 IGNORE , UPDATE 執行時如果發生錯誤會中止,如下所示

   9002 更新成 9003 的時候,主鍵沖突,整個 UPDATE 中止, 9000 更新成的 9001 會回滾, 9003 ~ 9005 還未執行更新

  如果使用 IGNORE ,會是什么情況了?

   UPDATE 執行期間即使發生錯誤了,也會執行完成,最侄訓傳受影響的行數

  上述回傳受影響的行是 2 ,你們說說是哪兩行修改了?

  更多關于 IGNORE 的資訊,請查看:The Effect of IGNORE on Statement Execution

  關于使用場景,在新舊系統并行,做資料遷移的時候可能會用到,主鍵或者唯一鍵沖突的時候直接忽略

  ORDER BY

  如果大家對 UDPATE 的執行流程了解的話,那就更好理解了

   UPDATE 其實有兩個階段: 查階段 、 更新階段 

  一行一行的處理,查到一行滿足 WHERE 子句,就更新一行

  所以,這里的 ORDER BY 就和 SELECT 中的 ORDER BY 是一樣的效果

  關于使用場景,大家可以回過頭去看看前面講到的的需求背景,

  IGNORE 的案例 1 中的報錯,其實也可以用 ORDER BY 

  LIMIT

   LIMIT row_count 子句是行匹配限制,一旦找到滿足 WHERE 子句的 row_count 行,無論這些行是否實際更改,該陳述句都會立即停止

  也是就說 LIMIT 限制的是 查階段 ,與 更新階段 沒有關系

  注意:與 SELECT 語法中的 LIMIT 

  還是有區別的

  value DEFAULT

   UPDATE 中 SET 子句的 value 是運算式,我們可以理解,這個 DEFAULT 是什么意思?

  我們先來看這么一個問題,假設某列被宣告了 NOT NULL ,然而我們更新這列成 NULL 

  會發生什么

 

 

   我們看下 SQL_MODE ,執行 SELECT @@sql_mode; 得到結果

   STRICT_TRANS_TABLES 表明啟動了嚴格模式,對 INSERT 和 UPDATE 陳述句的 value 管控會更嚴格

  如果我們關閉嚴格模式,再看看執行結果

   name 欄位宣告成了 NOT NULL ,非嚴格 SQL 模式下,將 name 設定成 NULL 是成功的,但更改的值并非 NULL ,而是 VARCHAR 型別的默認值: 空字串('') 

  小結下

    1、嚴格 SQL 模式下,對 NOT NULL 的欄位設定 NULL ,會直接報錯,更新失敗

    2、非嚴格 SQL 模式下,對 NOT NULL 的欄位設定 NULL ,會將欄位值設定欄位型別對應的默認值

  關于欄位型別的默認值,可查看:Data Type Default Values

  關于 sql_mode ,可查看:Server SQL Modes

  通常情況下,生成環境的 MySQL 一般都是嚴格模式,所以大家知道有 value DEFAULT 這回事就夠了

  SET 欄位順序

  針對如下 SQL 

  想必大家都很清楚

  然而,以下 SQL 中的 name 列的值會是多少

  我們來看下結果

   name 的值是不是和預想的有點不一樣?

  單表 UPDATE 的 SET 是從左往右進行的,然而多表 UPDATE 卻不是,多表 UPDATE 不能保證按任何特定順序進行

總結

  1、不管是 UPDATE ,還是 DELETE ,都有一個先查的程序,查到一行處理一行

  2、 UPDATE 語法中的 LOW_PRIORITY 很少用, IGNORE 偶爾用, ORDER BY 和 LIMIT 相對會用的多一點,都混個眼熟

  3、 sql_mode 是比較重要的知識點,推薦大家掌握;生產環境,強烈推薦開啟嚴格模式

參考

  UPDATE Statement

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/509725.html

標籤:其他

上一篇:Linux下定時自動備份Docker中所有SqlServer資料庫

下一篇:如何實作資料庫讀一致性

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more