主頁 > 資料庫 > 記一次字串末尾空白丟失的排查 → MySQL 是會玩的!

記一次字串末尾空白丟失的排查 → MySQL 是會玩的!

2023-06-26 09:33:17 資料庫

開心一刻

  今天答應準時回家和老婆一起吃晚飯,但臨時有事加了會班,回家晚了點

  回到家,本以為老婆會很生氣,但老婆卻立即從廚房端出了熱著的飯菜

  老婆:還沒吃飯吧,去洗下,來吃飯吧

  我洗好,坐下吃飯,內心感動十分;老婆坐旁邊深情的看著我

  老婆:你知道誰最愛你嗎

  我毫不猶豫道:你

  老婆:誰最關心你?

  我:你

  老婆:我是誰呀?

  我:我老婆

  老婆:那你以后是不是得對我好點?

  這時電話響了,一看好哥們打過來的,我接了并開了免提

  哥們:樓下洗浴八折,干啥呢?

  我:那個......,在陪我前妻吃口飯

問題背景

  一天,小伙伴找到我,他說他碰到一個很奇怪的問題

  他說:明明表名的入參是 test  ,為什么展示到界面的記錄包括 test 這條記錄?

  他補充道:會不會是 MyBatis-Plus 做了什么騷操作,把 test  末尾的空格給拿掉了

  我:你直接把 SQL 陳述句到 MySQL 執行下試試

  結果如下:

  這看起來不夠直觀,我移動下游標

  然后我和小伙伴面面相覷

環境準備

   MySQL5 、 MySQL8 各準備一個

  我們來看下默認情況下,末尾空白的判斷情況

   MySQL 5.7.36 如下

  1 表示 TRUE ,也就是相等

   MySQL 8.0.27 如下

  0 表示 FALSE ,表示不相等

  這是什么原因,我們繼續往下看

字符集與字符序

  比較肯定就需要比較規則, SQL 的比較規則就離不開字符序,字符序又與字符集相關,所以我們一個一個來捋

  字符集

  關于字符集,不是只言片語可以說清楚的,但是大家也不用擔心,網上相關資料已經非常多,大家擦亮慧眼去查閱即可

  簡單點來說:字符集定義了字符和字符的編碼

  有人又問了:字符、字符的編碼又是什么?

  為了方便大家理解,舉個簡單栗子

    有四個字符:A、B、C、D,這四個字符的編碼分別是 A = 0, B = 1, C = 2, D = 3

    這里的字符(A、B、C、D) + 編碼(0、1、2、3)就構成了字符集(character set)

   MySQL 支持的字符集有很多,可以通過 SHOW CHARACTER SET; 查看

   Charset :字符集名

   Description :描述

   Default collation :默認字符序

   Maxlen :每個字符最多位元組數

  字符序

  定義了字符的比較規則;字符間的比較按何種規則進行

  一個字符集對應多個字符序,通過 SHOW COLLATION; 可以查看全部的字符序;也可以帶條件查具體某個字符集的字符序

   Default 等于 Yes 表示是默認字符序

  每個字符集都有默認的字符序

  server的字符集與字符序

  當我們創建資料庫時,沒有指定字符集、字符序,那么server字符集、server字符序就會作為該資料庫的字符集、字符序

  database的字符集與字符序

  指定資料庫級別的字符集、字符序

  同一個MySQL服務下的資料庫,可以分別指定不同的字符集、字符序

  創建、修改資料庫的時候,可以通過 CHARACTER SET 、  COLLATE  指定資料庫的字符集、字符序

  可以通過

  查看資料庫的字符集和字符序

  table的字符集與字符序

  創建、修改表的時候,可以通過 CHARACTER SET 、 COLLATE 指定表的字符集、字符序

  可以通過

  查看表的字符序

  column的字符集與字符序

  型別為 CHAR 、 VARCHAR 、 TEXT 的列,可以指定字符集、字符序

  可以通過

  查看欄位的字符集和字符序

  多個維度指定字符集、字符序的話,粒度越細的優先級越高( column > table > database > server )

  如果細粒度未指定字符集、字符序,那么會繼承上一級的字符集,字符序則是上一級字符集的默認字符序

  通常情況下我們一般不會指定 table 、 column 粒度的字符集、字符序

  也就是說,通常情況下 column 的字符集會與 database 的字符集一致,而 column 的字符序則是 database 字符集的默認字符序

空白丟失

  上面講了那么多,跟空白丟失有什么關系?

  大家先莫急,繼續往下看

   MySQL5.7 The CHAR and VARCHAR Types中有這么一段

  翻譯過來就是:

    1、型別是 CHAR 、 VARCHAR 、 TEXT 列的值,會根據列的字符序來比較和排序

    2、所有 MySQL 排序規則的型別都是 PAD SPACE ,這就意味著, CHAR 、 VARCHAR 、 TEXT 型別的值進行比較時,不用考慮任何末尾空格,LIKE 除外

    3、不受 SQL mode 影響,也就是說不管是嚴格模式,還是非嚴格模式,都不影響 2 所說的規則

  劃重點,記筆記:在 MySQL5.7 及以下( <=5.7 )版本中,排序規則都是 PAD SPACE ,末尾的空格會忽略不考慮

  那如何讓末尾空格參與比較了,有三種處理方式

  1、 BINARY ,類似 SELECT 'test' = BINARY 'test '; 

  2、 LIKE ,類似 SELECT 'test' LIKE 'test '; 

  3、 LENGTH 函式,類似

   MySQL8 做了調整,The CHAR and VARCHAR Types 有如下說明

  翻譯過來就是:

    1、型別是 CHAR 、 VARCHAR 、 TEXT 列的值,會根據列的字符序來比較和排序

    2、 MySQL 字符序的 pad 引數的可選值,除了 PAD SPACE ,還增加了 NO PAD 

    3、對于非二進制字串( CHAR 、 VARCHAR 、 TEXT ),字符序 pad 引數決定如何去處理字串末尾的空格

       NO PAD 不會忽略末尾空格,會將其當做其他字符一樣對待

       PAD SPACE 會忽略末尾空格, LIKE 除外

       SQL mode 不參與字串末尾空格的處理

   MySQL8 server 維度的字符集是 utf8mb4 ,對應的默認字符序是: utf8mb4_0900_ai_ci 

   Pad_attribute 的值是 NO PAD ,也就是不會忽略字串末尾的空格

  所以在 MySQL8 中, SELECT 'test' = 'test '; 默認情況下得到的結果是 0

總結

  1、非二進制字串( CHAR 、 VARCHAR 、 TEXT )比較時,末尾空格的處理跟列的字符序有直接關系

  2、 MySQL5.7 及之前的版本,排序規則的型別都是 PAD SPACE ,會忽略字串末尾的空格, LIKE 除外

  3、 MySQL8 開始,字符序增加了一個引數 Pad_attribute ,該引數的值不同,對字串末尾空格的處理方式不同

     NO PAD :字串末尾的空格會和其他字符一樣,不會被忽略

     PAD SPACE :字串末尾的空格會被忽略, LIKE 除外

  4、如上針對的都是非二進制字串的排序和比較,而不是儲存

參考

  The CHAR and VARCHAR Types

  The CHAR and VARCHAR Types

  再見亂碼:5分鐘讀懂MySQL字符集設定

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/555972.html

標籤:其他

上一篇:TiDB簡介與應用場景

下一篇:返回列表

標籤雲
其他(161611) Python(38248) JavaScript(25513) Java(18259) C(15238) 區塊鏈(8272) C#(7972) AI(7469) 爪哇(7425) MySQL(7269) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5875) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4606) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2437) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1984) HtmlCss(1972) 功能(1967) Web開發(1951) C++(1942) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1881) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • 記一次字串末尾空白丟失的排查 → MySQL 是會玩的!

    開心一刻 今天答應準時回家和老婆一起吃晚飯,但臨時有事加了會班,回家晚了點 回到家,本以為老婆會很生氣,但老婆卻立即從廚房端出了熱著的飯菜 老婆:還沒吃飯吧,去洗下,來吃飯吧 我洗好,坐下吃飯,內心感動十分;老婆坐旁邊深情的看著我 老婆:你知道誰最愛你嗎 我毫不猶豫道:你 老婆:誰最關心你? 我:你 ......

    uj5u.com 2023-06-26 09:33:17 more
  • TiDB簡介與應用場景

    # 引言 在當今互聯網時代,資料的規模和復雜性不斷增長,傳統關系型資料庫面臨著無法滿足高并發和大規模資料存盤需求的挑戰。為了解決這一問題,開源社區涌現出了一系列分布式資料庫解決方案,其中TiDB作為一種新興的分布式資料庫引起了廣泛的關注。本文將介紹TiDB的基本概念、特點以及適用的應用場景。 TiD ......

    uj5u.com 2023-06-26 09:32:48 more
  • 構建高可用性的 SQL Server:Docker 容器下的主從同步實作

    摘要:本文將介紹如何在 Docker 環境下搭建 MS SQL Server 的主從同步,幫助讀者了解主從同步的原理和實作方式,進而提高資料的可靠性和穩定性。 一、前言 在當今資訊化的時代,資料的安全性和穩定性顯得尤為重要。資料庫是許多企業和組織存盤和管理資料的核心,因此如何保證資料庫的高可用性和數 ......

    uj5u.com 2023-06-26 09:31:47 more
  • 一個比 SQLite 還好用的資料庫神器

    很多小微型應用程式也需要一些資料處理和計算能力,如果集成一個資料庫就顯得太沉重了,這種情況下 SQLite 是一個不錯的選擇,它架構簡單,集成方便,可持久化存盤資料,并提供 SQL 實作計算能力。
    但是,對于某些較復雜的場景,SQLite 仍有不足之處。 ......

    uj5u.com 2023-06-26 09:26:15 more
  • 鎖(case篇)

    ## case1(表鎖的讀-寫-讀阻塞) 上篇檔案中提到過 >WRITE locks normally have higher priority than READ locks to ensure that updates are processed as soon as possible. Thi ......

    uj5u.com 2023-06-26 09:20:03 more
  • 記一次字串末尾空白丟失的排查 → MySQL 是會玩的!

    開心一刻 今天答應準時回家和老婆一起吃晚飯,但臨時有事加了會班,回家晚了點 回到家,本以為老婆會很生氣,但老婆卻立即從廚房端出了熱著的飯菜 老婆:還沒吃飯吧,去洗下,來吃飯吧 我洗好,坐下吃飯,內心感動十分;老婆坐旁邊深情的看著我 老婆:你知道誰最愛你嗎 我毫不猶豫道:你 老婆:誰最關心你? 我:你 ......

    uj5u.com 2023-06-26 09:19:13 more
  • TiDB簡介與應用場景

    # 引言 在當今互聯網時代,資料的規模和復雜性不斷增長,傳統關系型資料庫面臨著無法滿足高并發和大規模資料存盤需求的挑戰。為了解決這一問題,開源社區涌現出了一系列分布式資料庫解決方案,其中TiDB作為一種新興的分布式資料庫引起了廣泛的關注。本文將介紹TiDB的基本概念、特點以及適用的應用場景。 TiD ......

    uj5u.com 2023-06-26 09:18:25 more
  • Spark簡介

    # Spark Spark是一種快速、通用、可擴展的大資料分析引擎,2009年誕生于加州大學伯克利分校AMPLab,2010年開源,2013年6月成為Apache范訓專案,2014年2月成為Apache的頂級專案,2014年5月發布spark1.0,2016年7月發布spark2.0,2020年6月 ......

    uj5u.com 2023-06-26 09:18:08 more
  • SeaTunnel 發布成為 Apache 頂級專案后首個版本 2.3.2,進一步提高

    ![file](https://img2023.cnblogs.com/other/3195851/202306/3195851-20230625185718639-2144905227.jpg) > 近日,Apache SeaTunnel 正式發布 2.3.2 版本。此時距離上一版本 2.3.1 ......

    uj5u.com 2023-06-26 09:18:01 more
  • memcached使用中踩的一些坑

    ## 背景 線上啟用memcached(以下簡稱mc)作為熱點快取組件已經多年,其穩定性和性能都經歷住了考驗,這里記錄一下踩過的幾個坑。 ## 大key存盤 某年某月某日,觀察mysql的讀庫CPU占比有些例外偏高,去check慢查詢log,發現部分應有快取的慢sql居然存在幾秒執行一次情況,不符合 ......

    uj5u.com 2023-06-25 08:14:32 more