主頁 > 資料庫 > 阿里:MySQL資料庫規范

阿里:MySQL資料庫規范

2020-09-11 15:27:55 資料庫

阿里:MySQL資料庫規范

簡介:基于阿里資料庫設計規范擴展而來

 

設計規范

1.【推薦】欄位允許適當冗余,以提高查詢性能,但必須考慮資料一致,冗余欄位應遵循:

  • 不是頻繁修改的欄位,
  • 不是 varchar 超長欄位,更不能是 text 欄位,
正例:商品類目名稱使用頻率高,欄位長度短,名稱基本一成不變,可在相關聯的表中冗余存 儲類目名稱,避免關聯查詢,

2.【推薦】單表行數超過 500 萬行或者單表容量超過 2GB,才推薦進行分庫分表, 說明:如果預計2年后的資料量根本達不到這個級別,請不要在創建表時就分庫分表,

3.【推薦】id必須是主鍵,每個表必須有主鍵,且保持增長趨勢的, 小型系統可以依賴于 MySQL 的自增主鍵,大型系統或者需要分庫分表時才使用內置的 ID 生成器

4.【強制】id型別沒有特殊要求,必須使用bigint unsigned,禁止使用int,即使現在的資料量很小,id如果是數字型別的話,必須是8個位元組,參見最后例子

  • 方便對接外部系統,還有可能產生很多廢資料
  • 避免廢棄資料對系統id的影響
  • 未來分庫分表,自動生成id,一般也是8個位元組

5.【推薦】欄位盡量設定為 NOT NULL, 為欄位提供默認值, 如字符型的默認值為一個空字符值串’’;數值型默認值為數值 0;邏輯型的默認值為數值 0;

6.【推薦】每個欄位和表必須提供清晰的注釋

7.【推薦】時間統一格式:‘YYYY-MM-DD HH:MM:SS’

8.【強制】更新資料表記錄時,必須同時更新記錄對應的 gmt_modified 欄位值為當前時間

 

命名規范

1.【強制】表達是與否概念的欄位,必須使用 is_xxx 的方式命名,資料型別是 unsigned tinyint ( 1表示是,0表示否),
說明:任何欄位如果為非負數,必須是 unsigned,
正例:表達邏輯洗掉的欄位名 is_deleted,1 表示洗掉,0 表示未洗掉,
2.【強制】表名、欄位名必須使用小寫字母或數字,禁止出現數字開頭,禁止兩個下劃線中間只 出現數字,資料庫欄位名的修改代價很大,因為無法進行預發布,所以欄位名稱需要慎重考慮, 說明:MySQL 在 Windows 下不區分大小寫,但在 Linux 下默認是區分大小寫,因此,資料庫 名、表名、欄位名,都不允許出現任何大寫字母,避免節外生枝, 正例:health_user,rdc_config,level3_name 反例:HealthUser,rdcConfig,level_3_name
3.【強制】表名不使用復數名詞, 說明:表名應該僅僅表示表里面的物體內容,不應該表示物體數量,對應于 DO 類名也是單數 形式,符合表達習慣,
4.【強制】禁用保留字,如 desc、range、match、delayed 等,請參考 MySQL 官方保留字,
5.【強制】主鍵索引名為 pk_欄位名;唯一索引名為 uk_欄位名;普通索引名則為 idx_欄位名,
說明:pk_ 即 primary key;uk_ 即 unique key;idx_ 即 index 的簡稱,
6.【強制】小數型別為 decimal,禁止使用 float 和 double,
說明:float 和 double 在存盤的時候,存在精度損失的問題,很可能在值的比較時,得到不 正確的結果,如果存盤的資料范圍超過 decimal 的范圍,建議將資料拆成整數和小數分開存盤,
7.【強制】如果存盤的字串長度幾乎相等,使用 char 定長字串型別,
8.【強制】varchar 是可變長字串,不預先分配存盤空間,長度不要超過 5000,如果存盤長 度大于此值,定義欄位型別為 text,獨立出來一張表,用主鍵來對應,避免影響其它欄位索 引效率,
9.【強制】表必備三欄位:id, is_delete,gmt_create, gmt_modified, 說明:其中id必為主鍵,型別為unsigned bigint、單表時自增、步長為1,gmt_create, gmt_modified 的型別均為 date_time 型別,前者現在時表示主動創建,后者過去分詞表示被 動更新,
10.【強制】所有命名必須使用全名,有默認約定的除外,如果超過 30 個字符,使用縮寫,請盡量名字易懂簡短,如 description --> desc;information --> info;address --> addr 等
11.【推薦】表的命名最好是加上“業務名稱_表的作用”, 正例:health_user / trade_config
12.【推薦】庫名與應用名稱盡量一致,如health
13.【推薦】如果修改欄位含義或對欄位表示的狀態追加時,需要及時更新欄位注釋
14.【推薦】所有時間欄位,都以 gmt_開始,后面加上動詞的過去式,最后不要加上 time 單詞,例如 gmt_create

 

型別規范

1.表示狀態欄位(0-255)的使用 TINYINT UNSINGED,禁止使用列舉 型別,注釋必須清晰地說明每個列舉的含義,以及是否多選等

2.表示boolean型別的都使用TINYINT(1),因為mysql本身是沒有boolean型別的,在自動生成代碼的時候,DO物件的欄位就是boolean型別,例如 is_delete;其余所有時候都使用TINYINT(4)

TINYINT(4),這個括號里面的數值并不是表示使用多大空間存盤,而是最大顯示寬度,并且只有欄位指定zerofill時有用,沒有zerofill,(m)就是無用的,例如id BIGINT ZEROFILL NOT NULL,所以建表時就使用默認就好了,不需要加括號了,除非有特殊需求,例如TINYINT(1)代表boolean型別,

TINYINT(1),TINYINT(4)都是存盤一個位元組,并不會因為括號里的數字改變,例如TINYINT(4)存盤22則會顯示0022,因為最大寬度為4,達不到的情況下用0來補充,

3.【參考】合適的字符存盤長度,不但節約資料庫表空間、節約索引存盤,更重要的是提升檢索速度,

型別位元組表示范圍
tinyint 1 無符號值: 0~255;有符號值: -128~127
smallint 2 無符號值: 0~65536;有符號值: -32768~32767
mediumint 3 無符號值: 0~16777215;有符號值: -8388608~8388607
int 4 無符號值: 0~4294967295;有符號值: -2147483648~2147483647
bigint 8 無符號值: 0~((2³²×²)-1);有符號值: -(2³²×²)/2 ~ (2³²×²)/2-1

4.非負的數字型別欄位,都添加上 UNSINGED, 如可以使用 INT UNSINGED 欄位存 IPV4

5.時間欄位使用時間日期型別,不要使用字串型別存盤,日期使用DATE型別,年使用YEAR型別,日期時間使用DATETIME

6.字串VARCHAR(N), 其中 N表示字符個數,請盡量減少 N 的大小,參考:code VARCHAR(32);name VARCHAR(32);memo VARCHAR(512);

7.Blob 和 Text 型別所存盤的資料量大,洗掉和修改操作容易在數 據表里產生大量的碎片,避免使用 Blob 或 Text 型別

 

索引規范

1.【強制】業務上具有唯一特性的欄位,即使是多個欄位的組合,也必須建成唯一索引,

不要以為唯一索引影響了 insert 速度,這個速度損耗可以忽略,但提高查找速度是明 顯的;另外,即使在應用層做了非常完善的校驗控制,只要沒有唯一索引,根據墨菲定律,必 然有臟資料產生,

2.【強制】超過三個表禁止 join,需要 join 的欄位,資料型別必須絕對一致;多表關聯查詢時, 保證被關聯的欄位需要有索引,

即使雙表 join 也要注意表索引、SQL 性能,

3.【強制】在 varchar 欄位上建立索引時,必須指定索引長度,沒必要對全欄位建立索引,根據 實際文本區分度決定索引長度即可, 說明:索引的長度與區分度是一對矛盾體,一般對字串型別資料,長度為 20 的索引,區分度會高達 90%以上,可以使用 count(distinct left(列名, 索引長度))/count(*)的區分度來確定,

4.【強制】頁面搜索嚴禁左模糊或者全模糊,如果需要請走搜索引擎來解決,

索引檔案具有 B-Tree 的最左前綴匹配特性,如果左邊的值未確定,那么無法使用此索引,

5.【推薦】如果有 order by 的場景,請注意利用索引的有序性,order by 最后的欄位是組合索引的一部分,并且放在索引組合順序的最后,避免出現 file_sort 的情況,影響查詢性能,

正例:where a=? and b=? order by c; 索引:a_b_c 反例:索引中有范圍查找,那么索引有序性無法利用,如:WHERE a>10 ORDER BY b; 索引 a_b 無法排序,

6.【推薦】利用覆寫索引來進行查詢操作,避免回表,
說明:如果一本書需要知道第11章是什么標題,會翻開第11章對應的那一頁嗎?目錄瀏覽一下就好,這個目錄就是起到覆寫索引的作用,

正例:能夠建立索引的種類:主鍵索引、唯一索引、普通索引,而覆寫索引是一種查詢的效果,用explain的結果,extra列會出現:using index,

7.【推薦】利用延遲關聯或者子查詢優化超多分頁場景,
說明:MySQL并不是跳過 offset 行,而是取 offset+N 行,然后回傳放棄前 offset 行,回傳 N 行,那當 offset 特別大的時候,效率就非常的低下,要么控制回傳的總頁數,要么對超過特定閾值的頁數進行 SQL 改寫,

正例:先快速定位需要獲取的 id 段,然后再關聯:

SELECT a.* FROM 表 1 a, (select id from 表 1 where 條件 LIMIT 100000,20 ) b where a.id=b.id

8.【推薦】SQL 性能優化的目標:至少要達到 range 級別,要求是 ref 級別,如果可以是 consts 最好,

說明:

  • consts 單表中最多只有一個匹配行(主鍵或者唯一索引),在優化階段即可讀取到資料,
  • ref 指的是使用普通的索引(normal index),
  • range 對索引進行范圍檢索,
    反例:explain 表的結果,type=index,索引物理檔案全掃描,速度非常慢,這個 index 級 別比較 range 還低,與全表掃描是小巫見大巫,

9.【推薦】建組合索引的時候,區分度最高的在最左邊,
正例:如果 where a=? and b=? ,a 列的幾乎接近于唯一值,那么只需要單建 idx_a 索引即 可,

說明:存在非等號和等號混合判斷條件時,在建索引時,請把等號條件的列前置,如:where a>? and b=? 那么即使 a 的區分度更高,也必須把 b 放在索引的最前列,

10【推薦】防止因欄位型別不同造成的隱式轉換,導致索引失效,

11.【參考】創建索引時避免有如下極端誤解

  • 寧濫勿缺,認為一個查詢就需要建一個索引,
  • 寧缺勿濫,認為索引會消耗空間、嚴重拖慢更新和新增速度,
  • 抵制惟一索引,認為業務的惟一性一律需要在應用層通過“先查后插”方式解決,

12. 總結

   • 索引占磁盤空間,不要重復的索引,盡量短  
    • 只給常用的查詢條件加索引  
    • 過濾性高的列建索引,取值范圍固定的列不建索引 
    • 唯一的記錄添加唯一索引  
    • 頻繁更新的列不要建索引  
    • 不要對索引列運算  
    • 同樣過濾效果下,保持索引長度最小  
    • 合理利用組合索引,注意索引欄位先后順序  
    • 多列組合索引,過濾性高的欄位最前  
    • order by 欄位建立索引,避免 filesort  
    • 組合索引,不同的排序順序不能使用索引  
    • <>!=無法使用索引

 

SQL規范

1.【強制】不要使用 count(列名)或 count(常量)來替代 count(),count()是 SQL92 定義的 標準統計行數的語法,跟資料庫無關,跟 NULL 和非 NULL 無關,

count(*)會統計值為 NULL 的行,而 count(列名)不會統計此列為 NULL 值的行,

2.【強制】count(distinct col) 計算該列除 NULL 之外的不重復行數,

count(distinct col1, col2) 如果其中一列全為NULL,那么即使另一列有不同的值,也回傳為0,

3.【強制】當某一列col的值全是 NULL 時,count(col)的回傳結果為 0,但 sum(col)的回傳結果為 NULL,因此使用 sum()時需注意 NPE 問題,

正例:可以使用如下方式來避免sum的NPE問題:SELECT IF(ISNULL(SUM(g)),0,SUM(g)) FROM table;

4.【強制】使用 ISNULL()來判斷是否為 NULL 值, 說明:NULL 與任何值的直接比較都為 NULL,

  • NULL<>NULL的回傳結果是NULL,而不是false,
  • NULL=NULL的回傳結果是NULL,而不是true,
  • NULL<>1的回傳結果是NULL,而不是true,

5.【強制】 在代碼中寫分頁查詢邏輯時,若 count 為 0 應直接回傳,避免執行后面的分頁陳述句,

6.【強制】不得使用外鍵與級聯,一切外鍵概念必須在應用層解決, 說明:以學生和成績的關系為例,學生表中的 student_id 是主鍵,那么成績表中的 student_id 則為外鍵,如果更新學生表中的 student_id,同時觸發成績表中的 student_id 更新,即為 級聯更新,外鍵與級聯更新適用于單機低并發,不適合分布式、高并發集群;級聯更新是強阻 塞,存在資料庫更新風暴的風險;外鍵影響資料庫的插入速度,

7.【強制】禁止使用存盤程序,存盤程序難以除錯和擴展,更沒有移植性,

8.【強制】資料訂正時,洗掉和修改記錄時,要先 select,避免出現誤洗掉,確認無誤才能執行更新陳述句,

9.【推薦】in操作能避免則避免,若實在避免不了,需要仔細評估 in 后邊的集合元素數量,控
制在 1000 個之內,

10.【參考】如果有全球化需要,所有的字符存盤與表示,均以 utf-8 編碼,注意字符統計函式 的區別,

 

SELECT LENGTH(“輕松作業”); 回傳為12
SELECT CHARACTER_LENGTH(“輕松作業”); 回傳為4 如果需要存盤表情,那么選擇 utfmb4 來進行存盤,注意它與 utf-8 編碼的區別,

11.【參考】TRUNCATE TABLE 比 DELETE 速度快,且使用的系統和事務日志資源少,但 TRUNCATE 無事務且不觸發trigger,有可能造成事故,故不建議在開發代碼中使用此陳述句, 說明:TRUNCATE TABLE 在功能上與不帶 WHERE 子句的 DELETE 陳述句相同,

12.【推薦】不要寫一個大而全的資料更新介面,傳入為 POJO 類,不管是不是自己的目標更新字 段,都進行 update table set c1=value1,c2=value2,c3=value3; 這是不對的,執行 SQL 時,不要更新無改動的欄位,一是易出錯;二是效率低;三是增加 binlog 存盤,

13.總結

• 能夠快速縮小結果集的 WHERE 條件寫在前面,如果有恒量條 件,也盡量放在前面 ,例如 where 1=1  
• 避免使用 GROUP BY、DISTINCT 等陳述句的使用,避免聯表查 詢和子查詢 
• 能夠使用索引的欄位盡量進行有效的合理排列  
• 針對索引欄位使用 >, >=, =, <, <=, IF NULL 和 BETWEEN 將會 使用索引,如果對某個索引欄位進行 LIKE 查詢,使用 LIKE   ‘%abc%’ 不能使用索引,使用 LIKE ‘abc%’ 將能夠使用索引  
• 如果在 SQL 里使用了 MySQL部分自帶函式,索引將失效
• 避免直接使用 select *,只取需要的欄位,增加使用覆寫索引使用的可能  
• 對于大資料量的查詢,盡量避免在 SQL 陳述句中使用 order by 字句 
• 連表查詢的情況下,要確保關聯條件的資料型別一致,避免嵌套子查詢  
• 對于連續的數值,使用 between 代替 in  
• where 陳述句中盡量不要使用 CASE 條件  
• 當只要一行資料時使用 LIMIT 1

ORM映射

1.【強制】在表查詢中,一律不要使用 * 作為查詢的欄位串列,需要哪些欄位必須明確寫明,
      說明:1)增加查詢分析器決議成本,2)增減欄位容易與 resultMap配置不一致,
2.【強制】POJO類的布爾屬性不能加 is,而資料庫欄位必須加 is_,要求在 resultMap中進行欄位與屬性之間的映射,
      說明:參見定義 POJO類以及資料庫欄位定義規定,在<resultMap>中增加映射,是必須的,在 MyBatis Generator生成的代碼中,需要進行對應的修改,
3.【強制】不要用 resultClass當回傳引數,即使所有類屬性名與資料庫欄位一一對應,也需要定義;反過來,每一個表也必然有一個與之對應,
      說明:配置映射關系,使欄位與 DO類解耦,方便維護,
4.【強制】sql.xml配置引數使用:#{},#param# 不要使用${} 此種方式容易出現 SQL注入,
5.【強制】iBATIS自帶的 queryForList(String statementName,int start,int size)不推薦使用,
      說明:其實作方式是在資料庫取到statementName對應的SQL陳述句的所有記錄,再通過subList取 start,size的子集合,
     正例:Map<String, Object> map = new HashMap<String, Object>();
                map.put("start", start);
                map.put("size", size);
6.【強制】不允許直接拿 HashMap與 Hashtable作為查詢結果集的輸出,
      說明:resultClass=”Hashtable”,會置入欄位名和屬性值,但是值的型別不可控, 
7.【強制】更新資料表記錄時,必須同時更新記錄對應的 gmt_modified欄位值為當前時間,
8.【推薦】不要寫一個大而全的資料更新介面傳入為 POJO類,不管是不是自己的目標更新欄位,都進行  update table set c1=value1,c2=value2,c3=value3; 這是不對的,執行 SQL時,不要更新無改動的欄位,一是易出錯;二是效率低;三是增加 binlog存盤,

9.【參考】@Transactional事務不要濫用,事務會影響資料庫的 QPS,另外使用事務的地方需要考慮各方面的回滾方案,包括快取回滾、搜索引擎回滾、訊息補償、統計修正等,
10.【參考】<isEqual>中的 compareValue是與屬性值對比的常量,一般是數字,表示相等時帶 上此條件;<isNotEmpty>表示不為空且不為 null時執行;<isNotNull>表示不為 null值時執行,

示例

CREATE TABLE `health_package` (
  `id` bigint unsigned NOT NULL AUTO_INCREMENT COMMENT '序號',
  `package_id` int unsigned NOT NULL COMMENT '套系 id',
  `module_id`  int unsigned NOT NULL COMMENT '模塊 id',
  `is_delete` tinyint unsigned NOT NULL DEFAULT 0 COMMENT '是否洗掉,0-未洗掉,1-洗掉,默認為0',
  `gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT 'Create time, common column by DB rules',
  `gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 'Modified time,common column by DB rules ',
  PRIMARY KEY (`id`)
) COMMENT='This table stores module and package of health for ...';

 

本文轉自阿里云開發者社區,如有侵權請聯系洗掉

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/6047.html

標籤:MySQL

上一篇:Navicat 1142 SELECT command denied to user 'sx'@'xxx' for table 'user'

下一篇:MYSQL實作將B表中的欄位值到更新A表中

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more