什么是磁區表磁區是將一個表的資料按照某種方式，比如按照時間上的月份，分成多個較小的，更容易管理的部分，但是邏輯上仍是一個表。個人理解起來，磁區跟性能沒有必然關系，磁區更多的是從管理的角度出發的。還沒出現磁區表的時候，所有的資料都是存放在一個檔案里面的，如果資料量太大，查詢資料時總是避免不了需要大量io操作；使用磁區表后，每個磁區存放不同的資料。這樣不但可以減少io。還可以加快資料的訪問；為了保證MySQL的性能，我們都建議mysql單表不要太大，建議是：單表小于2G，記錄數小于1千萬，十庫百表。如果...
2021-08-05 moremkdir -p /opt/redis/data6379mkdir -p /opt/redis/data6380mkdir -p /opt/redis/data6381docker run --name redis6379 --restart=always --net=host -d redis redis-server --port 6379docker run --name redis6380 --restart=always --net=host -d redis redis-server -...
2021-08-05 more統計需求場景場景:聚合統計示例累計用戶計算新增用戶計算留存用戶計算缺點統計需求場景1、統計每天的新增用戶數和第二天的留存用戶數;場景:聚合統計所謂的聚合統計,就是指統計多個集合元素的聚合結果統計多個集合的共有元素(交集統計);把兩個集合相比,統計其中一個集合獨有的元素(差集統計);統計多個集合的所有元素(并集統計)在剛才提到的場景中,統計每天的新增用戶數和第二天的留存用戶數,正好對應了聚合統計。要完成這個統計任務,我們需要兩種集合。用一個集合記錄所有登錄過 ....
2021-08-04 more前言前面的文章介紹過了索引、鎖、復制與恢復、日志等 MySQL 的底層原理，本文主要從實戰的角度出發，講解如何合理的設計查詢，因為即使查詢寫的很糟糕，即使表結構再合理，索引再合適，也無法實作高性能。本文會介紹一些查詢設計的基本原則，以及一些更深的查詢優化的技巧。在優化查詢前先要了解在完成一個查詢的程序中，查詢需要在哪些地方花費時間，包括網路、CPU計算、生成統計資訊和執行計劃、鎖等待等操作，尤其是向存盤引擎檢索資料的呼叫操作，這些呼叫需要在記憶體操作，CPU操作和記憶體不足時導致的 I/O 操作上消耗時間...
2021-08-03 more文章目錄資料新增1、批量插入2、蠕蟲復制3、主鍵沖突資料查詢1、查詢選項 distinct2、欄位選擇&別名 as3、資料源 from4、where子句5、group by子句6、having子句7、order by子句8、limit子句資料更新1、限制更新資料洗掉1、限制洗掉2、清空資料資料新增1、批量插入批量插入：是一種優化資料逐條插入的方式批量插入資料的語法與簡單資料插入的語法差不多批量插入分為兩種：全欄位批量插入： insert into 表名 values(值串列1)...
2021-08-03 moreRedis的使用非常簡單，只需要安裝配置一下就能輕松上線，短時間不會出現什么問題，但是隨著時間推移，Redis實體增多，客戶端呼叫繁雜，真正的問題開始出現，整個關系就變得非常亂。Redis從使用角度來講是需要像應用服務一樣去治理的。下面先看一段日常開發程序中常見的對話：開發：Redis為啥不能訪問了?運維：剛剛服務器記憶體壞了，服務器自動重啟了。開發：為什么Redis延遲這么久?運維：大哥，不要在Zset里面放幾萬條資料，插入排序的后果很嚴重啊!開發：寫進去的key呢，為什么不見了?運...
2021-07-31 more文章目錄欄位型別1、欄位型別作用2、整數型別3、顯示寬度4、小數型別（浮點型）5、小數型別（定點型）6、字串型別（定長型）7、字串型別（變長型）8、字串型別（文本字串）9、字串型別（列舉）10、字串型別（集合）11、時間日期型別（年）12、時間日期型別（時間戳）13、時間日期型別（日期）14、時間日期型別（日期時間）15、時間日期型別（時間）16、總結二、屬性1、屬性作用2、NULL屬性3、Default屬性4、主鍵5、主鍵管理6、自增長屬性7、自增長管理8、唯一鍵9、唯一鍵管理10、comme...
2021-07-31 moreMacBook下mongoDB安裝官方下載地址: https://www.mongodb.com/try/download/community官方安裝地址: https://docs.mongodb.com/manual/tutorial/install-mongodb-on-os-x-tarball/官方下載免費的社區版本: Community Server mongodb-osx-ssl-x86_64-3.6.5.tgz#解壓tar -zxvf mongodb-osx-ssl-x86_...
2021-07-31 more文章目錄前言我們都知道 InnoDB 在模糊查詢資料時使用 "%xx" 會導致索引失效，但有時需求就是如此，類似這樣的需求還有很多，例如，搜索引擎需要根基用戶資料的關鍵字進行全文查找，電子商務網站需要根據用戶的查詢條件，在可能需要在商品的詳細介紹中進行查找，這些都不是B+樹索引能很好完成的作業。通過數值比較，范圍過濾等就可以完成絕大多數我們需要的查詢了。但是，如果希望通過關鍵字的匹配來進行查詢過濾，那么就需要基于相似度的查詢，而不是原來的精確數值比較，全文索引就是為這種場景設計的。全文...
2021-07-30 more**?桔妹導讀：**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題，由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視，實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶，一 ......
uj5u.com 2020-09-10 06:09:13 more**?桔妹導讀：**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高，采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐，遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......
uj5u.com 2020-09-10 06:10:21 more**?桔妹導讀：**滴滴資料通道引擎承載著全公司的資料同步，為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加，資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程，遇到的問題以及今后的規劃。 #1. 背景 資料，對于任何一家互聯網公司來說都是非常重要的資產，公司的大資料 ......
uj5u.com 2020-09-10 06:11:05 more**桔妹導讀：**深耕人工智能領域，致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎，這次獲獎的專案是什么呢？一起來看看詳細報道吧！ 近日，由國際計算語言學協會ACL（The Association for Computational Linguistics）舉辦的世界最具影響力的機器 ......
uj5u.com 2020-09-10 06:11:29 more1、什么是mpp？ MPP (Massively Parallel Processing)，即大規模并行處理，在資料庫非共享集群中，每個節點都有獨立的磁盤存盤系統和記憶體系統，業務資料根據資料庫模型和應用特點劃分到各個節點上，每臺資料節點通過專用網路或者商業通用網路互相連接，彼此協同計算，作為整體提供 ......
uj5u.com 2020-09-10 06:11:41 more**桔妹導讀：**指標體系是什么？如何使用OSM模型和AARRR模型搭建指標體系？如何統一流程、規范化、工具化管理指標體系？本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標，系統化的組織起來，通 ......
uj5u.com 2020-09-10 06:12:52 more我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索，LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料，可以使用下面的 SQL 陳述句： SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......
uj5u.com 2020-09-10 06:13:25 more**桔妹導讀：**Ceph是國際知名的開源分布式存盤系統，在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統， ......
uj5u.com 2020-09-10 06:14:51 more之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章，這一次主要寫一個嵌套的聚合，例如先對sex集合，再對desc聚合，最后再對age求和，共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by，avg，sum等函式,Aggregation ......
uj5u.com 2020-09-10 06:14:59 more傻瓜式部署，只需替換IP與用戶 導讀： 現ELK四大組件分別為：Elasticsearch（核心）、logstash（處理）、filebeat（采集）、kibana（可視化） 下載均在https://www.elastic.co/cn/downloads/下tar包，各組件版本最好一致，配合fdm會 ......
uj5u.com 2020-09-10 06:15:05 moreMysql復習的一個小總結，用xmind寫的。（字數沒有都不給我發博客😹） 下面是一些備注 子查詢 MySQL子查詢稱為內部查詢，而包含子查詢的查詢稱為外部查詢。 子查詢可以在使用運算式的任何地方使用，并且必須在括號中關閉。 視圖 基本語法可以使用 CREATE VIEW 陳述句來創建視圖。 語法格 ......
uj5u.com 2022-05-09 07:13:07 more?大資料概述 在大資料這個概念興起之前，資訊系統存盤資料的方法主要是我們熟知的關系型資料庫，關系型資料庫，關系型模型之父 Edgar F. Codd，在 1970 年 Communications of ACM 上發表了《大型共享資料庫資料的關系模型》的經典論文，從此之后關系模型的語意設計達到了 4 ......
uj5u.com 2022-05-09 07:13:01 more一、下載安裝IDEA IDEA2020.2.3版本：https://www.cnblogs.com/liugp/p/13868346.html 最新版本安裝詳情請參考：https://www.jb51.net/article/196349.htm 二、搭建本地hadoop環境（window10） 可 ......
uj5u.com 2022-05-09 07:12:17 moreMySQL8新增降序索引 桃花塢里桃花庵，桃花庵里桃花仙。桃花仙人種桃樹，又摘桃花賣酒錢。 一、MySQL5.7 降序索引 MySQL在語法上很早就已經支持降序索引，但實際上創建的卻仍然是升序索引，如下MySQL 5.7 所示，row2欄位降序，但是從show create table看 row2 ......
uj5u.com 2022-05-09 07:11:36 moreLinux環境下，MySQL的主要目錄及其作用、資料庫和資料表在檔案系統上的存盤結構。 ......
uj5u.com 2022-05-09 07:11:28 moreMysql復習的一個小總結，用xmind寫的。（字數沒有都不給我發博客😹） 下面是一些備注 子查詢 MySQL子查詢稱為內部查詢，而包含子查詢的查詢稱為外部查詢。 子查詢可以在使用運算式的任何地方使用，并且必須在括號中關閉。 視圖 基本語法可以使用 CREATE VIEW 陳述句來創建視圖。 語法格 ......
uj5u.com 2022-05-09 07:10:34 moreMySQL8新增降序索引 桃花塢里桃花庵，桃花庵里桃花仙。桃花仙人種桃樹，又摘桃花賣酒錢。 一、MySQL5.7 降序索引 MySQL在語法上很早就已經支持降序索引，但實際上創建的卻仍然是升序索引，如下MySQL 5.7 所示，row2欄位降序，但是從show create table看 row2 ......
uj5u.com 2022-05-09 07:10:25 moreLinux環境下，MySQL的主要目錄及其作用、資料庫和資料表在檔案系統上的存盤結構。 ......
uj5u.com 2022-05-09 07:10:19 more?大資料概述 在大資料這個概念興起之前，資訊系統存盤資料的方法主要是我們熟知的關系型資料庫，關系型資料庫，關系型模型之父 Edgar F. Codd，在 1970 年 Communications of ACM 上發表了《大型共享資料庫資料的關系模型》的經典論文，從此之后關系模型的語意設計達到了 4 ......
uj5u.com 2022-05-09 07:10:05 more一、下載安裝IDEA IDEA2020.2.3版本：https://www.cnblogs.com/liugp/p/13868346.html 最新版本安裝詳情請參考：https://www.jb51.net/article/196349.htm 二、搭建本地hadoop環境（window10） 可 ......
uj5u.com 2022-05-09 07:09:25 more