主頁 > 資料庫 > mysql集群搭建docker-compose方案

mysql集群搭建docker-compose方案

2023-03-22 16:19:34 資料庫

MySQL集群搭建大致有兩種方式,一種是單主/多從的主從復制方式,另一種是使用Galera Cluster高可用解決方案,

1、步驟

以下我們詳細介紹一下單主/多從的主從復制方式:

  1. 確認服務器環境,采用官方支持的作業系統版本和MySQL版本,并保證主從服務器之間的網路連接能夠正常通信,
  2. 安裝MySQL服務器,可以選擇二進制安裝包、yum/apt安裝包和原始碼編譯方式進行安裝,在進行安裝時,需要配置MySQL的組態檔(my.cnf檔案),以配置MySQL的操作引數和節點角色,
  3. 配置主從節點的角色,將其中一個MySQL服務器配置為主節點,其他服務器均配置為從節點,
  4. 配置主從復制引數,在主節點上創建復制賬戶,并將賬戶的權限限定在從節點上,
  5. 在從節點上配置主從關系,即將主節點的binlog日志傳輸到從節點,并將從節點的relay log傳輸回主節點,實作資料的實時復制,
  6. 測驗主從復制的功能及性能,并對其進行調優,可以使用MySQL自帶的性能測驗工具及一些第三方性能測驗工具對MySQL集群的讀寫性能、擴展能力等進行評估和優化,
2、集群搭建

下面是基于CentOS 7作業系統和MySQL 5.7版本的單主/多從的主從復制方式的具體步驟:

  1. 確認服務器環境
  • 確認服務器之間的連接能夠正常通信,可以使用ping命令測驗連接;
  • 確認MySQL 5.7版本的安裝包已經下載并上傳到服務器,建議使用官方提供的二進制安裝包(.tar.gz格式),
  1. 安裝MySQL服務器
  • 創建MySQL用戶和用戶組,建議使用root用戶或具有sudo權限的用戶進行安裝;
  • 解壓MySQL安裝包,將解壓后的目錄移動到/usr/local目錄下;
  • 新建my.cnf組態檔,將以下配置添加進去:

    [mysqld]
    log-bin=mysql-bin
    server-id=1

其中log-bin配置指定主節點將binlog日志保存到mysql-bin檔案中,server-id配置指定服務器的唯一標識,值越小優先級越高,

  • 初始化MySQL資料目錄,使用以下命令初始化:

     
    #/usr/local/mysql/bin/mysqld —initialize —user=mysql —basedir=/usr/local/mysql —datadir=/usr/local/mysql/data
  • 啟動MySQL服務,使用以下命令啟動:

     #/usr/local/mysql/bin/mysqld_safe &
  1. 配置主從節點的角色
  • 配置主節點,先登錄到主節點的MySQL服務器上,使用以下命令創建復制賬戶,并限定該賬戶的權限僅限于從節點:

     mysql> grant replication slave on *.* to 'repl'@'%' identified by 'password';
  • 配置從節點,在從節點的my.cnf組態檔中添加如下內容:

    [mysqld]
    server-id=2

這里的server-id需要設定為不同于主節點的唯一值,例如在此設定為2,

  1. 配置主從復制引數
  • 在主節點上執行以下SQL陳述句,創建binlog日志檔案:

     mysql> flush logs;
  • 獲取主節點的binlog檔案名和位置,執行以下SQL陳述句:

     mysql> show master status;

記錄下File和Position欄位的值,將它們配置到從節點的my.cnf檔案中:

 [mysqld]
relay-log=mysql-relay-bin
log_slave_updates=1
read_only=1

其中relay-log配置為從節點將relay log日志保存到mysql-relay-bin檔案中,log_slave_updates配置為從節點將自己的binlog傳給其他從節點,read_only配置為只讀,

  • 在從節點上執行以下SQL陳述句,建立主從關系:

    CHANGE MASTER TO
    MASTER_HOST='your_master_ip_address',
    MASTER_USER='repl',
    MASTER_PASSWORD='password',
    MASTER_LOG_FILE='mysql-bin.000001',
    MASTER_LOG_POS=120;    

其中MASTER_HOST指定主節點的IP地址,MASTER_USER和MASTER_PASSWORD為在主節點上之前創建的復制賬戶名和密碼,MASTER_LOG_FILE和MASTER_LOG_POS為從節點的復制進度,

  1. 測驗主從復制的功能及性能
  • 使用MySQL自帶的性能測驗工具和第三方性能測驗工具對MySQL集群的讀寫性能、擴展能力等進行評估和優化,例如AB測驗、JMeter測驗等,
3、docker-compose容器實作集群

使用Docker-compose實作MySQL集群搭建可以簡化部署和維護流程,下面是具體步驟:

  1. 安裝Docker和Docker-compose
  • 可以從Docker官網上下載Docker CE和Docker-compose版本;
  • 也可以使用作業系統自帶的包管理器進行安裝,
  1. 撰寫docker-compose.yml檔案
version: '3'
services:
  master:
    image: mysql
    container_name: mysql_master
    restart: always
    environment:
      MYSQL_ROOT_PASSWORD: master-password
    ports:
      - "3306:3306"
    volumes:
      - ./master-conf:/etc/mysql/conf.d
      - ./data:/var/lib/mysql
    networks:
      - mysql
  slave1:
    image: mysql
    container_name: mysql_slave1
    restart: always
    environment:
      MYSQL_ROOT_PASSWORD: slave1-password
      MYSQL_MASTER_HOST: master
      MYSQL_MASTER_USER: root
      MYSQL_MASTER_PASSWORD: master-password
    ports:
      - "3307:3306"
    volumes:
      - ./slave1-conf:/etc/mysql/conf.d
      - ./data:/var/lib/mysql
    networks:
      - mysql
  slave2:
    image: mysql
    container_name: mysql_slave2
    restart: always
    environment:
      MYSQL_ROOT_PASSWORD: slave2-password
      MYSQL_MASTER_HOST: master
      MYSQL_MASTER_USER: root
      MYSQL_MASTER_PASSWORD: master-password
    ports:
      - "3308:3306"
    volumes:
      - ./slave2-conf:/etc/mysql/conf.d
      - ./data:/var/lib/mysql
    networks:
      - mysql
networks:
  mysql:

其中,master服務指定了MySQL作為服務,命名為mysql_master,將宿主機的3306埠映射到容器內的3306埠,以便在宿主機上可以連接到MySQL服務;

slave1和slave2服務是從節點服務,與master服務不同的是,它們需要通過MYSQL_MASTER_HOST、MYSQL_MASTER_USER、MYSQL_MASTER_PASSWORD三個環境變數來實作主從關系,另外將本服務的容器名作為主服務器的連接地址;

volumes選項將容器內的MySQL配置和資料檔案分別映射到宿主機上的./master-conf、./slave1-conf和./slave2-conf、./data目錄中,以便容器洗掉和重新創建時不會丟失資料和組態檔;

注意:這里的MySQL組態檔應根據需要進行調整,例如:

[mysqld]
log-bin=mysql-bin
server-id=1
# 必要時添加下列引數
max_allowed_packet=256MB
innodb_buffer_pool_size=1GB

3. 啟動MySQL集群

  • 進入docker-compose.yml檔案目錄,運行以下命令啟動MySQL集群服務:

    docker-compose up -d
  • 檢查運行情況,使用以下命令查看MySQL容器的狀態:

    docker-compose ps
  1. 測驗MySQL集群
  • 在MySQL主服務器中創建測驗資料庫和表:

    CREATE DATABASE test;
    use test;
    CREATE TABLE t (id int PRIMARY KEY);
    INSERT INTO t (id) valuues (1);
  • 在MySQL從服務器中查詢資料表:

    use test;
    select * from t;

如果查詢結果與主服務器相同,則說明從服務器已經與主服務器同步,集群搭建成功,

以上就是使用Docker-compose實作MySQL集群搭建的具體步驟,

如若轉載,請注明出處:http://www.17codes.com/archives/341.html

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/547720.html

標籤:其他

上一篇:GaussDB(DWS)運維:導致SQL執行不下推的改寫方案

下一篇:SQL:DML、DQL、DCL

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more