Horovod 分布式深度學習框架相關-有解無憂

最近需要 Horovod 相關的知識，在這里記錄一下，進行備忘：

分布式訓練，分為資料并行和模型并行兩種；
模型并行：分布式系統中的不同GPU負責網路模型的不同部分，神經網路模型的不同網路層被分配到不同的GPU或者同一層內部的不同引數被分配到不同的GPU之上；
資料并行：不同的GPU有同一個模型的多個副本，每個GPU分配到不同的資料，然后將所有的GPU的結果按照某種方式合并；
不同的GPU,可以是同一臺機器之上的多個GPU或者是不同機器上的GPU;

在資料并行程序中，各個GPU之間需要同步模型引數，引數分為同步更新和異步更新兩種情況；
圖中的Machine可以認為是GPU或者是CPU;也有資料并行和模型并行的混合模式；模型并行各個部分存在一定的依賴，規模伸縮性差；而資料并行中，各個部分獨立，規模伸縮性好；實際訓練程序中更多使用資料并行；
資料并行會涉及到各個 GPU 之間同步模型引數，一般分為同步更新和異步更新，同步更新要等到所有 GPU 的梯度計算完成，再統一計算新權值，然后所有 GPU 同步新值后，才進行下一輪計算，異步更新，每個 GPU 梯度計算完后，無需等待其他 GPU 的梯度計算（有時可以設定需要等待的梯度個數），可立即更新整體權值，然后同步此權值，即可進行下一輪計算，同步更新有等待，異步更新基本沒有等待，但異步更新涉及到梯度過時等更復雜問題；在實際應用中，單機多卡的同步式資料并行是最常用的，在論文中最常見的訓練方式是單機八卡，資料再多時，一般就需要多機多卡；
無論是單機多卡，還是多機多卡，都是分布式訓練；

保持更新，更多內容請關注 cnblogs.com/xuyaowen;

Horovod 安裝：

安裝 cuda 9.0; https://www.cnblogs.com/xuyaowen/p/nvidia-driver-cuda-installation.html

編譯安裝nccl 根據cuda 9.0; https://www.cnblogs.com/xuyaowen/p/nccl-learning.html

安裝 gcc 4.9: https://www.cnblogs.com/xuyaowen/p/gcc-49-install-on-ubuntu.html

python 版本 Python 3.6.9 （具體環境請自行適配）

安裝 openmpi 4.0 : https://www.cnblogs.com/xuyaowen/p/openmpi-40-install.html

pip 安裝 Horovod 框架：

HOROVOD_NCCL_HOME=nccl的home目錄 HOROVOD_NCCL_LIB=nccl的lib目錄 HOROVOD_NCCL_INCLUDE=nccl的include目錄 HOROVOD_GPU_ALLREDUCE=NCCL pip install --no-cache-dir horovod

HOROVOD_NCCL_HOME=/home/name/nccl/build/ HOROVOD_NCCL_LIB=/home/name/nccl/build/lib/ HOROVOD_NCCL_INCLUDE=/home/name/nccl/build/include/  HOROVOD_GPU_ALLREDUCE=NCCL  pip install --no-cache-dir horovod

安裝后，使用：python -c "import horovod.tensorflow as hvd;" 命令進行測驗，如果無錯誤輸出，則表示安裝成功；之后可參考官方手冊使用Horovod；

?  openmpi python -c "import horovod.tensorflow as hvd;"
/home/name/anaconda3/envs/gnnalgos/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:523: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  _np_qint8 = np.dtype([("qint8", np.int8, 1)])
/home/name/anaconda3/envs/gnnalgos/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:524: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  _np_quint8 = np.dtype([("quint8", np.uint8, 1)])
/home/name/anaconda3/envs/gnnalgos/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:525: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  _np_qint16 = np.dtype([("qint16", np.int16, 1)])
/home/name/anaconda3/envs/gnnalgos/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:526: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  _np_quint16 = np.dtype([("quint16", np.uint16, 1)])
/home/name/anaconda3/envs/gnnalgos/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:527: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  _np_qint32 = np.dtype([("qint32", np.int32, 1)])
/home/name/anaconda3/envs/gnnalgos/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:532: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  np_resource = np.dtype([("resource", np.ubyte, 1)])

安裝測驗結果

參考連接：

https://github.com/horovod/horovod (官方檔案，可以參考安裝和使用)

https://www.infoq.cn/article/J4ry_9bsfbcNkv6dfuqC

http://fyubang.com/2019/07/08/distributed-training/ （講解了分布式多卡訓練相關的基礎知識）

分布式多卡-pytorch,tensorflow 系列教程（較為詳細的教程，講解了現有較為優秀的框架的特點和使用方式）

https://zhuanlan.zhihu.com/p/78303865 （安裝使用參考，本文中的安裝步驟參考此教程）

轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/156123.html

標籤：Linux

上一篇：Linux—網路管理

下一篇：json log檔案過大