目錄
- 1. 正文
- 2. 目錄
- 3. 參考
- 4. 相關
1. 正文
HTCondor是威斯康星大學麥迪遜分校構建的分布式計算軟體和相關技術，用來處理高通量計算（High Throughput Computing ）的相關問題，高通量計算中的Throughput應該是吞吐量的意思，也就是調度計算機資源的能力，與高性能計算（HPC）不同，高通量計算（HTC）應對的問題是在高性能的同時能夠長時間穩定運行的能力，并充分利用集群或網路內計算資源，長時間計算時，集群或網路內計算資源往往是不可靠的，這中間蘊含了計算資源管理和任務調度的問題，
具體來說，HTC的思想就是將規模的密集運算拆分成一個個的子任務，交給集群計算機運算，HTCondor提供了如下功能：
- 發布任務：根據設定的集群內計算資源條件，將任務發布到集群計算機，
- 調度任務：任務能夠發送到滿足條件計算機中運行，或者遷移到另外一臺計算機，
- 監視任務：隨時監視任務運行的情況和計算資源的情況，
注意拆分任務這一步還是需要用戶自己控制的，拆分合適粒度的并行任務，有助于最大程度的負載均衡，
除此之外，一個不能忽視的的問題就是磁盤IO的問題，HTC往往伴隨著海量資料，巨量資料的磁盤IO必定會造成性能瓶頸，HTCondor自帶了一種檔案傳輸機制，發布任務的時候能夠自動將資料發送到對應的機器中運行，當然，也可以嘗試搭配分布式檔案系統如hdfs進行計算，
準備在這一系列博文中，通過一個具體的實體，總結下HTCondor的使用程序，也算對分布式計算或者集群計算有個感性的認識，
2. 目錄
1.高通量計算框架HTCondor(一)——概述
簡要介紹了高通量分布式計算與HTCondor，
2.高通量計算框架HTCondor(二)——環境配置
詳細展示了HTCondor環境的搭建程序，
3.高通量計算框架HTCondor(三)——使用命令
介紹了HTCondor的使用環境，以及經常使用的命令，
4.高通量計算框架HTCondor(四)——案例準備
準備一個實際案例做分布式計算，
5.高通量計算框架HTCondor(五)——分布計算
使用一個實體進行簡單的分布式計算，
6.高通量計算框架HTCondor(六)——拾遺
總結了使用HTCondor程序中的一些問題與建議，
3. 參考
[1]. 說說高通量計算(HTC)、高性能計算(HPC)和多任務計算(MTC)
[2]. HTCondor官網
[3]. Hadoop到底是干什么用的?
[4]. condor 使用詳解
4. 相關
代碼和資料地址
下一篇
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/43539.html
標籤：其他