ISBN: 9786267383278
出版日期: 2024-01-20
作者： 柳浩
裝訂： 平裝.單色印刷.816頁.23.
＊分散式機器學習機礎，包括資料、模型、管線的並行
＊集合通訊的重要性、參數伺服器PS-Lite
＊PyTorch DataParalle、PyTorch DDP的基礎及動態邏輯
＊Uber Horovod的原理及實作
＊GPipe、PyTorch的管線並行及PipeDream基礎架構及實作
＊Megatron原理及實作、PyTorch的模型並行原理實作
＊分散式運算的最佳化器
＊TensorFlow的分散式環境，靜態架構、動態邏輯
＊分散式架構的策略基礎、MirroredStrategy、ParameterServerStrategy
本書書以PyTorch為主體講解，從系統和實踐的角度對分散式機器學習進行整理。
包括了第1篇分散式基礎，介紹了分散式機器學習的基本概念、基礎設施，以及機器學習並行化的技術、框架和軟體系統，然後對集合通訊和參數伺服器PS-Lite進行了介紹。
第2篇介紹資料並行，將計算負載切分到多張卡上，實作為PyTorch及Horovod。
第3篇介紹模型並行，主要說明了張量模型並行及管線模弄並行，讓模型可以放入多節點上。
第4篇NVIDIA Megatron進行分析，講解如何進行層內分割模型並行，然後學習PyTorch如何支援模型並行。
第5篇則是將全書的內容用TensorFlow實作，讓已經熟悉TensorFlow的使用者不必重新學習新的框架。
作者簡介
柳浩
作者簡介
柳浩
網名「羅西的思考」，浙江大學碩士。
曾就職於多家世界500強企業，主導過多個大型項目，現就職於某新能源車企。
技術棧廣博，有豐富的各種大型軟體開發和系統架構經驗，對機器學習框架、微服務框架、大數據引擎、NoSQL、訊息佇列、分散式追蹤系統、可觀測系統、可靠性設計、移動開發方案和源代碼有著深刻的理解和認識。
| Zone | Order Total (RM) | Delivery Fee (RM) |
|---|---|---|
| West Malaysia | Flat Rate | 6.00 |
| Zone | Items/Weight | Delivery Fee (RM) |
|---|---|---|
| East Malaysia | First 1.00 kg | 13.00 |
| Extra 1.00 kg | 5.00 | |
| Singapore | First 1.00 kg | 25.00 |
| Extra 1.00 kg | 5.00 | |
| Australia, New Zealand | First 1.00 kg | 159.77 |
| Extra 0.50 kg | 52.65 | |
| Austria, Denmark, Finland, Ireland, Switzerland, Russia | First 1.00 kg | 157.78 |
| Extra 0.50 kg | 34.31 | |
| Brunei, Cambodia, Laos, Mongolia | First 1.00 kg | 175.10 |
| Extra 0.50 kg | 87.14 | |
| Belgium,France, Germany, Netherlands, Spain, U.K | First 1.00 kg | 150.94 |
| Extra 0.50 kg | 30.46 | |
| China | First 1.00 kg | 96.44 |
| Extra 0.50 kg | 25.35 | |
| Bangladesh, Brazil, Iraq, Pakistan, Qatar, S.Arabia, UAE, Sri Lanka | First 1.00 kg | 118.52 |
| Extra 0.50 kg | 24.96 | |
| South Africa | First 1.00 kg | 118.52 |
| Extra 0.50 kg | 24.96 | |
| Philippines | First 1.00 kg | 91.42 |
| Extra 0.50 kg | 15.29 | |
| Canada, United States, Mexico | First 1.00 kg | 162.58 |
| Extra 0.50 kg | 35.90 | |
| Hong Kong | First 1.00 kg | 80.63 |
| Extra 0.50 kg | 29.06 | |
| India | First 1.00 kg | 113.30 |
| Extra 0.50 kg | 22.28 | |
| Indonesia | First 1.00 kg | 107.35 |
| Extra 0.50 kg | 24.87 | |
| Japan | First 1.00 kg | 112.97 |
| Extra 0.50 kg | 35.03 | |
| Macau | First 1.00 kg | 92.93 |
| Extra 0.50 kg | 13.82 | |
| Singapore | First 1.00 kg | 74.75 |
| Extra 0.50 kg | 21.49 | |
| Taiwan | First 1.00 kg | 94.42 |
| Extra 0.50 kg | 34.76 | |
| Thailand | First 1.00 kg | 94.10 |
| Extra 0.50 kg | 28.25 | |
| Vietnam | First 1.00 kg | 98.94 |
| Extra 0.50 kg | 14.34 |