金寶書局網路書店

不止量化及LORA-原生PyTorch性能及記憶體優化精解

　　✴︎深入介紹深度學習硬體,包括 CPU、GPU、記憶體與分散式系統。
　　✴︎系統化學習 PyTorch 張量、運算元、自動微分與動態圖機制。
　　✴︎提供 PyTorch 性能分析工具,幫助診斷與提升執行效率。
　　✴︎優化資料載入與前處理,提升 Dataset 與 DataLoader 效能。
　　✴︎介紹單卡 GPU 訓練最佳化,如 Batch Size 調整與同步減少。
　　✴︎探討 GPU 記憶體管理,降低訓練時的記憶體佔用與浪費。
　　✴︎解析分散式訓練,涵蓋資料平行、模型平行與多機多卡技術。
　　✴︎涵蓋高級最佳化,如混合精度、自訂運算元與計算圖優化。
　　✴︎深入解析 GPT-2 訓練最佳化,提供實戰經驗與效能提升。
　　✴︎從程式碼到硬體調校,建立高效 PyTorch 訓練與開發流程。

張愛玲 　　本科畢業於清華大學電子工程系,後在美國伊利諾伊大學香檳分校獲得計算機科學碩士學位,是AI系統工程領域的資深技術專家。作為深度學習框架PyTorch核心團隊成員,參與了多個關鍵組件的研發與優化工作。同時,她作為技術負責人主導了PyTorch/XLA和Taichi編譯器等多個具有廣泛影響力的開源項目。目前在工業界專註於大規模語言模型訓練的基礎設施開發與性能優化工作。 楊占略 　　清華大學本科,哥倫比亞大學碩士,資深技術專家。曾先後任職於蘋果、百度、太極圖形公司,分別從事深度學習推理框架、訓練框架PaddlePaddle以及Taichi編譯器的開發。現就職於大疆公司,聚焦於端側模型優化、推理部署相關工作。