☆大型語言模型的白話文介紹
☆大型語言模型技術有什麼？
☆預訓練資料的建立(語料庫)
☆大型語言模型從頭來 – 預訓練
☆挖掘大型語言模型潛能:有監督微調
☆大型語言模型強化學習對齊
☆大型語言模型的評測標準
☆大型語言模型的重要應用
☆動手做大型語言模型
☆自己訓練一個7B的大型語言模型
本書涵蓋大型語言模型的全貌,從基礎概念到實際應用。第一章介紹大型語言模型的基本概念。第二章深入解析其基礎技術,包括自然語言資料表示、Transformer架構以及BERT和GPT等預訓練模型,並以InstructGPT和LLaMA系列為例展示實用成果。第三章探討預訓練資料的類別、來源和處理方式。第四章詳細介紹大型語言模型的預訓練過程,包括不同架構和訓練策略。第五章解釋有監督微調的定義、用途和應用場景,以及微調資料建構和技巧。第六章介紹強化學習的基礎知識及在大型語言模型中的應用,特別是基於人類回饋的強化學習(RLHF),並展望其未來發展。第七章介紹大型語言模型的評測方法,包括微調後的對話能力和安全性評測,並探討通用人工智慧的評價。第八章展示提示詞技術在引導大型語言模型方面的應用,介紹搜索增強生成技術和推理協作技術,使模型能逐步分解並解決問題。第九章探討從訓練到任務完成的專案最佳化技術和實作案例,以提高模型的效率和可擴充性。第十章提供微調大型語言模型的關鍵步驟和程式範例,便於實際應用。
☆大型語言模型技術有什麼？
☆預訓練資料的建立(語料庫)
☆大型語言模型從頭來 – 預訓練
☆挖掘大型語言模型潛能:有監督微調
☆大型語言模型強化學習對齊
☆大型語言模型的評測標準
☆大型語言模型的重要應用
☆動手做大型語言模型
☆自己訓練一個7B的大型語言模型
本書涵蓋大型語言模型的全貌,從基礎概念到實際應用。第一章介紹大型語言模型的基本概念。第二章深入解析其基礎技術,包括自然語言資料表示、Transformer架構以及BERT和GPT等預訓練模型,並以InstructGPT和LLaMA系列為例展示實用成果。第三章探討預訓練資料的類別、來源和處理方式。第四章詳細介紹大型語言模型的預訓練過程,包括不同架構和訓練策略。第五章解釋有監督微調的定義、用途和應用場景,以及微調資料建構和技巧。第六章介紹強化學習的基礎知識及在大型語言模型中的應用,特別是基於人類回饋的強化學習(RLHF),並展望其未來發展。第七章介紹大型語言模型的評測方法,包括微調後的對話能力和安全性評測,並探討通用人工智慧的評價。第八章展示提示詞技術在引導大型語言模型方面的應用,介紹搜索增強生成技術和推理協作技術,使模型能逐步分解並解決問題。第九章探討從訓練到任務完成的專案最佳化技術和實作案例,以提高模型的效率和可擴充性。第十章提供微調大型語言模型的關鍵步驟和程式範例,便於實際應用。
