☆自然語言處理任務分類與表示方式
☆詞嵌入與文字向量表示方法
☆N 元語言模型與神經語言模型架構
☆NLP 評估指標與效能測量方法
☆基礎工具:NLTK、LTP、tiktoken、PyTorch
☆卷積、循環、Transformer 等神經網路模型
☆靜態與動態預訓練詞向量模型
☆Decoder、Encoder、Encoder-Decoder 預訓練架構
☆BERT、GPT、T5 等主流語言模型解析
☆微調技術:指令資料、序列任務、生成任務
☆大語言模型訓練策略與位置編碼機制
☆提示工程、多工訓練與強化學習調配方法
☆模型壓縮、量化與高效部署技術
☆多語言、多模態與程式預訓練模型實作
【內容簡介】
本書共分三部分、十三章,系統介紹自然語言處理與預訓練語言模型的技術發展與應用。
第一部分為基礎知識,涵蓋 NLP 任務分類、詞嵌入表示法、模型評估指標、NLTK 與 LTP 工具、PyTorch 使用方法與常見資料集,並介紹 MLP、CNN、RNN 與 Transformer 模型及其實作。
第二部分為預訓練語言模型,涵蓋 N-gram、神經語言模型與語言模型評估方式,靜態與動態詞向量模型如 Word2Vec 與 ELMo,以及 BERT、GPT、T5 等主流模型的結構與微調策略。
第三部分為大語言模型,從 LLaMA、Mixtral 架構到 FlashAttention、RoPE、LoRA、RLHF 等關鍵技術,再到指令微調、中文調配、模型壓縮與高效部署等流程,並包含多語言、程式語言與多模態模型的延伸應用,最後以 DeepSeek 系列為例總結最新進展。
☆詞嵌入與文字向量表示方法
☆N 元語言模型與神經語言模型架構
☆NLP 評估指標與效能測量方法
☆基礎工具:NLTK、LTP、tiktoken、PyTorch
☆卷積、循環、Transformer 等神經網路模型
☆靜態與動態預訓練詞向量模型
☆Decoder、Encoder、Encoder-Decoder 預訓練架構
☆BERT、GPT、T5 等主流語言模型解析
☆微調技術:指令資料、序列任務、生成任務
☆大語言模型訓練策略與位置編碼機制
☆提示工程、多工訓練與強化學習調配方法
☆模型壓縮、量化與高效部署技術
☆多語言、多模態與程式預訓練模型實作
【內容簡介】
本書共分三部分、十三章,系統介紹自然語言處理與預訓練語言模型的技術發展與應用。
第一部分為基礎知識,涵蓋 NLP 任務分類、詞嵌入表示法、模型評估指標、NLTK 與 LTP 工具、PyTorch 使用方法與常見資料集,並介紹 MLP、CNN、RNN 與 Transformer 模型及其實作。
第二部分為預訓練語言模型,涵蓋 N-gram、神經語言模型與語言模型評估方式,靜態與動態詞向量模型如 Word2Vec 與 ELMo,以及 BERT、GPT、T5 等主流模型的結構與微調策略。
第三部分為大語言模型,從 LLaMA、Mixtral 架構到 FlashAttention、RoPE、LoRA、RLHF 等關鍵技術,再到指令微調、中文調配、模型壓縮與高效部署等流程,並包含多語言、程式語言與多模態模型的延伸應用,最後以 DeepSeek 系列為例總結最新進展。
