★NLP始祖N-Gram,Bag-of-Words詳細說明介紹實作
☆進入神經網路時代的Word2Vec、NPLM、RNN詳解及實作
★序列至序列的神器Seq2Seq詳解及實作
☆抓住字與字之間的關鍵Attention Mechanism詳解及實作
★成為大神的Transformer詳解及實作
☆第一個通用語言模型BERT詳解及實作
★生成式語言模型GPT詳解及實作
☆ChatGPT應用詳解及實作
★最新一代GPT-4詳解及實作
全書從最基本的N-Gram 和簡單文字表示Bag-of-Words開始說明NLP的應用,接著進入NLP領域中最重要的隱空間表示法Word2Vec,正式進入了多維向量Embedding表示語義的年代。之後接連介紹了神經網路表示法RNN,以及將encoder及decoder連接的Seq2seq。本書最大的特色就是花了很大的篇幅介紹了注意力機制,詳解了大家最想不通的QKV查詢。在了解了注意力機制之後,就進入最重要的成神Transformer階段,並且帶有說明及完整的實作。最重要的Transformer解決之後,接下來就是強大應用的展現,包括了NLU的BERT說明及實作,以及現今AI基本GPT(屬於NLG)的自迴歸模型。本書也實作了自己使用維基文字生成的GPT模型,讓讀者一探AI一路走來的技術堆疊。最後一章更把目前當紅的ChatGPT所使用的RHLF技術完整走一遍,也使用了OpenAI的API來完成實作。
☆進入神經網路時代的Word2Vec、NPLM、RNN詳解及實作
★序列至序列的神器Seq2Seq詳解及實作
☆抓住字與字之間的關鍵Attention Mechanism詳解及實作
★成為大神的Transformer詳解及實作
☆第一個通用語言模型BERT詳解及實作
★生成式語言模型GPT詳解及實作
☆ChatGPT應用詳解及實作
★最新一代GPT-4詳解及實作
全書從最基本的N-Gram 和簡單文字表示Bag-of-Words開始說明NLP的應用,接著進入NLP領域中最重要的隱空間表示法Word2Vec,正式進入了多維向量Embedding表示語義的年代。之後接連介紹了神經網路表示法RNN,以及將encoder及decoder連接的Seq2seq。本書最大的特色就是花了很大的篇幅介紹了注意力機制,詳解了大家最想不通的QKV查詢。在了解了注意力機制之後,就進入最重要的成神Transformer階段,並且帶有說明及完整的實作。最重要的Transformer解決之後,接下來就是強大應用的展現,包括了NLU的BERT說明及實作,以及現今AI基本GPT(屬於NLG)的自迴歸模型。本書也實作了自己使用維基文字生成的GPT模型,讓讀者一探AI一路走來的技術堆疊。最後一章更把目前當紅的ChatGPT所使用的RHLF技術完整走一遍,也使用了OpenAI的API來完成實作。