「使用 AI 來開發應用程式日益簡單,但在將 LLM 部署到生產環境時,才會面臨真正的挑戰。本書是我用來教導學生掌握複雜的 LLMOps,並成功部署大型語言模型的重要指南。本書以清楚、可行的解決方案,幫助讀者將 LLM 原型轉化為穩定、可投入生產的 AI 系統,是一本不可或缺的讀物。」
—— Ammar Mohanna,EDT&Partners 首席 AI 顧問暨貝魯特美國大學講師
「本書透過清楚、可實作的指導揭開 LLMOps 的神秘面紗。這本完美的資源非常適合機器學習工程師、平台團隊,以及想將 LLM 從原型推向生產環境的所有人。」
—— Nirmal Budhathoki,微軟資深資料科學家
大型語言模型的一大特點,是它們不再依循舊規則。在運行 GenAI 時,傳統的 MLOps 幾乎無助於事,模型會產生幻覺、安全假設不再成立、監視機制失靈、agent 可能無法正常運作,你會突然進入一片未知的領域。這就是 LLMOps 成為一個獨立領域的原因。
本書將帶領你在真正的使用者面前,以及在現實的商業環境中成功運行這些系統。本書不會教你做出華麗的 demo,而是教你讓 LLM 系統在現實世界中穩定運作。
? 掌握運作 LLM 所需的新角色與流程
? 在傳統指標無法全面反映效能時,監視 LLM 的實際表現
? 針對 GenAI 設計真正有意義的評估、治理、安全稽核機制
? 管理 agent、RAG 系統,與不斷演變的提示詞帶來的營運混亂
? 擴展基礎設施,並且控制運算成本
—— Ammar Mohanna,EDT&Partners 首席 AI 顧問暨貝魯特美國大學講師
「本書透過清楚、可實作的指導揭開 LLMOps 的神秘面紗。這本完美的資源非常適合機器學習工程師、平台團隊,以及想將 LLM 從原型推向生產環境的所有人。」
—— Nirmal Budhathoki,微軟資深資料科學家
大型語言模型的一大特點,是它們不再依循舊規則。在運行 GenAI 時,傳統的 MLOps 幾乎無助於事,模型會產生幻覺、安全假設不再成立、監視機制失靈、agent 可能無法正常運作,你會突然進入一片未知的領域。這就是 LLMOps 成為一個獨立領域的原因。
本書將帶領你在真正的使用者面前,以及在現實的商業環境中成功運行這些系統。本書不會教你做出華麗的 demo,而是教你讓 LLM 系統在現實世界中穩定運作。
? 掌握運作 LLM 所需的新角色與流程
? 在傳統指標無法全面反映效能時,監視 LLM 的實際表現
? 針對 GenAI 設計真正有意義的評估、治理、安全稽核機制
? 管理 agent、RAG 系統,與不斷演變的提示詞帶來的營運混亂
? 擴展基礎設施,並且控制運算成本
