書名：LLM的大開源時代 - Llama模型精讀實戰

作者簡介

張俊祺
清華大學計算機系博士，曾獲CIKM 2018 唯一最佳論文獎。

曲東奇
東南大學畢業，德國亥姆霍茲研究中心訪問學者。

張正
清華大學計算機系畢業，對於深度學習、自然語言處理技術有著極其豐富的研究和產業經驗，研發了原子大模型。

占冰強
AIGCLINK發起人，中關村超互聯聯盟副秘書長，行行AI合伙人，曾聯合創辦算法和數學建模交流平臺數學中國。

書籍目錄

第 1 章 大型模型的基礎理論
1.1 大型模型發展歷史
1.1.1 從語言模型到預訓練大型模型
1.1.2 預訓練大型模型的發展
1.1.3 大型模型的進化
1.2 大型模型的核心框架
1.2.1 Transformer
1.2.2 位置編碼
1.2.3 多頭自注意力機制
1.3 資料收集和資料處理
1.3.1 資料收集
1.3.2 資料處理
1.4 大型模型的預訓練及微調
1.4.1 無監督預訓練
1.4.2 指令微調
1.4.3 基於人類回饋微調
1.5 大型模型的評測
1.5.1 評測任務
1.5.2 評測資料集
1.5.3 微調評測方法
1.5.4 評測中的挑戰
第 2 章 部署 Llama 大型模型
2.1 部署前的準備
2.1.1 硬體準備
2.1.2 環境準備
2.2 模型的匯入與載入
2.2.1 下載程式
2.2.2 下載模型
2.3 模型部署
2.3.1 API 部署
2.3.2 text-generation-webui部署
2.3.3 使用text-generation-webui
第 3 章 微調 Llama 大型模型
3.1 微調的資料集準備和標注
3.1.1 資料集準備
3.1.2 資料集標注
3.2 Llama大型模型載
3.3 微調策略設計及模型重新訓練
3.3.1 微調策略設計
3.3.2 模型參數高效微調
3.4 模型評估、測試和模型最佳化
3.4.1 模型評估、測試
3.4.2 模型最佳化
3.5 模型儲存、模型部署和推理加速
3.5.1 模型儲存
3.5.2 模型部署
3.5.3 推理加速
第 4 章 解決 Llama 大型模型多輪對話難題
4.1 訂製多輪對話資料集和建構方法
4.1.1 準備微調訓練資料的7個原則
4.1.2 訂製微調訓練資料集
4.1.3 多輪對話的3個場景
4.2 實際操作構造多輪對話微調訓練資料集
4.3 透過多輪對話儲存解決資訊流失問題
4.3.1 拼接歷史與當前輸入
4.3.2 上下文向量
4.3.3 對話狀態追蹤
4.3.4 狀態壓縮
4.3.5 增量學習和線上學習
4.4 提高大型模型多輪對話應對能力
4.4.1 針對性的資料集與微調
4.4.2 即時回饋與自我調整
4.4.3 強化學習最佳化
4.4.4 上下文感知與個性化
4.4.5 多模態與多工學習
4.4.6 錯誤處理與恢復策略
4.5 模型評估與持續改進
4.5.1 微調Llama大型模型評估
4.5.2 持續改進
4.6 適合Llama大型模型多輪對話的prompt建構
第 5 章 基於 Llama 訂製行業大型模型
5.1 業務資料分析指導行業大型模型訂製
5.1.1 行業大型模型的訂製策略
5.1.2 模型性能的評估
5.2 行業資料的獲取與前置處理
5.2.1 資料獲取
5.2.2 資料前置處理
5.3 Llama大型模型匯入初始化
5.4 微調獲得行業特定大型模型
5.4.1 領域預訓練
5.4.2 微調策略
5.5 模型測試、評估和最佳化
第 6 章 Llama + LangChain 文件問答模型建構
6.1 LangChain 介紹
6.2 LangChain 的主要概念與範例
6.2.1 模型
6.2.2 提示
6.2.3 輸出解析器
6.2.4 索引
6.2.5 記憶體
6.2.6 鏈
6.2.7 代理
6.2.8 工具
6.3 LangChain 環境設定
6.3.1 Python 環境架設
6.3.2 LangChain 主要模組
6.4 Llama+LangChain 文件問答模型評估
6.4.1 設定虛擬環境和建立檔案結構
6.4.2 Llama和LangChain的互動流程
6.4.3 具體案例
第 7 章 多語言大型模型技術介紹及其工業應用
7.1 多語言大型模型的研究現狀和技術方向
7.1.1 為什麼進行多語言研究
7.1.2 多語言在NLP社區的發展
7.1.3 多語言模型技術方向
7.2 多語言大型模型的預訓練資源和評測任務
7.2.1 多語言大型模型的預訓練資源介紹
7.2.2 評測任務介紹
7.3 多語言大型模型的最佳化方向
7.3.1 資料前置處理流程
7.3.2 Tokenizer
7.3.3 訓練資料格式和採樣策略
7.3.4 多語言大型模型的訓練任務
7.3.5 多語言大型模型的最佳化方向總結（以Llama為例）
7.4 多語言大型模型的工業應用
7.4.1 智慧客服
7.4.2 搜尋引擎
7.4.3 機器翻譯

推薦序/導讀/自序

序言
目前，人工智慧和自然語言處理領域的發展正處於一個前所未有的黃金時代。預訓練大型模型，如GPT-4和Llama，不僅在學術界引起廣泛注意，還在工業界得到了廣泛應用。作為一支擁有多年研究和實踐經驗的學者團隊，我們深感有責任和義務將這一領域的最新進展和實踐經驗整合到一本全面、實用的指南中，而Llama又是如今備受歡迎、影響廣泛的開源預訓練大型模型，這就是《LLM的大開源時代》誕生的初衷。
本書內容圍繞Llama大型模型展開，涵蓋了從基礎理論到實際應用的全方位內容。我們力求使每章都具有很高的實用性，同時不忽略理論的深度。本書包含大量的程式示例、案例分析和最佳實踐，可以幫助讀者更好地理解和應用Llama大型模型。
本書的一個顯著特點是跨學科性。本書不僅討論了計算機科學和機器學習的基礎概念，還引入了語言學、資訊檢索和人機互動等多個學科的知識。這樣做的目的是讓讀者能夠全面地理解大型模型，以及它們在不同應用場景中的潛力和局限性。
在適用範圍方面，本書既適合剛入門的學生和研究人員閱讀，也適合有多年研究經驗的專家和工程師閱讀。本書盡量以淺顯易懂的語言解釋複雜的概念和算法，同時展示了技術細節並提供了拓展閱讀，以滿足不同讀者的需求。
在寫作分工方面，我們的團隊成員各自負責不同的章節，以確保每一部份都能得到專家級的處理。例如，擁有多年自然語言處理研究經驗的成員主要負責第1章和第7章，這兩章涉及大量的基礎理論和多語言大型模型技術；在工業界有豐富實踐經驗的成員主要負責其他章節，這些章節更側重於實際應用和行業大型模型訂製。
總體而言，我們希望本書能成為讀者探索Llama大型模型世界的可靠指南和實用參考書。無論你是希望深入了解這一領域的最新研究，還是希望將預訓練大型模型應用於實際問題，本書都將為你提供詳細的知識和靈感。
在這個快速發展和不斷變革的時代，讓我們一起探索人工智慧和自然語言處理的無限可能，開啟一個全新的學術和應用之旅！
本書主要內容
本書共包括7章，涵蓋了從基礎理論到實際應用的全方位內容。第1章深入探討了大型模型的基礎理論。第2章和第3章專注於Llama大型模型的部署和微調，提供了一系列實用的程式示例、案例分析和最佳實踐。第4章介紹了多輪對話難題，這是許多大型模型開發者和研究人員面臨的一大挑戰。第5章探討了如何基於Llama訂製行業大型模型，以滿足特定業務需求。第6章介紹了如何利用Llama和LangChain建構高效的文件問答模型。第7章展示了多語言大型模型的技術細節和應用場景。
本書既適合剛入門的學生和研究人員閱讀，也適合有多年研究經驗的專家和工程師閱讀，透過閱讀本書，讀者不僅能掌握Llama大型模型的核心概念和技術，還能學會如何將這些知識應用於實際問題，從而在這一快速發展的領域中取得優勢。