Llama大模型實踐指南

第1章　大模型的基礎理論
1.1　大模型的發(fā)展歷史
1.1.1　從語言模型到預訓練大模型
1.1.2　預訓練大模型的發(fā)展
1.1.3　大模型的進化
1.2　大模型的核心框架
1.2.1　Transformer
1.2.2　位置編碼
1.2.3　多頭自注意力機制
1.3　數(shù)據(jù)收集和數(shù)據(jù)處理
1.3.1　數(shù)據(jù)收集
1.3.2　數(shù)據(jù)處理
1.4　大模型的預訓練及微調
1.4.1　無監(jiān)督預訓練
1.4.2　指令微調
1.4.3　基于人類反饋微調
1.5　大模型的評測
1.5.1　評測任務
1.5.2　評測數(shù)據(jù)集
1.5.3　評測方法
1.5.4　評測中的挑戰(zhàn)
第2章　部署Llama 2大模型
2.1　部署前的準備
2.1.1　硬件準備
2.1.2　環(huán)境準備
2.2　模型的導入與加載
2.2.1　下載代碼
2.2.2　下載模型
2.3　模型部署
2.3.1　API部署
2.3.2　text-generation-webui 部署
2.3.3　使用text-generation-webui
第3章　微調Llama 2大模型
3.1　微調的數(shù)據(jù)集準備和標注
3.1.1　數(shù)據(jù)集準備
3.1.2　數(shù)據(jù)集標注
3.2　Llama 2大模型加載
3.3　微調策略設計及模型重新訓練
3.3.1　微調策略設計
3.3.2　模型參數(shù)高效微調
3.4　模型評估、測試和模型優(yōu)化
3.4.1　模型評估、測試
3.4.2　模型優(yōu)化
3.5　模型保存、模型部署和推理加速
3.5.1　模型保存
3.5.2　模型部署
3.5.3　推理加速
第4章　解決Llama 2大模型多輪對話難題
4.1　定制多輪對話數(shù)據(jù)集和構造方法
4.1.1　準備微調訓練數(shù)據(jù)的7個原則
4.1.2　定制微調訓練數(shù)據(jù)集
4.1.3　多輪對話的3個場景
4.2　實操構造多輪對話微調訓練數(shù)據(jù)集
4.3　通過多輪對話存儲解決信息流失問題
4.3.1　拼接歷史與當前輸入
4.3.2　上下文向量
4.3.3　對話狀態(tài)追蹤
4.3.4　狀態(tài)壓縮
4.3.5　增量學習和在線學習
4.4　提高大模型多輪對話應對能力
4.4.1　針對性的數(shù)據(jù)集與微調
4.4.2　實時反饋與自適應
4.4.3　強化學習優(yōu)化
4.4.4　上下文感知與個性化
4.4.5　多模態(tài)與多任務學習
4.4.6　錯誤處理與恢復策略
4.5　模型評估與持續(xù)改進
4.5.1　微調Llama 2大模型評估
4.5.2　持續(xù)改進
4.6　適合Llama 2大模型多輪對話的prompt構建
第5章　基于Llama 2定制行業(yè)大模型
5.1　業(yè)務數(shù)據(jù)分析指導行業(yè)大模型定制
5.1.1　行業(yè)大模型的定制策略
5.1.2　模型性能的評估
5.2　行業(yè)數(shù)據(jù)的獲取與預處理
5.2.1　數(shù)據(jù)獲取
5.2.2　數(shù)據(jù)預處理
5.3　Llama 2大模型導入初始化
5.4　微調獲得行業(yè)特定大模型
5.4.1　領域預訓練
5.4.2　微調策略
5.5　模型測試、評估和優(yōu)化
第6章　Llama 2 + LangChain文檔問答模型構建
6.1　LangChain介紹
6.2　LangChain的主要概念與示例
6.2.1　模型
6.2.2　提示
6.2.3　輸出解析器
6.2.4　索引
6.2.5　內存
6.2.6　鏈
6.2.7　代理
6.2.8　工具
6.3　LangChain 環(huán)境配置
6.3.1　Python環(huán)境搭建
6.3.2　LangChain主要模塊
6.4　Llama 2+LangChain文檔問答模型評估
6.4.1　設置虛擬環(huán)境和創(chuàng)建文件結構
6.4.2　Llama 2和LangChain的交互流程
6.4.3　具體案例
第7章　多語言大模型技術介紹及其工業(yè)應用
7.1　多語言大模型的研究現(xiàn)狀和技術方向
7.1.1　為什么進行多語言研究
7.1.2　多語言在NLP社區(qū)的發(fā)展
7.1.3　多語言模型技術方向
7.2　多語言大模型的預訓練資源和評測任務
7.2.1　多語言大模型的預訓練資源介紹
7.2.2　評測任務介紹
7.3　多語言大模型的優(yōu)化方向
7.3.1　數(shù)據(jù)預處理流程
7.3.2　Tokenizer
7.3.3　訓練數(shù)據(jù)格式和采樣策略
7.3.4　多語言大模型的訓練任務
7.3.5　多語言大模型的優(yōu)化方向總結（以Llama 2為例）
7.4　多語言大模型的工業(yè)應用
7.4.1　智能客服
7.4.2　搜索引擎
7.4.3　機器翻譯