快速部署大模型：LLM策略與實踐（基于ChatGPT等大語言模型）

第1部分大模型介紹
第1章大模型概述
1.1什么是大模型
1.1.1大模型的定義
1.1.2大模型的關(guān)鍵特征
1.1.3大模型是如何工作的
1.2當(dāng)前流行的大模型
1.2.1BERT
1.2.2GPT3和 ChatGPT 
1.2.3T5
1.3垂直領(lǐng)域大模型
1.4大模型的應(yīng)用
1.4.1經(jīng)典的NLP任務(wù)
1.4.2自由文本生成
1.4.3信息檢索/神經(jīng)語意搜索
1.4.4聊天機器人
1.5本章小結(jié)
第2章大模型語義檢索
2.1簡介
2.2語義檢索的任務(wù)
2.3非對稱語義檢索方案概述
2.4組件
2.4.1文本嵌入器
2.4.2文檔分塊
2.4.3向量數(shù)據(jù)庫
2.4.4Pinecone
2.4.5開源替代方案
2.4.6檢索結(jié)果重排
2.4.7API
2.5完整方案
2.6閉源組件的成本
2.7本章小結(jié)
第3章提示詞工程入門
3.1簡介
3.2提示詞工程
3.2.1LLM的對齊
3.2.2LLM提問
3.2.3小樣本學(xué)習(xí)
3.2.4結(jié)構(gòu)化輸出
3.2.5人物角色提示詞
3.3跨模型提示詞工程
3.3.1ChatGPT 
3.3.2Cohere
3.3.3開源提示詞工程
3.4采用ChatGPT構(gòu)建問答機器人
3.5本章小結(jié)
第2部分充分挖掘大模型的潛力
第4章通過定制化微調(diào)優(yōu)化大模型
4.1簡介
4.2遷移學(xué)習(xí)與微調(diào)入門
4.2.1微調(diào)過程的解釋
4.2.2閉源預(yù)訓(xùn)練模型作為基礎(chǔ)模型
4.3OpenAI 微調(diào) API 概覽
4.3.1GPT3微調(diào) API
4.3.2案例學(xué)習(xí)： 亞馬遜評論情感分類
4.3.3數(shù)據(jù)指南和最佳實踐
4.4使用OpenAI CLI實現(xiàn)自定義數(shù)據(jù)微調(diào)
4.5設(shè)置 OpenAI CLI
4.6LLM微調(diào)實踐
4.6.1采用量化指標(biāo)評測大模型
4.6.2定性評估技術(shù)
4.6.3將微調(diào)的GPT3模型集成到應(yīng)用程序中
4.6.4案例學(xué)習(xí)： 亞馬遜評論分類
4.7本章小結(jié)
第5章高級提示工程
5.1提示注入攻擊
5.2輸入/輸出驗證
5.3批處理提示
5.4提示鏈
5.4.1提示鏈作為防御提示注入的手段
5.4.2使用提示鏈來防止提示填充
5.4.3使用提示鏈來安全地使用多模態(tài)LLM
5.5思維鏈提示
5.6重新審視小樣本學(xué)習(xí)
5.7測試和迭代快速開發(fā)
5.8本章小結(jié)
第6章定制嵌入層和模型架構(gòu)
6.1案例研究： 構(gòu)建一個推薦系統(tǒng)
6.1.1定義問題和數(shù)據(jù)
6.1.2推薦系統(tǒng)的定義
6.1.3基于萬條用戶行為數(shù)據(jù)構(gòu)建推薦系統(tǒng)
6.1.4生成自定義字段來對比項目的相似性
6.1.5采用基礎(chǔ)詞向量構(gòu)建基線
6.1.6準(zhǔn)備微調(diào)數(shù)據(jù)
6.1.7使用Sentence Transformers微調(diào)開源嵌入器
6.1.8微調(diào)效果總結(jié)
6.2本章小結(jié)
第3部分大模型的高級使用
第7章超越基礎(chǔ)模型
7.1案例研究： 視覺問答
7.1.1模型簡介： DistilBERT、視覺轉(zhuǎn)換器和GPT2
7.1.2隱藏狀態(tài)投影和融合
7.1.3交叉注意力是什么以及為什么至關(guān)重要
7.1.4定制多模式聯(lián)運模型
7.1.5數(shù)據(jù)： 視覺問答
7.1.6VQA訓(xùn)練迭代
7.1.7結(jié)果總結(jié)
7.2案例研究： 從反饋中強化學(xué)習(xí)
7.2.1FLANT5模型
7.2.2獎勵模型： 情感和語法正確性
7.2.3Transformer強化學(xué)習(xí)
7.2.4RLF訓(xùn)練循環(huán)
7.2.5結(jié)果總結(jié)
7.3本章小結(jié)
第8章開源大模型的高級微調(diào)方法
8.1案例研究： 采用BERT對動漫進行多標(biāo)簽分類
8.1.1采用Jaccard相似分來評估動漫標(biāo)題多標(biāo)簽分類的效果
8.1.2簡單的微調(diào)大模型訓(xùn)練流程
8.1.3通用的開源大模型微調(diào)技巧
8.1.4結(jié)果總結(jié)
8.2采用GPT2生成LaTeX
8.2.1開源大模型的提示詞工程 
8.2.2結(jié)果總結(jié) 
8.3Sinan嘗試做出聰明而優(yōu)美的回應(yīng)： SAWYER
8.3.1有監(jiān)督指令微調(diào) 
8.3.2獎勵模型的訓(xùn)練 
8.3.3從(期望的)人類反饋中進行強化學(xué)習(xí) 
8.3.4結(jié)果總結(jié) 
8.4日新月異的微調(diào)世界
8.5本章小結(jié)
第9章將LLM應(yīng)用于生產(chǎn)
9.1閉源LLM應(yīng)用于生產(chǎn)
9.2開源LLM應(yīng)用于生產(chǎn)
9.2.1將LLM應(yīng)用于推理
9.2.2互操作性
9.2.3模型量化
9.2.4模型剪枝
9.2.5知識蒸餾
9.2.6大模型的成本預(yù)估
9.2.7模型推送到Hugging Face倉庫
9.3本章小結(jié)
9.3.1歡迎向社區(qū)貢獻代碼
9.3.2繼續(xù)加油
第4部分附錄
附錄ALLM常見問題解答
附錄BLLM術(shù)語表
附錄CLLM應(yīng)用架構(gòu)