123,123

內(nèi)容簡(jiǎn)介

　　本書共包括7章，涵蓋了從基礎(chǔ)理論到實(shí)際應(yīng)用的全方位內(nèi)容。第1章深入探討了大模型的基礎(chǔ)理論。第2章和第3章專注于Llama 2大模型的部署和微調(diào)，提供了一系列實(shí)用的代碼示例、案例分析和最佳實(shí)踐。第4章介紹了多輪對(duì)話難題，這是許多大模型開發(fā)者和研究人員面臨的一大挑戰(zhàn)。第5章探討了如何基于Llama 2定制行業(yè)大模型，以滿足特定業(yè)務(wù)需求。第6章介紹了如何利用Llama 2和LangChain構(gòu)建高效的文檔問答模型。第7章展示了多語言大模型的技術(shù)細(xì)節(jié)和應(yīng)用場(chǎng)景。本書既適合剛?cè)腴T的學(xué)生和研究人員閱讀，也適合有多年研究經(jīng)驗(yàn)的專家和工程師閱讀。通過閱讀本書，讀者不僅能掌握Llama 2大模型的核心概念和技術(shù)，還能學(xué)會(huì)如何將這些知識(shí)應(yīng)用于實(shí)際問題，從而在這一快速發(fā)展的領(lǐng)域中取得優(yōu)勢(shì)。

作者簡(jiǎn)介

　　張俊祺，清華大學(xué)計(jì)算機(jī)系博士，曾獲CIKM 2018唯一最佳論文獎(jiǎng)、 2022年中關(guān)村U30等榮譽(yù)，原子回聲創(chuàng)始人。曲東奇，東南大學(xué)畢業(yè)，德國(guó)亥姆霍茲研究中心訪問學(xué)者。張正，清華大學(xué)計(jì)算機(jī)系畢業(yè)，對(duì)于深度學(xué)習(xí)、自然語言處理技術(shù)有著極其豐富的研究和產(chǎn)業(yè)經(jīng)驗(yàn)，組織訓(xùn)練和研發(fā)了原子大模型。占冰強(qiáng)，AIGCLINK發(fā)起人，中關(guān)村超互聯(lián)聯(lián)盟副秘書長(zhǎng)，行行AI合伙人，曾聯(lián)合創(chuàng)辦算法和數(shù)學(xué)建模交流平臺(tái)數(shù)學(xué)中國(guó)。

圖書目錄

第1章　大模型的基礎(chǔ)理論
1.1　大模型的發(fā)展歷史
1.1.1　從語言模型到預(yù)訓(xùn)練大模型
1.1.2　預(yù)訓(xùn)練大模型的發(fā)展
1.1.3　大模型的進(jìn)化
1.2　大模型的核心框架
1.2.1　Transformer
1.2.2　位置編碼
1.2.3　多頭自注意力機(jī)制
1.3　數(shù)據(jù)收集和數(shù)據(jù)處理
1.3.1　數(shù)據(jù)收集
1.3.2　數(shù)據(jù)處理
1.4　大模型的預(yù)訓(xùn)練及微調(diào)
1.4.1　無監(jiān)督預(yù)訓(xùn)練
1.4.2　指令微調(diào)
1.4.3　基于人類反饋微調(diào)
1.5　大模型的評(píng)測(cè)
1.5.1　評(píng)測(cè)任務(wù)
1.5.2　評(píng)測(cè)數(shù)據(jù)集
1.5.3　評(píng)測(cè)方法
1.5.4　評(píng)測(cè)中的挑戰(zhàn)
第2章　部署Llama 2大模型
2.1　部署前的準(zhǔn)備
2.1.1　硬件準(zhǔn)備
2.1.2　環(huán)境準(zhǔn)備
2.2　模型的導(dǎo)入與加載
2.2.1　下載代碼
2.2.2　下載模型
2.3　模型部署
2.3.1　API部署
2.3.2　text-generation-webui 部署
2.3.3　使用text-generation-webui
第3章　微調(diào)Llama 2大模型
3.1　微調(diào)的數(shù)據(jù)集準(zhǔn)備和標(biāo)注
3.1.1　數(shù)據(jù)集準(zhǔn)備
3.1.2　數(shù)據(jù)集標(biāo)注
3.2　Llama 2大模型加載
3.3　微調(diào)策略設(shè)計(jì)及模型重新訓(xùn)練
3.3.1　微調(diào)策略設(shè)計(jì)
3.3.2　模型參數(shù)高效微調(diào)
3.4　模型評(píng)估、測(cè)試和模型優(yōu)化
3.4.1　模型評(píng)估、測(cè)試
3.4.2　模型優(yōu)化
3.5　模型保存、模型部署和推理加速
3.5.1　模型保存
3.5.2　模型部署
3.5.3　推理加速
第4章　解決Llama 2大模型多輪對(duì)話難題
4.1　定制多輪對(duì)話數(shù)據(jù)集和構(gòu)造方法
4.1.1　準(zhǔn)備微調(diào)訓(xùn)練數(shù)據(jù)的7個(gè)原則
4.1.2　定制微調(diào)訓(xùn)練數(shù)據(jù)集
4.1.3　多輪對(duì)話的3個(gè)場(chǎng)景
4.2　實(shí)操構(gòu)造多輪對(duì)話微調(diào)訓(xùn)練數(shù)據(jù)集
4.3　通過多輪對(duì)話存儲(chǔ)解決信息流失問題
4.3.1　拼接歷史與當(dāng)前輸入
4.3.2　上下文向量
4.3.3　對(duì)話狀態(tài)追蹤
4.3.4　狀態(tài)壓縮
4.3.5　增量學(xué)習(xí)和在線學(xué)習(xí)
4.4　提高大模型多輪對(duì)話應(yīng)對(duì)能力
4.4.1　針對(duì)性的數(shù)據(jù)集與微調(diào)
4.4.2　實(shí)時(shí)反饋與自適應(yīng)
4.4.3　強(qiáng)化學(xué)習(xí)優(yōu)化
4.4.4　上下文感知與個(gè)性化
4.4.5　多模態(tài)與多任務(wù)學(xué)習(xí)
4.4.6　錯(cuò)誤處理與恢復(fù)策略
4.5　模型評(píng)估與持續(xù)改進(jìn)
4.5.1　微調(diào)Llama 2大模型評(píng)估
4.5.2　持續(xù)改進(jìn)
4.6　適合Llama 2大模型多輪對(duì)話的prompt構(gòu)建
第5章　基于Llama 2定制行業(yè)大模型
5.1　業(yè)務(wù)數(shù)據(jù)分析指導(dǎo)行業(yè)大模型定制
5.1.1　行業(yè)大模型的定制策略
5.1.2　模型性能的評(píng)估
5.2　行業(yè)數(shù)據(jù)的獲取與預(yù)處理
5.2.1　數(shù)據(jù)獲取
5.2.2　數(shù)據(jù)預(yù)處理
5.3　Llama 2大模型導(dǎo)入初始化
5.4　微調(diào)獲得行業(yè)特定大模型
5.4.1　領(lǐng)域預(yù)訓(xùn)練
5.4.2　微調(diào)策略
5.5　模型測(cè)試、評(píng)估和優(yōu)化
第6章　Llama 2 + LangChain文檔問答模型構(gòu)建
6.1　LangChain介紹
6.2　LangChain的主要概念與示例
6.2.1　模型
6.2.2　提示
6.2.3　輸出解析器
6.2.4　索引
6.2.5　內(nèi)存
6.2.6　鏈
6.2.7　代理
6.2.8　工具
6.3　LangChain 環(huán)境配置
6.3.1　Python環(huán)境搭建
6.3.2　LangChain主要模塊
6.4　Llama 2+LangChain文檔問答模型評(píng)估
6.4.1　設(shè)置虛擬環(huán)境和創(chuàng)建文件結(jié)構(gòu)
6.4.2　Llama 2和LangChain的交互流程
6.4.3　具體案例
第7章　多語言大模型技術(shù)介紹及其工業(yè)應(yīng)用
7.1　多語言大模型的研究現(xiàn)狀和技術(shù)方向
7.1.1　為什么進(jìn)行多語言研究
7.1.2　多語言在NLP社區(qū)的發(fā)展
7.1.3　多語言模型技術(shù)方向
7.2　多語言大模型的預(yù)訓(xùn)練資源和評(píng)測(cè)任務(wù)
7.2.1　多語言大模型的預(yù)訓(xùn)練資源介紹
7.2.2　評(píng)測(cè)任務(wù)介紹
7.3　多語言大模型的優(yōu)化方向
7.3.1　數(shù)據(jù)預(yù)處理流程
7.3.2　Tokenizer
7.3.3　訓(xùn)練數(shù)據(jù)格式和采樣策略
7.3.4　多語言大模型的訓(xùn)練任務(wù)
7.3.5　多語言大模型的優(yōu)化方向總結(jié)（以Llama 2為例）
7.4　多語言大模型的工業(yè)應(yīng)用
7.4.1　智能客服
7.4.2　搜索引擎
7.4.3　機(jī)器翻譯