本書共分四部分，第一部分詳細介紹大型語言模型的基礎理論知識，包括語言模型的定義、Transformer 結構，以及大型語言模型框架等內容，並以 LLaMA 所採用的模型結構為例的程式碼。

 

　　第二部分主要介紹預訓練的相關內容，包括在模型分散式訓練中需要掌握的資料平行、流水線並行和模型平行等技術也介紹了ZeRO 最佳化，介紹預訓練資料分佈和資料預處理，以DeepSpeed 為例，介紹大型語言模型的預訓練。

 

　　第三部分為大型語言模型在指令理解，如何在基礎模型的基礎上利用有監督微調和強化學習方法，理解指令並給出回答，包括高效微調方法、有監督微調資料構造方法、強化學習基礎和近端策略優化方法，並以 DeepSpeed-Chat和 MOSS-RLHF 為例訓練類 ChatGPT 系統。

 

　　第四部分重點介紹了大型語言模型的擴充應用和評估。包括與外部工具和知識源連接的LangChain 技術。

 

　　●LLM基礎，包括GPT、Transformer、LLAMA

　　●常用的模型倉庫Huggingface的介紹

　　●LLM的預訓練資料的介紹及整理

　　●多GPU分散式訓練的基礎及實作

　　●SFT有監督微調的應用實例及基礎，包括LORA、PEFT

　　●強化學習在LLM中的應用，包括獎勵模型及PPO

　　●LLM的應用，包括COT及LLM瑞士刀LangChain

　　●用科學方式來評估LLM的能力

 

 

　　復旦大學電腦科學技術學院教授、博士生導師。主要研究方向是自然語言處理和資訊檢索。兼任中國中文資訊學會理事，中國中文資訊學會資訊檢索專委會常務委員，中國人工智慧學會青年工作委員會常務委員。多次擔任ACL、EMNLP、COLING、全國資訊檢索大會等重要國際、國內會議的程式委員會主席、領域主席、講習班主席等。承擔國家重點研發計畫課題、國家自然科學基金、上海市科委等多個專案，在國際重要學術刊物和會議上發表論文150餘篇，獲得美國授權專利4項。獲得WSDM 2014最佳論文提名獎、COLING 2018領域主席推薦獎、NLPCC 2019傑出論文獎、COLING 2022傑出論文獎。獲得上海市「晨光計畫」人才計畫、復旦大學「卓越2025」人才培育計畫等支持，獲得錢偉長中文資訊處理科學技術一等獎、漢王青年創新一等獎、上海市科技進步二等獎、ACM上海新星提名獎、IBM Faculty Award等獎項。

 

 

　　復旦大學自然語言處理實驗室副研究員、碩士生導師。研究領域為預訓練模型、資訊抽取和魯棒模型。在高水準國際學術期刊和會議上發表論文40餘篇，主持國家自然科學基金、電腦學會、人工智慧學會的多個基金項目。獲得錢偉長中文資訊處理科學技術一等獎、中國中文資訊學會優秀博士論文獎、COLING 2018最佳論文提名獎、NLPCC 2019傑出論文獎，入選第七屆中國科協青年人才托舉工程，入選上海市2023年度“科技創新行動計畫”啟明星專案，獲得2023年度世界人工智慧大會雲帆獎。

 

 

　　復旦大學電腦科學技術學院博士生，導師為張奇教授。研究興趣包括大模型對齊、魯棒性等。MOSS-RLHF開源專案負責人，文本魯棒性評測工具TextFlint的核心貢獻者，在ACL、EMNLP、COLING等國際會議上發表學術論文十餘篇。

 

 

　　復旦大學電腦科學技術學院教授、博士生導師。主要從事人工智慧、自然語言處理和資訊檢索研究。兼任中國中文資訊學會理事，中國電腦學會自然語言處理專委會副主任，中國人工智慧學會女科技工作者委員會副主任，計算語言學學會亞太分會副主席，亞太資訊檢索學會指導委員會委員。承擔國家重點研發計畫課題、國家自然科學基金等多個專案，在國際重要學術刊物和會議上發表論文180餘篇。獲得錢偉長中文資訊處理科學技術一等獎、上海市育才獎、人工智慧全球女性學者、福布斯中國科技女性等多項榮譽。