About this Course

大型語言模型（Large Language Models, LLMs）的能力正持續提升，但正式環境(Production)中的工作流程（workflow）往往需要的不只是一般性的能力。團隊需要能遵循在地分類體系(Taxonomy)、回傳可靠綱要（schema）、尊重領域中的取捨（tradeoffs），並且能在部署前，於可量測的任務(Task)上持續改進的模型。

在這場為期一整天、強調實作的整工作坊(Workshop)中，您將為特定領域的分流工作流程（triage workflow）設計並執行一條完整的（end-to-end）模型客製化處理流程(Pipeline)。您將先建構評估(Evaluation)，定義對此任務(Task)而言什麼才算是「更好」，接著量測現成的8B 開放權重(Open-weight)模型，測試提示(Prompt)的上限(Ceiling)，產生特定(Targeted)的合成資料(Synthetic data)訓練資料，使用監督式微調(Supervised Fine-Tuning/SFT)訓練一個 LoRA 適配器(Adapter)，並在任務(Task)行為大致建立完成後，透過直接偏好優化(Direct Preference Optimization/DPO)進一步提升回應品質。

本整工作坊(Workshop)以 Meridian Response 為基礎，這是一個虛構的人道物流組織，必須對收到的洪災應變現場(Field)報告進行分類，並派送(Route)給正確的團隊。Meridian 作為貫穿全程的案例研究（running case study），協助您理解並練習在處理流程(Pipeline)中應如何做出決策。最後的最終綜合實作(Capstone)會將相同的決策順序轉移到 Atlas Support，這是一個客戶支援分流領域，讓您能練習將這套工作流程應用到原始案例研究以外的情境。

Learning Objectives

參與本整工作坊(Workshop)後，學員將學習到以下能力

• 在訓練前設計一套能捕捉任務(Task)行為、可衡量成功標準，以及重要失敗模式的評估(Evaluation)方式
• 利用評估(Evaluation)的結果判斷，下一步應該採用提示(Prompt)工程、合成資料生成(Synthetic Data Generation)、監督式微調(Supervised Fine-Tuning/SFT)，還是偏好最佳化。
• 使用教師模型(Teacher models)與 NVIDIA NeMo Data Designer，為領域任務(Task)產生特定(Targeted)的合成資料(Synthetic data)
• 使用品質檢查與 NVIDIA NeMo Curator 檢視並優化(Curation)生成出的資料。
• 使用 NVIDIA NeMo AutoModel，以監督式微調(Supervised Fine-Tuning/SFT)訓練聚焦於任務(Task)的 LoRA 適配器(Adapter)。
• 使用 vLLM 服務部署(Serving)並評估(Evaluation)模型各階段，比較基礎模型、提示(Prompt)後、SFT 與 DPO 在任務(Task)指標上的行為差異。
• 使用 NVIDIA NeMo RL 為直接偏好優化(Direct Preference Optimization/DPO)建立並評量(Assessment)偏好配對。
• 分析推理(Reasoning)模型客製化中的權衡取捨，並向隊友與程式撰寫 Agent 清楚傳達以證據為基礎的決策。

Topics Covered

為了教授如何替基於 LLM 的系統增添新知識並加入任務(Task)行為，本整工作坊(Workshop)將涵蓋以下主題與技術：

• 評估(Evaluation)優先的模型客製化
• 任務(Task)指標、基準線(Baseline)量測，以及In Context Learning 的上限(Ceiling)測試
• 使用 NVIDIA NeMo Data Designer 與 Nemotron 教師模型(Teacher models)進行合成資料生成(Synthetic Data Generation)
• 使用 NVIDIA NeMo Curator 進行資料檢視、資料優化(Curation)與去重複
• 使用 NVIDIA NeMo AutoModel 與 PEFT，透過 LoRA 適配器(Adapter)進行監督式微調(Supervised Fine-Tuning/SFT)
• 使用 NVIDIA NeMo RL 進行直接偏好優化(Direct Preference Optimization/DPO)
• 使用 vLLM 進行模型服務部署(Serving)與評估(Evaluation)
• 用於選擇能補足缺漏訊號(missing signal)之最精簡技術方案的決策框架

Course Outline

下表為本課程建議的時間安排。請與講師協調，以取得最佳的節奏與重點配置。

1. 導覽	了解整工作坊(Workshop)目標、課程練習(Lab)環境，以及 JupyterLab 工作流程。 認識 Meridian Response，這個用來支撐處理流程(Pipeline)決策的持續性案例研究。 檢視本整工作坊(Workshop)使用的核心工具：NVIDIA NeMo AutoModel、NeMo Data Designer、NeMo Curator、NeMo RL、vLLM、LoRA/PEFT，以及 Jupyter Notebook。
2. 評估優先	在生成資料或訓練之前，先設計評估(Evaluation)工具。 針對 Meridian 的分類任務(Task)，量測基礎8B 模型表現。 執行ICL(In Context Learning)上限(Ceiling)測試，了解提示(Prompt)工程能讓模型改善多少。 比較本地模型與較大型 API 模型的行為，並決定應由哪些證據來引導訓練。
3. 合成資料生成與資料優化	使用評估(Evaluation)找出模型缺少的訓練訊號。 選擇並使用教師模型(Teacher models)來進行合成資料生成(Synthetic Data Generation)。 使用 NVIDIA NeMo Data Designer 建立特定(Targeted)紀錄。 使用 NVIDIA NeMo Curator 檢視、篩選、去重並資料優化(Curation)紀錄。
4. 監督式微調	了解監督式訓練如何透過範例教會模型任務(Task)行為。 理解為何 LoRA 對高效率的領域適應很有幫助。 使用 NVIDIA NeMo AutoModel 設定並執行一個 epoch 的監督式微調(Supervised Fine-Tuning/SFT)適配器(Adapter)訓練工作。 使用 vLLM 服務部署(Serving)已訓練的適配器(Adapter)，並評估(Evaluation)它是否改善了保留測試任務(Task)評估(Evaluation)的表現。
5. 直接偏好優化	找出在監督式微調(Supervised Fine-Tuning/SFT)之後仍然存在的回應品質落差(Gap)。 設計風格評分規準，並建立偏好的 chosen/rejected 配對。 在訓練前先評估(Evaluation)偏好配對的品質。 使用 NVIDIA NeMo RL 執行並檢視 DPO 工作流程，接著評估(Evaluation)偏好最佳化如何改變模型。
6. 最終綜合實作	將相同的客製化流程套用到 Atlas Support，這是一個新的客戶支援分流領域。 建立並評估(Evaluation)基準線(Baseline)任務(Task)評估(Evaluation)。 為新任務(Task)產生合成資料(Synthetic data)，並訓練一個監督式微調(Supervised Fine-Tuning/SFT)適配器(Adapter)。 使用評量(Assessment)關卡確認每個階段都已完成，且具有證據基礎。
7. 課後收穫	檢視模型客製化的決策手冊(Decision playbook)。 下載參考 Notebook、原始素材，以及可帶回使用的資產。 將整工作坊(Workshop)工作流程連結到未來特定領域的客製化專案。