NVIDIA 認證課程

使用擴散模型的生成式人工智慧
Generative AI with Diffusion Models

由於計算能力的提升和科學理論的進步,生成式人工智慧(Generative AI)比以往任何時候都更容易取得。生成式人工智慧在各行各業都扮演著重要的角色,應用範圍廣泛,包括創意內容生成、資料擴充、模擬與規劃、異常偵測、藥物發現、個人化推薦等等。在本課程中,學習者將深入探討去噪擴散模型,該模型是文字轉圖像管道的熱門選擇。

學習目標

通過參與本工作坊,您將:

  • 構建一個 U-Net 模型,從純雜訊生成圖像。
  • 利用去噪擴散過程提高生成圖像的品質。
  • 利用上下文嵌入控制圖像輸出。
  • 使用對比語言-圖像預訓練(CLIP)神經網路,從英文文字提示生成圖像。

實作坊大綱

時程 程序項目
15 分鐘   概覽
  • 認識講師
  • 在 learn.nvidia.com/join 建立帳號
60 分鐘   從 U-Net 到擴散模型
  • 構建一個U-Net,即一種圖像自編碼器
  • 學習轉置卷積來放大圖像
  • 學習非序列化的神經網路和殘差連接
  • 嘗試向 U-Net 注入雜訊來生成新圖像
15 分鐘 休息時間
90 分鐘   擴散過程
  • 瞭解如何使用前向擴散過程 (DDPM) 創建一系列雜訊越來越大的圖像
  • 瞭解如何在雜訊生成序列中向前跳過以加快網路訓練 (DDIM)
  • 使用貝葉斯定理去除圖像中的雜訊以進行反向擴散過程
60 分鐘 休息時間
60 分鐘   通過上下文進行控制
  • 瞭解如何通過添加上下文嵌入來更改擴散過程的輸出
  • 添加額外的模型優化,例如
    • 正弦位置嵌入
    • 高斯誤差線性單元(GELU) 啟動函數
    • 注意力機制
60 分鐘  使用 CLIP 將文本轉換為圖像
  • 循序解析 CLIP 架構,瞭解它如何將圖像嵌入與文本嵌入關聯起來
  • 使用 CLIP 來訓練文本到圖像的擴散模型
15 分鐘 休息時間
60 分鐘   當下領先的模型
  • 瞭解多種目前最先進的生成式 AI 模型,並將它們與課上所學的概念關聯起來
  • 討論提示工程以及如何更好地影響生成式 AI 模型的輸出
60 分鐘   評估與Q&A
  • 回顧學習重點並回答問題。
  • 完成測驗並取得認證。
  • 填寫實作坊調查問卷。

實作坊詳情

時間: 8 小時

必備基礎能力:

  • 對深度學習概念有基本的理解。
  • 熟悉深度學習框架,例如 TensorFlow、PyTorch 或 Keras。本課程使用 PyTorch。

使用的工具、函式庫、框架: PyTorch、CLIP

認證證書: 完成測驗後,參與者將會收到 NVIDIA DLI 認證證書,證明他們具有相關主題的能力,支援其專業職涯成長。