最新消息

發佈日期 : 2026/10/28

長庚大學打造「人人有 AI - AI Tutor 篇」:攜手麗臺以 NVIDIA DGX Spark 建構最懂課堂脈絡的專屬數位助教


Photo Credit:TNL Brand Studio

AI 的發展浪潮襲捲全球,全方位影響所有人的數位生活,與國家競爭力息息相關的「教育」領域自然也無法被排除在外。為了迎合這樣的大環境發展,長庚大學近幾年積極推動具前瞻性的智慧校園計劃,除了完整的數位學習環境,也及早透過「人人有 AI」這個專案,提前布局以人工智慧為核心的軟硬體解決方案。

不過隨著「通用型」雲端 AI 聊天工具走入日常教育現場,新的問題也隨之浮現:學生們在課後向通用型 AI 提問,經常遇到看似完整的答案,卻與老師上課內容完全對不上。也因這些通用型 AI 無法全盤理解目前課程的進度與細節、使用哪些教材,往往給出超出課綱之外的答案,反而影響學習的成效。

為了解決這個問題,長庚大學在今年延伸規劃了「人人有 AI - AI Tutor 篇」專案,從過去提供全校師生通用型 AI 帳號的「基礎設施普及」,邁向「每一門課,都能擁有即時跟課 AI 助教」的全新階段。此外,長庚大學資工系與資訊中心因應專案的運算需求,攜手麗臺科技導入 16 部 NVIDIA DGX Spark,建置強悍的地端 Blackwell 算力叢集,打造「時間點感知」技術與「裝得下、跑得動、留得住」的硬體實力,樹立台灣高等教育 AI 落地應用的全新標竿。

從「問答」變成「伴學」:長庚大學「人人有 AI - AI Tutor」顛覆數位教育

長庚大學近幾年推動「人人有 AI」專案,將 AI 視為與校園網路、圖書館藏一樣的學習基礎建設,讓全校一萬多名師生都能實際開始使用 AI,輔助教學與學習。而今年全新的「AI Tutor 篇」也直指教育現場的核心問題-教材完整數位化上線之後,學生看不懂教材內容,而現有的通用型 AI 也無法精確了解課程內容,給出最適切的答案時,該怎麼辦?

從本質來看,「AI Tutor」並非單純呼叫公有雲端通用大模型的服務,而是將授課教師一整學期的課堂錄影、音訊逐字稿、簡報投影片、課程講義甚至是補充文獻完整吸收消化的「客製化數位助教」,實現「一門課、一個專屬助教」的願景。

不同於一般透過 LLM 輔助建立檢索增強生成(RAG)技術停留在文本層次的關鍵字搜尋,長庚 AI Tutor 的核心亮點在於「時間點感知(Time-aware Context)」能力,透過精準錨定影音時間軸,系統可以感知學生觀看教育影音時的「暫停時間戳記」,並自動擷取該時間點前後語境的逐字稿,同步檢索對應的投影片頁面與教材章節,進行內容的即時對齊,學生無須手動切換視窗翻找投影片或複製文字,AI 助教便能在當下教學脈絡中,給出最符合課堂原意的解答,徹底打破通用 AI 脫離課堂語境的局限,實現真正的沉浸式伴學。

Photo Credit:TNL Brand Studio

AI 落地校園面臨三大挑戰

為了實現 AI Tutor 的即時高互動性、整合多模態教材資料的功能,同時需要確保這項服務能夠覆蓋全校上千門課程、上萬名師生的使用需求,長庚大學資工系的技術團隊在系統落地過程,面臨到三個技術上的重大挑戰:

  1. 海量影音與教學素材的高難度整合
    一門課程整學期的內容,往往動輒數十小時,還包含高畫質錄影、龐雜的錄音檔、數百頁投影片與講義。要如何做到對齊「哪一份講義,正在對應哪一段影音概念」,同時實現高效率的語音轉文字、語意切分及多媒介跨模態關聯,對資料工程與檢索架構帶來了前所未有的考驗。
  2. 瞬間爆量的高併發推論與長上下文算力瓶頸
    考量到全校同時在線學習的人數極多,尤其在期中考、期末考前,或同步線上課期間,系統極易面臨瞬間爆增的服務請求流量。而且系統運作時,每一次學生暫停提問,背後都牽涉長上下文(Long Context)比對、高維度向量檢索(RAG)與大型語言模型的即時推論。若缺乏充裕的算力支撐,將產生嚴重的系統延遲與服務壅塞。
  3. 教材智財權與師生學習隱私「不出校」的合規要求
    對於學校的教師來說,長年累積的授課心血、未公開的原創講義、尖端研究資料,以及學生個人的學習歷程與互動記錄,皆屬高度敏感的機敏資產。若算力完全依賴公有雲端商業 API,不僅存在潛在的資安與版權外洩風險,長期下來更將產生高昂且難以預測的運算調用成本,因此在專案進行之初,校方就意識到「地端私有化部署」,將成為校園 AI 生態的必行之路。

也因為上述三個技術挑戰不易跨越,成為長庚大學後續選擇與麗臺科技合作,導入 NVIDIA DGX Spark 打造完整算力資源的主要理由。

Photo Credit:TNL Brand Studio

NVIDIA DGX Spark 助攻:打造最強地端算力基石

想要打造全校規模、真正走入課堂的 AI 學習平台,最重要的底層支撐絕對就是強悍且能靈活運用的地端算力支援。

為了解決前面提到 AI 落地的三大挑戰,長庚大學選擇與麗臺科技合作,一次導入 16 台 NVIDIA DGX Spark 建立地端核心算力叢集,看中的就是這款產品搭載全新 NVIDIA GB10 Grace Blackwell 超級晶片,具備高達 1 petaFLOP 的頂尖 AI 運算效能,單機更配置 128 GB 統一記憶體(Unified Memory),不僅能於地端獨立運行高達 2,000 億(200B)參數規模的開源大模型,更具備高度彈性的多節點高速串聯架構,能夠依實際需求,串接多台設備運行。

Photo Credit:TNL Brand Studio

長庚大學資訊工程學系系主任謝萬雲教授指出,在此次專案開發過程中,NVIDIA DGX Spark 展現了三大關鍵優勢:

  1. 128 GB 統一記憶體(Unified Memory)
    NVIDIA DGX Spark 單機具備最高 128GB 統一記憶體,更能透過多節點高速串聯向上升級,能夠輕鬆乘載極長上下文視窗,在地端完整消化長達數十小時的影音多模態教材與上千億參數模型,消除了模型記憶體不足的隱憂。

    參與專案雲地整合與 API 呼叫服務開發的長庚大學資工系碩二生游仁杰提到,過去學校內的 GPU 規格有限,因此也限制了可以使用地端模型的參數量大小,在導入 NVIDIA DGX Spark 之後,更充足的統一記憶體規格,也讓他們可以實測模型的種類更多元,進而找出最符合系統需求的選擇。
  2. 極致效能與階層化調配
    透過 16 台 NVIDIA DGX Spark 叢集的強大效能,解決專案中高難度的大模型前處理與高階生成任務,同時也整合長庚大學校內原有百片 GPU 組成的聯合算力,打造出高、中、低階完整資源搭配的彈性算力池。

    參與專案的資工系碩一生吳松諭也分享自己實際測試多機串聯 NVIDIA DGX Spark 的心得,發現透過兩台、四台主機的叢集協同運算與網路即時傳輸資料,能有效將龐大模型的負載分散處理,即便是全校學生在課程影片任意時間點同時暫停提問,系統亦能即時回饋為學生迅速解惑。
  3. 掌握資料主權,實現成本可控
    透過 NVIDIA DGX Spark 叢集的強大算力,長庚大學可以在不透過雲端模型 API 的情況下處理全校千門課程的所有資料,其中包括老師們多年累積的教案與研究成果,同時屬於學生個人隱私的學習軌跡歷程,也都能 100% 完整保留在校園內網。這不僅徹底杜絕了智財權外洩的隱憂,更大幅降低長期租用公有雲 API 的龐大經常性開銷,確保校園 AI 應用能健康、永續地扎根運作。

AI Tutor 專案推進過程,成為學生實戰歷練最佳場域

長庚大學資工系主任謝萬雲提到,系所近幾年積極投入生成式 AI、代理式 AI 與各類 AI 應用的教學與研究,而且除了理論層面的演算法與模型技術研究,系統更特別重視「實際開發」的經驗,並為此投入資源打造真正「做 AI」的學習環境。

謝主任希望學生學習 AI 時,不只是使用者,而是能真正進行模型部署、程式開發、資料處理、AI Agent 開發,以及大型語言模型相關應用。他強調,硬體只是其中一部分,系上也持續建置模型、API、容器化開發環境,還有各種 AI 開發工具,讓學生不需要花大量時間處理基礎環境設定,就可以直接進入模型與應用程式開發。

謝主任說,系所目標是構建一個完整的 AI Development Playground,學生只要有一個想法,就有機會利用系上的設備把它真正做出來,創造出具價值的研究與專案。也因此,長庚大學的 AI Tutor 專案成為資工系學生最好的「實戰」場域,讓學生能從第一線的 AI 功能推廣、教學了解用戶需求,進而投入系統開發建置,並參與營運,讓整套服務能真正落地全校。

Photo Credit:TNL Brand Studio

資工系碩一生余淨珊分享,自己觀察到不同背景的使用者,對於 AI 的期待差異有極大落差,資訊相關科系的師生較關心系統功能的進階應用與開發可能性,而非資訊背景的老師或行政人員,更在意的會是「AI 到底能否解決工作問題」。而這些需求差異,也影響後續 AI 工作坊的內容設計,能否透過更直覺的引導,以符合他們預期的方式展示如何運用 AI。

資工系碩二生呂紘銘也提到,許多初接觸 AI 的使用者,最大的「心理門檻」其實是「擔心這是一門很複雜的技術」,因此我們在協助安裝功能與教學時,通常不會先從功能介面制式化的說明,而是先了解對方平常最常遇到哪些工作上的問題,再透過解決這些問題來展示 AI 能做到哪些事。

負責系統營運的資工系碩二生游仁杰也回憶,AI Tutor 系統上線初期曾面臨課堂上百人同時操作導致的高併發連線崩潰。「那時候電話、訊息排山倒海而來,只能立刻埋頭除錯、重構程式並緊急重新部署。雖然當下壓力巨大,但那次經驗讓我深刻體會到:『寫出一套可以動的系統』與『維運一套萬人穩定使用的系統』,完全是兩碼子事。」

Photo Credit:TNL Brand Studio

他也指出,許多人以為 AI 降低了程式門檻,但實務證明資料結構與系統架構等資訊工程底蘊反而更顯關鍵,資工人才的核心價值在於能否帶著深厚底層能力,把跨領域需求轉化為真正穩定落地的架構。

投資算力,麗臺科技與長庚大學聯手打造 AI 教育改革典範

攜手麗臺科技導入 NVIDIA DGX Spark 建置 AI Tutor 以來,長庚大學成功打破了 1 對多的教學資源限制,實現全年無休的個別化輔導。謝主任說,因為 AI Tutor 是 24 小時在線、不厭其煩的 AI 專屬助教,學生即便同一觀念卡關多次,也能要求 AI 助教反覆說明,消弭了許多人提問的心理壓力;而這些重複性的課業疑問由 AI 助教在第一線即時分流消化,真人教授與助教也得以釋放寶貴心力,專注於課堂啟發式討論、前沿研究指導與深度互動。

長庚大學在 AI 算力基礎設施上的大規模投入,表面上看似是一筆硬體資本支出,但站在系所的立場,其實也是一場國家跨領域數位人才的布局。謝萬雲主任說,「目前長庚大學全校萬名師生已逐漸習慣日常學習與 AI 深度協作,資工系的學生團隊更具備了維運全校級 AI 叢集的實務能力。這批學子未來畢業走入智慧醫療、智慧工業與高科技製造產業時,所擁有的 AI 協作思維與系統架構力,也是未來引領臺灣產業升級的核心主力。」

展望未來,長庚大學 AI 計畫並未止步於問答輔導,因應代理式 AI 架構的浪潮,AI Tutor 也將持續進化,結合多代理人(Multi-Agent)架構,使 AI 助教不僅是被動回答提問,更能化身為具備規劃、診斷與工具調用能力的「自主學習 Agent」。

長庚大學攜手麗臺科技憑藉 NVIDIA DGX Spark 強大的 Blackwell 運算效能、統一記憶體架構與高擴充叢集整合實力所奠定的地端算力基石,打造出兼具經濟性、高效能與資料主權的地端私有 AI 示範場域,成功驗證了校園 AI 落地的可行路徑,也成為未來其他各級校院參考的最佳典範。這樣的創新實例,不僅讓當前的課堂學習充滿無限可能,更為台灣下一代自主智慧教育寫下嶄新的里程碑。

Photo Credit:TNL Brand Studio

文章來源:INSIDE