東海大學與 HPE 合作建置 LLM 校園學習平台加速 AI 人才培育

慧與科技宣布與東海大學合作採用 HPE ProLiant DL385 Gen11 伺服器搭配 NVIDIA H100 建置 LLM 校園學習平台，以推動 AI 教育並加速人才的培育。



隨著現今 AI 的熱門話題，各種新應用不斷出現，許多人都感受到 AI 帶來的種種改變與問題。其中為了讓學子更早瞭解與各種 AI 應用，臺灣許多各級學校也加入相關課程，特別是大學更開設有許多 AI 課程，也有學校建立自己的 AI 運算平台。

慧與科技 ( Hewlett Packard Enterprise，簡稱 HPE )宣布與東海大學合作建置 LLM 校園學習平台，以推動 AI 教育並提升台灣青年人才的技術實力。加入教育部臺灣大專院校人工人智慧學程聯盟(TAICA)的東海大學，已經擁有多元的 AI 課程，同時在校內也擁有許多應用及服務，此次與慧與科技合作，主要建置本地端大型語言模型(LLM)主機以做為校園學習平台。


HPE 台灣暨香港董事長王嘉昇

目前臺灣的 AI 教學領域上面臨不少挑戰，包括從標準化 AI 介面轉向開發 AI 模型、運算資源不足以及跨領域資料庫不足。其中許多教學介面仍停留在網頁或呼叫 API，大部分學校也僅使用單一 GPU 運算，其運算能力大幅低於企業級 GPU 叢集。此次東海大學與 HPE 合作，便希望打造 LLM 校園學習平台解決這些問題，以成為臺灣首間在校園內建置統一平台的大學。

HPE 台灣暨香港董事長王嘉昇表示：「HPE 很榮幸與東海大學合作，推動學生的AI教育，並為教師們提供創新工具，以提升教學成效。HPE 先進伺服器提供多元且穩定的 AI運算，讓東海大學學生能夠自主開發 AI 代理與應用程式。」


東海大學校長張國恩

東海大學建立的校園學習平台即是建立本地瑞的大型語言模型主機，即擁有自己的 AI 算力，平台採用二組具有 AMD EPYC 9124 處理器的 HPE ProLiant DL385 Gen11 伺服器，每台伺服器皆具有二組 NVIDIA H100 NVL 94GB GPU，即共有四組 H100。同時為了容納模型、資料以及使用者的檔案等，也配置總計達 18TB 的 SSD，加速運算時所需資料的存取。在二台主要運算伺服器之外，還搭配一台 HPE ProLiant DL385 Gen10 Plus 做為大型語言模型 API 管理主機。

在 LLM 校園學習平台建置僅六個月內，即產出兩項具有商業價值的專案。第一項為基於檢索增強生成(Retrieval-Augmented Generation, RAG) 技術的課程學習助理，透過資料庫整合提升 AI 回應品質。第二項則是將醫療囑咐轉換為護理紀錄的醫療助理系統。東海大學計劃進一步強化該系統，並將AI 聊天機器人對外開放，推動AI創新與社會影響力。

東海大學校長張國恩表示：「此次與 HPE 策略合作，讓東海大學開創新的里程碑。我們正積極將更多 AI 工具整合到教育與研究中，並致力將 AI 擴展至智慧校園與教學資源管理等更廣泛的應用層面，加速AI數位轉型與教育科技發展。目前這些模型已應用於 PrivNurse AI 系統，這是在保護資料隱私下處理病歷資料的 AI 護理助理，以及產生心臟超音波報告的系統，未來仍可能開發更多的應用。」

HPE 致力於搭建產業與學術界之間的橋樑，此次與東海大學合作正是是臺灣 AI 教育與產學合作最佳案例，希望透過協作研究、專業知識共享以及培育下一代人才，打造出讓 AI 創新蓬勃發展的生態系統。