理大 AI 研發成果入選「香港十大創科新聞」｜新訓練範式大幅降低成本，推動全球科研普及

香港理工大學人工智能高等研究院（PAAI）執行院長楊紅霞教授及團隊，在生成式人工智能（GenAI）領域取得多項突破，包括提出「協作式生成人工智能」（Co-Generative AI）模式，即分散式 AI 訓練，有助大幅降低訓練成本、保障數據隱私、打破資源壁壘。近期，團隊進一步啟動更低成本的 FP4 精度訓練探索，相關成果已作預印發表。

論文：https://arxiv.org/html/2509.22536v3

研究背景

當前，GenAI 領域面臨三重核心制約：

基礎模型訓練需耗費巨量計算資源，使得學術界難以直接參與基礎模型的訓練、領域專屬知識與數據無法融入模型。

隱私保護與版權歸屬問題，使醫療、金融等敏感數據難以用於訓練。

基礎模型難以及時吸收新知識，每次重新訓練，進一步耗費巨量資源，嚴重阻礙技術迭代。

研究成果

團隊近期提出 InfiFusion 模型融合技術。僅需數百 GPU 小時，即可融合出傳統需 100 萬至 200 萬 GPU 小時訓練的大模型；團隊用 160 個 GPU 小時，完成了 4 個尖端模型的融合，且融合後的模型，在多項權威測試中性能顯著優於原始模型。

團隊還通過嚴謹的數學推導，提出了「模型融合縮放定律」（Model Merging Scaling Law），這意味，除了傳統的「縮放定律」（參數越多、知識越廣、性能越強）外，可能還有另一條通往通用人工智能（AGI）的途徑。

理大憑藉此成果，成為首個開源發布「端到端 FP8 低比特訓練全套方案」（涵蓋預訓練及後訓練）的大學團隊，該技術打破全球基礎模型以 BF16 精度訓練的主流格局。與 BF16 相比，FP8 核心優勢體現在多方面：訓練速度提高逾 20%、顯存峰值佔用減少逾 10%、成本大幅下降；整合「持續預訓練」、「監督式微調」和「強化學習」，訓練效果媲美 BF16 模型且訓練時間和顯存佔用進一步壓縮。

此外，團隊已啟動更低成本的 FP4 精度訓練探索。經測試，其在醫療的診斷和推理上的效果，超過目前業界發布同等尺寸最優模型；在科研智能體領域（Research Agent）中的任務複雜度、泛化能力和生成報告質量上，均取得重大突破。

在醫療領域，團隊已研發專屬模型「癌症 GenAI」，可快速積累高質量醫療數據、直接對接醫療設備，用於癌症個性化治療規劃。該模型目前正聯合復旦大學附屬華山醫院、中山大學腫瘤防治中心、山東省腫瘤醫院及香港伊利沙伯醫院推動合作與臨床落地。

楊紅霞教授指出：「以超低資源實現基礎模型訓練，加上高效模型融合，可助全球學術人員投入 GenAI 研究，匯聚更多力量創新。」

理大高級副校長（研究及創新）趙汝恒教授表示，理大新成立的 PAAI 致力加速人工智能技術在各個重點領域的深度融合，並針對不同行業開發具備專業領域知識的人工智能模型，此舉將助力推動香港成為全球生成式人工智能發展的樞紐。