理大 AI 研发成果入选「香港十大创科新闻」｜新训练范式大幅降低成本，推动全球科研普及

香港理工大学人工智能高等研究院（PAAI）执行院长杨红霞教授及团队，在生成式人工智能（GenAI）领域取得多项突破，包括提出「协作式生成式人工智能」（Co-Generative AI）模式，即分散式 AI 训练，有助大幅降低训练成本、保障数据隐私、打破资源壁垒。近期，团队进一步启动更低成本的 FP4 精度训练探索，相关成果已作预印发表。

论文：https://arxiv.org/html/2509.22536v3

研究背景

当前，GenAI 领域面临三重核心制约：

基础模型训练需耗费巨量计算资源，使得学术界难以直接参与基础模型的训练，领域专属知识与数据无法融入模型。

隐私保护与版权归属问题，使医疗、金融等敏感数据难以用于训练。

基础模型难以及时吸收新知识，每次重新训练都会进一步耗费巨量资源，严重阻碍技术迭代。

研究成果

团队近期提出 InfiFusion 模型融合技术。仅需数百 GPU 小时，即可融合出传统需 100 万至 200 万 GPU 小时训练的大模型；团队用 160 个 GPU 小时，完成了 4 个尖端模型的融合，且融合后的模型在多项权威测试中性能显著优于原始模型。

团队还通过严谨的数学推导，提出了「模型融合缩放定律」（Model Merging Scaling Law）。这意味着，除了传统的「缩放定律」（参数越多、知识越广、性能越强）外，可能还存在另一条通往通用人工智能（AGI）的途径。

理大凭借此成果，成为首个开源发布「端到端 FP8 低比特训练全套方案」（涵盖预训练及后训练）的大学团队，该技术打破全球基础模型以 BF16 精度训练的主流格局。与 BF16 相比，FP8 核心优势体现在多方面：训练速度提高逾 20%、显存峰值占用减少逾 10%、成本大幅下降；整合「持续预训练」、「监督式微调」和「强化学习」，训练效果媲美 BF16 模型且训练时间和显存占用进一步压缩。

此外，团队已启动更低成本的 FP4 精度训练探索。经测试，其在医疗的诊断和推理上的效果，超过目前业界发布同等尺寸最优模型；在科研智能体领域（Research Agent）中的任务复杂度、泛化能力和生成报告质量上，均取得重大突破。

在医疗领域，团队已研发专属模型「癌症 GenAI」，可快速积累高质量医疗数据、直接对接医疗设备，用于癌症个性化治疗规划。该模型目前正联合复旦大学附属华山医院、中山大学肿瘤防治中心、山东省肿瘤医院及香港伊利沙伯医院推动合作与临床落地。

杨红霞教授指出：“以超低资源实现基础模型训练，加上高效模型融合，可助全球学术人员投入 GenAI 研究，汇聚更多力量创新。”

理大高级副校长（研究及创新）赵汝恒教授表示，理大新成立的 PAAI 致力加速人工智能技术在各个重点领域的深度融合，并针对不同行业开发具备专业领域知识的人工智能模型，此举将助力推动香港成为全球生成式人工智能发展的枢纽。