
前言 / FOREWOED
听障与健听人士之间长期存在的沟通障碍,一直是亟待解决的社会议题。香港浸会大学与北师香港浸会大学(北师港浸大)达成科研合作,运用人工智能技术识别面部特征与嘴部动作,联合开发手语与口语双向翻译应用,期望未来项目落地后,能切实帮助广大听障人士解决日常沟通难题。

浸大李钰鹏教授(右一)与北师港浸大团队
01
供需失衡
现有工具难满足听障群体需求
本港注册的专业手语翻译员仅约 50 人,面对庞大的听障人士群体,人力资源严重不足。尽管坊间已有部分手语翻译工具,但项目首席研究员浸大传理学院助理教授李钰鹏教授和北师港浸大统计与数据科学系副系主任陈东龙教授指出,现有工具的识别能力和覆盖场景远远达不到实用标准,导致听障人士在就医、社交、工作等日常生活中处处受限。

浸大李钰鹏教授在粤港高校『1+1+1』联合资助计划研讨会中介绍其研究成果
针对这一痛点,两校团队启动「实时安全的手语识别与生成关键技术与示范应用」项目,核心目标是实现双向无障碍翻译:一方面将听障人士的手语视频及图像实时转换为口语与文字,另一方面透过 AI 技术把健听人士的说话语音转化为标准手语,搭建起两个群体之间的沟通桥梁。
02
攻克难点
精准捕捉手语细微语义差异
手语并非国际通用语言,全球不同地区都有独立的手语体系,例如香港与内地的手语便不能完全互通;更有部分语义需要依赖面部表情传递,比如德文中的「Brother(兄弟)」与「Sister(姐妹)」,就必须透过特定的面部动作来区分。这些地域差异和细节特征,正是传统翻译工具频繁出错的主要原因。

为解决这一技术难题,研究团队创新研发路径:重点强化对面部表情、嘴形变化等非手势特征的识别能力,同时引入「直接偏好优化」(DPO)大模型技术,透过大量「正样本」与「负样本」的对比训练,让 AI 能够精确捕捉手语中的各种细微差异,大幅降低翻译错误率。

浸大李钰鹏教授向研讨会参与者分享他的研究
03
项目进展顺利
首批联合资助成果落地
这个 AI 手语翻译项目,是浸大首批粤港高校「1+1+1」联合资助计划项目之一,首批项目的资助总额达 3000 万元。目前项目已历经一年的研究阶段,团队透露现正全力进行精度优化及模型优化工作,争取早日推出成熟的翻译应用,实现听障人士与健听人士的无障碍交流。

5 月 12 日,浸大举办「粤港高校『1+1+1』联合资助计划研讨会」,吸引了 180 名浸大及北师港浸大的科研人才、政府代表、业界专家到场,会上集中展示了包括 AI 手语翻译在内的首批资助项目成果,覆盖文化保育、智慧医疗及数据科学等多个领域。未来两校将继续深化香港与珠海校园的深度协同,让『一校两园』的协同优势实现资源互补与人才跨境流动,不断提升在新兴学科领域的创新能力。

浸大副校长(研究及拓展)兼研究院院长吕爱平教授在致开幕致辞时强调,计划成功构建跨境科研生态,为大湾区储备具备国际竞争力的科研人才。

北师港浸大副校长(研究与拓展)潘建新教授在会上表示,第二批 21 个拟立项项目已完成遴选,第三批项目申报即将启动。










