03.04.24 | 21:58 PM
复旦研发出「眸思」大模型 助力视障者安全出行
BY 媒介360
据复旦大学官微发文,复旦大学自然语言处理实验室基于多模态大模型「复旦·眸思」(MouSi)为视障者量身打造的「听见世界」APP 上线,将成为视障人士的生活助手与智能管家。

2023 年上半年,复旦大学自然语言处理实验室发布了开发 MOSS 对话式大型语言模型,被称为中国版的 GPT,仅用半年时间多模态模型「眸思」问世。据介绍,「眸思」与 MOSS 同音,「眸思」和基于文本的 MOSS 不同,它能够理解并识别图片内容,致力于成为视障者的一双「眸」。

基于「眸思」,「听见世界」APP 为视障者日常生活需求量身打造街道行走模式、自由问答模式和寻物模式。在街道行走模式中,「眸思」如一位忠实的向导。红绿灯、十字路口、障碍物……它能细致扫描道路情况,提示潜在风险,陪伴视障者安全通行「看不见」的漫漫长路。

在自由问答模式中,「眸思」则像一位贴心的朋友,走进博物馆、艺术馆、公园……捕捉四周景象的每个细节,用声音构建丰富的生活场景,传递每一处日常之美。

在基于几亿张图片训练出「眸思」大模型基础上,针对视障者提出的各类需求,团队又用上万张图片进行特殊样本训练,使「眸思」具备能够适配更多场景的能力。
advertisement