通过改进模型结构、训练方法和数据构造,有效提升了多模态大模型的扩展效率,主导构建了“轻量级、高性能”的MiniCPM系列高效多模态大模型,模型入选HuggingFace 2024年度最受欢迎和下载模型榜单、中关村论坛年会10项重大科技成果等;

提出了统一高清图像、多图、视频的编码框架,实现了高清视觉内容的高效建模与知识迁移;

提出多模态细粒度人类反馈学习方法,大幅降低了生成内容的幻觉率,提高了模型的可信度;

提出了生物医学多模态科学大模型,首次实现分子结构与自然语言之间的深度交互;

在CVPR、ACL、ICLR、Nature Communications等会议期刊发表论文 30 余篇,多次入选会议亮点或期刊推荐文章。谷歌学术引用 6500 余次,GitHub开源项目星标 3.6 万余次,开源模型下载量 1000 万余次。曾获人工智能学会优博、英特尔中国学术成就奖、世界人工智能大会云帆奖等荣誉。