阿里巴巴开源项目DreamTalk，能让人物头像栩栩如生地说话，支持多语言、歌曲、嘈杂音频匹配，开放更多开发者创新。
9. 多模态AI将成为新常态。苹果公司的Ferret和特斯拉的FSD正在引领潮流。但挑战也会随之而来。视觉、听觉，甚至是感觉?
活力28，引爆国货好感的超级黑马
论文网址：https://arxiv.org/pdf/2401.00431.pdf
LLaVA是一个端到端训练的多模态大模型，它将视觉编码器和用于通用视觉和语言理解的Vicuna相结合，具备令人印象深刻的聊天能力。而CogAgent是在CogVLM基础上改进的开源视觉语言模型，拥有110亿个视觉参数和70亿个语言参数。