全新多专家融合视觉-语言大模型眸思(MouSi)

联合语言和视觉的力量，复旦大学语言与视觉团队联合提出基于多视觉专家混合架构的视觉-语言大模型——眸思（MouSi）。基于新架构的眸思将擅长图文匹配、光学字符识别（OCR）和图像分割等多种经典视觉任务的专家巧妙地融为一体，显著地提高了多模态大模型在多模态对话中传统视觉任务上的表现效果。

复旦大学自然语言处理实验室全新细粒度工具学习能力评测

使用工具是大型语言模型（LLMs）建立与物理世界联系，解决社会需求的有效途径。为了评测现有LLMs在工具学习上的各种能力表现，复旦大学自然语言处理实验室建模七个真实场景，收集568个真实工具，从五个维度开展细粒度分析，揭示了目前LLMs对场景的偏好和思维的局限，表明工具学习任务并非可以通过简单的增加模型参数量解决。

复旦语言和视觉团队创新奖励模型优化，让大模型更对齐

继第一份大模型对齐技术报告获 NeurIPS 2023 workshop best paper 后，第二份报告强势归来，复旦语言和视觉团队联合推出的第二份报告将进入这一领域更深层的探索和优化之旅。在首份报告中，复旦团队揭示了RLHF在大语言模型中的基本框架，并深入分析了PPO算法的内部机制，特别是PPO-max的高级版本在策略模型训练稳定性中的关键作用。