|
蚂蚁集团的百灵大模型在2024年7月5日的2024世界人工智能大会上宣布了其全面升级的多模态能力。以下是关于这次升级的主要信息：
多模态能力：百灵大模型的多模态能力允许模型像人类一样进行感知和互动，提升了智能体体验。这种能力已经被应用于手机APP“智能助理”上，以及支付宝智能助理等产品中。"多模态技术可以让大模型更像人一样感知和互动，支撑智能体体验升级"。 应用场景：百灵大模型的多模态能力已经被应用在多个领域，包括生活服务、搜索推荐、互动娱乐等。在生活服务上，蚂蚁集团使用多模态模型实现了ACT技术的应用。 SkySense模型：蚂蚁集团与武汉大学联合研发的遥感模型SkySense，是参数规模最大、覆盖任务最全、识别精度最高的多模态遥感基础模型。SkySense模型也在论坛上公布了开源计划。 备案与产品开放：根据国家七部委联合公布的《生成式人工智能服务管理暂行办法》指导要求，蚂蚁百灵大模型已完成备案，基于该模型的多款产品已陆续完成内测，并将向公众开放。 多模态能力评测：百灵大模型在中文图文理解MMBench-CN评测集上达到了GPT-4o水平，显示了其在多模态领域的先进性。 最新研发成果：在WAIC会上，蚂蚁集团展示了百灵大模型的最新研发成果，其多模态能力全面提升，能够支持音、视、图、文等多模态理解与生成。 GPT-4o的整合：OpenAI发布的GPT-4o最大改进在于整合各种模态数据到一个端到端模型中，实现多模态能力，而百灵大模型的原生多模态方向已经明确。 通过这次全面升级，蚂蚁百灵大模型在多模态领域的能力得到了显著提升，不仅增强了模型的感知和互动能力，而且拓宽了其在不同场景下的应用范围。 |
