近来风头正盛的 GPT-4.5，不仅在日常问答中展现出惊东说念主的盘曲文连贯性性爱贴图，在想象、磋磨等需要高度创造力的任务中也大放异彩。

当 GPT-4.5 在创意写稿、援救磋磨、想象提案等任务中展现出惊东说念主的连贯性与创造力时，一个要道问题浮出水面：

多模态大模子（MLLMs）的"创造力天花板"究竟在何处？

写一篇基于图片的短篇演义、分析一张复杂的教学课件、致使想象一份用户界面……

这些关于东说念主类如臂使指的任务，关于现存的部分多模态大模子却频频是"高难动作"。

但现存的评测基准当先难以揣摸多模态大模子的输出是否具有创造性的视力，同期部分情境过于浅薄，难以真确反应模子在复杂场景下的创造性念念维。

若何科学量化"多模态创造力" ？

为此，浙江大学长入上海东说念主工智能实验室等团队重磅发布Creation-MMBench——

大家首个面向真确场景的多模态创造力评测基准，掩盖四大任务类别、51 项细粒度任务，用 765 个高难度测试案例，为 MLLMs 的"视觉创意智能"提供全方向体检。

为何咱们要关爱"视觉创造智能"？

在东说念主工智能的"才能三元论"中，创造性智能（Creative Intelligence）长久是最难评估和攻克的一环，主要波及的是在不同布景下生成新颖和符合措置决策的智力。

现存的 MLLM 评测基准，如 MMBench、MMMU 等，频频更偏重分析性或实用性任务，却忽略了多模态 AI 在真确糊口中常见的"创意类任务"。

天然存在部分多模态基准纳入了对模子创意力的检修，但他们范围较小，多为单图，且情境浅薄，平常的模子即可爽直回答出对应问题。

相较而言，Creation-MMBench 拓荒的情境复杂，内容万般，且单图 / 多图问题交错，能更好的对多模态大模子创意力进行检修。

举个例子

让模子饰演一位博物馆教会员，基于展品图像生成一段悠悠忘返的教会词。

让模子化身散文作者，围绕东说念主物像片撰写一篇情谊性和故事性兼备的散文。

让模子亲身上任看成米其林大厨，给萌新小白解读菜肴像片并用一份细巧入微的菜品引颈菜鸟初学。

在这些任务中，模子需要同期具备"视觉内容通晓 + 情境安妥 + 创意性文本生成"的智力，这恰是现存基准难以评估的中枢智力。

Creation-MMBench 有多硬核？1. 真确场景 × 多模态和会：从"止渴慕梅"到"实战演练"

四大任务类型：Creation-MMBench 共有 51 个任务，主要可分为四个类别，别离是

体裁创作：专注于体裁边界的创作活动，包括诗歌、对话、故事等方式的写稿。这一类别旨在评估模子在艺术性和创造性抒发方面的智力，举例生成富余情谊的翰墨、构建悠悠忘返的叙事或塑造灵活的扮装形象。典型东说念主物包括故事续写、诗歌撰写等。

日常功能性写稿：聚焦于日常糊口中常见的功能性写稿任务，举例外交媒体内容撰写、公益功绩倡议等。这类任务强调实用性，检修模子在处理真确场景中常见写稿需求时的进展，举例撰写电子邮件、回答糊口中的现实问题等。

专科功能性写稿：关爱专科边界内的功能性写稿和创造性问题措置智力。具体任务包括室内想象、教案撰写、征象导游词创作等。这一类别条款模子具备较强的专科常识布景和逻辑推明智力，概况搪塞较为复杂且高度专科化的使命场景。

多模态通晓与创作：防卫视觉通晓与创造力的说合，波及文档宗旨、影相作品玩赏等任务。此类别评估模子在处理多模态信息（如文本与图像说合）时的进展，检修其是否概况从视觉内容中索求要道信息，并将其退换为有酷爱的创意输出。

千张跨域图像：在图像上，Creation-MMBench 横跨艺术作品、想象图纸、糊口场景等近 30 个类别，波及千张不同图片。单任务最多因循 9 图输入，传神复原真确创作环境。

复杂现实情境：关于每一个实例，都基于真确图像进行标注，配套明确扮装、特定布景、任务辅导与寥落条款四部分共同构成问题。同期，相较于其他等闲使用的多模态评测基准，Creation-MMBench 具有更全面和复杂的问题想象，大多半问题的长度跨越 500 个词元，这有助于模子捕捉更丰富的创意盘曲文。

2. 双重评估体系：拒却"主不雅臆断"，量化创意质料

在评估政策上，团队遴荐了使用多模态大模子看成评判模子，同期使用两个不同缱绻进行双重评估。

视觉事实性评分（VFS）：确保模子不是"瞎编"——必须读懂图像细节。

关于部分实例，需要当先对模子对图像的基础通晓智力进行评估，以幸免胡乱创作骗得高分。团队对这类实例逐一制定了视觉事实性圭表，对图片要道细节进行严卡，按点打分。

创意奖励分（Reward）：不仅看懂图，更得写得好、写得巧！

除了基础通晓智力外，Creation-MMBench 更防卫检修的是模子说合视觉内容的创造性智力与表述智力。因为每个实例的扮装、布景、任务辅导与寥落条款均存在不同，因此团队成员对每个实例制定了贴合的评判圭表，从抒发畅达性、逻辑连贯性到创意新颖性等多方面进行评价。

此外，为了确保评判的公说念性和一致性，GPT-4o 看成评判模子，会充分说合评判圭表、画面内容、模子回应等内容，在双向评判（即评估历程中对两个模子位置进行互换，幸免评估偏差）下给出模子回应与参考谜底（作恶式谜底）的相对偏好。

为了考据评判模子和接管的评判政策的可靠性，团队招募了志愿者对 13% 的样本进行东说念主工评估，后果如上图所示。相较于其他评判模子，GPT-4o 展现出了更强的东说念主类偏好一致性，同期也评释了双向评判的必要性。

实验后果：开源 vs 闭源，谁才是创意王者？！

团队基于 VLMEvalKit 器具链，对 20 多个主流 MLLMs 进行了全面评估，包括 GPT-4o、Gemini 系列、Claude 3.5，以及 Qwen2.5-VL、InternVL 等开源模子。

全体而言，与 GPT-4o 比拟，Gemini-2.0-Pro 展现出了更为出众的多模态创意性写稿智力，在部分任务如日常功能性写稿上能灵验的整合图像生成贴合日常糊口的内容。

它高大的先验常识也在专科功能性写稿上极大的匡助了它，但关于部分细粒度视觉内容通晓上，仍与 GPT-4o 存在不小的差距。

令东说念主惊诧的是，主打创意写稿的 GPT-4.5 的全体进展却弱于 Gemini-pro 和 GPT-4o，但在多模态内容通晓及创作任务上展现出了较为出众的智力。

开源模子如 Qwen2.5-VL-72B，InternVL2.5-78B-MPO 等也展现出了与闭源模子不错匹敌的创作智力，但全体而言仍与闭源模子存在一定差距。

从类别上进展来看，专科功能性写稿由于对专科性常识的需求高、对视觉内容的通晓条款深因而对模子的问题难度较大，而日常功能性写稿由于濒临日常外交糊口，情境和视觉内容相对浅薄，因而全体进展相对较弱的模子也能有遍及的进展。尽管大多半模子在多模态通晓与创作这一任务类型上视觉事实性评分较高，但它们基于视觉内容的再创作仍然存在一定瓶颈。

为了更好地比较模子的客不雅性能与其视觉创造力，团队使用 OpenCompass 多模态评测榜单的平平分 来暗意全体客不雅性能。

如上图所示，部分模子尽管在客不雅性能上进展强盛，但在怒放式视觉创造力任务中却进展欠安。这些模子频频在有明确谜底的任务中进展出色，但在生成具有创造性和情境干系的内容方面却显得不及。这种各异阐述传统的客不雅缱绻可能无法悉数捕捉模子在复杂现实场景中的创造智力，因而评释了 Creation-MMBench 填补这一边界的挫折性。

进一步探索：视觉微调是把双刃剑

现时大语言模子的创作智力评判基准多皆集于特定主题（如生成科研 idea），相对较为单一且未能揭示 LLM 在多种不同日常场景中的创作智力。

因此团队使用 GPT-4o 对图像内容进行细巧刻画，构建了纯文本的 Creation-MMBench-TO。

从纯语言模子的评测后果来看，闭源 LLM 的创作智力略优于开源的 LLMs，令东说念主惊诧的是，GPT-4o 在 Creation-MMBench-TO 上的创意奖励分更高。这可能是因为该模子概况在刻画的匡助下更专注于发散念念维息争脱创作，从而减少基本视觉内容通晓对创造力的负面影响。

同期为了进一步拜访视觉辅导微调对 LLM 的影响，团队进行了对比实验，后果标明，经过视觉辅导微调的开源多模态大模子在 Creation-MMBench-TO 上的进展长久低于相应的语言基座模子。

这可能是由于微调历程中使用的问答对长度相对有限，终昭彰模子通晓较长文本中详备内容的智力，进而无法代入情境进行长文本创作，从而导致视觉事实性评分和创意奖励分均相对较低。

团队相通还对部分模子进行了定性相干，如上图所示。任务类型为软件工程图像解释，隶属于专科功能性写稿。

后果泄露，Qwen2.5-VL 由于对特定边界常识通晓不及，将泳说念图误判为数据流图，从而导致后续的图表分析诞妄。

比拟之下，GPT-4o 灵验幸免了这个诞妄，其全体语言愈加专科和结构化，展示了对图表更准确和详备的解释，从而赢得了评审模子的醉心。

这个例子也反应了特定学科常识和对图像内容的详备通晓在这一类任务中的挫折作用，进展出了开源模子和闭源模子间仍存在一定差距。

回来：

Creation-MMBench 是一个新颖的基准，旨在评估多模态大模子在现实场景中的创作智力。该基准包含 765 个实例，涵盖 51 个详备任务。

关于每个实例，他们撰写了对应的评判圭表，以评估模子回应的质料和视觉事实性。

此外，团队通过用相应的文本刻画替换图像输入，创建了一个仅文本版块 Creation-MMBench-TO。对这两个基准的实验全面的评估了主流多模态大模子的创作智力，并探查出了视觉辅导微调对模子的潜在负面影响。

Creation-MMBench 现已集成至 VLMEvalKit，因循一键评测，完竣评估你的模子在创意任务中的进展。想知说念你的模子能不可讲好一个图像里的故事？  来试试 Creation-MMBench 一键跑分，用数据言语。

Paper：  https://arxiv.org/abs/2503.14478

Github：  https://github.com/open-compass/Creation-MMBench

HomePage：  https://open-compass.github.io/Creation-MMBench/

一键三连「点赞」「转发」「留心心」

接待在批驳区留住你的主见！

—  完  —

学术投稿请于使命日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 容颜主页说合，以及干系方式哦

咱们会（尽量）实时回应你

� � 点亮星标 � �

科技前沿进展逐日见性爱贴图