欢迎光临杏宇平台环保设备有限公司官网!
10年专注环保设备研发制造 环保设备系统设计\制作\安装一条龙服务
全国咨询热线:401-234-5678
当前位置:主页 > 杏宇新闻 > 杏宇官网新闻 >

杏宇平台:3D生成竞技场来了,比拼360°环绕视频,最强模型由你pick

作者:admin 来源:杏宇 时间:2024-05-29 12:33:22 点击:

[文章前言]:杏宇平台: 3D生成也有自个儿的人工评测竞技场了~ 来自复旦大学和上海AI lab的研究人员搞了个 3DGen-Arena ,和大语言模型的Chatbot-Arena、GenAI-Arena等一脉相承,要让大伙儿对3D生成模型来
杏宇平台:

3D生成也有自个儿的人工评测竞技场了~

来自复旦大学和上海AI lab的研究人员搞了个3DGen-Arena,和大语言模型的Chatbot-Arena、GenAI-Arena等一脉相承,要让大伙儿对3D生成模型来一场公开、匿名的评测。

3DGen-Arena同样是让两个模型进行比较,分文生3D、图生3D两个赛道。

展示形式上考虑到3D生成的复杂性,3DGen-Arena同时提供3D资产的法线图、无纹理几何图和贴纹理RGB图的360°环绕视频

投票方式很简单,请看VCR:

第一步点击“Sample”选择prompt(共有1000+条),第二步点击“Send”让模型生成,第三步分别从几何合理性、几何精细度、纹理质量、几何-纹理一致性、文本/图像-3D一致性这5个维度上对模型投票,投完票就能看到背后模型的真面目了。

目前场上已有19个开源3D生成模型,其中9个文生3D模型,13个图生3D模型。

除匿名投票外,3DGen-Arena还支持参与者与指定模型进行比较,以及与单个模型交互。

已开赛,来pick

近两年,得益于Diffusion模型在2D领域取得的巨大成功,以及Objaverse系列大规模3D数据集的开源,3D物体生成领域已经进入迅速发展阶段,3D生成模型数量激增。

然鹅,如何科学、公平地评价这些模型成为了领域内公认的难题。

目前已有的3D评测指标大多沿用了2D领域的范式。其中,Clip系列模型表现出的强大图文对齐能力使得基于Clip的方法尤为受欢迎,如Clip-Similarity、Clip R-Precision等。

但由于2D和3D领域间存在不容忽视的域差异(domain gap),这类不具备3D先验知识的2D指标,在实际应用中,常常并不能满足人们的需要。

例如,3D工作者们关心的几何合理性、3D一致性、纹理伪影等等关键问题,2D指标远远无法达到令人满意表征水平。

于是,目前工作中更具可信度的评价大多来自于定性的用户评价(user-study),但缺少一个统一、多样的prompt集,使得不同模型间的user-study并不那么容易对齐。

最近,因大语言模型以及多模态大模型表现出的优异性能,出现了一些基于大模型问答的3D评测体系。但此类依赖黑盒模型的评测系统,可能会引入一些潜在的系统性误差,而且不具备好的可解释性。

3D生成评测是一项不适定问题(ill-posed problem),需要综合考虑几何质量、纹理质量、以及与输入信息的匹配程度。

自动化评测系统的探索面临很多技术难题,但令人振奋的是,语言和图像领域为我们提供了人工评测的新思路。

由此,来自复旦大学和上海AI lab的开发者推出了3DGen-Arena。

为实现多维度、全方位的评估,3DGen-Arena划分出的5个独立维度各有侧重,互为补充:

“几何合理性”是3D模型的基本要求,能够衡量生成模型习得的3D先验水平;

“几何精细度”则是更高层次的要求,是提升生成质量的关键方向;

“纹理质量”直接影响生成的3D资产的视觉效果,视角一致、富有美学的纹理贴图是纹理优化的目标;

“几何-纹理一致性”在现实世界中,常常被忽略。但在生成过程中,我们发现保证一致的贴图并不总是容易的;

“文本/图像-3D一致性”是条件生成方式的内在要求,实现跨模态精准控制是不断追求的目标。

除了匿名模型投票外,3DGen-Arena还允许参与者指定模型进行比较,以及与单个模型交互,满足社区的多样需求。

开发人员表示,考虑到部分文生3D模型漫长的训练时长,以及复杂的数据后处理,目前3DGen-Arena暂不支持开放式输入的在线生成功能。

但他们精心设计了1k+条prompt,其中文生3D和图生3D各500余条,是现有其他评测系统prompt集数量的10倍(~10x),涵盖了“交通工具”、“动物”、“植物”、“食物”、“室内物品”、“室外物品”等6大基础类别。

为了观察3D生成模型对prompt复杂程度的敏感程度,除了单个物体生成外,开发人员还设计了物体间的多种排列组合方式,以及一些带有交互的“微场景”。

截至目前,3DGen-Arena平台已经内嵌了1w+个3D资产,可以提供5.8w组不同的比较对。

开发人员还表示,之后将继续维护和完善3DGen-Arena:增添更多的开源、甚至闭源模型;定期维护、更新排名榜;上线支持开放式输入的在线生成服务……

3D生成为何需要一个科学、全面、鲁棒的评价体系?这当中益处不言而喻。

一方面, 通过质量评测,深入理解现有生成模型的优缺点,挖掘潜在的发展方向,进而指导模型改进和新算法的开发,不断探索AIGC的能力边界。

另一方面,多维度的3D质量评测对实践应用有指导性作用, 便于针对不同的下游需求,把握关键维度,权衡次要维度。

话不多说了,从事3D生成的或者对3D生成任务感兴趣的家人们,快去pick你喜欢的模型吧~

https://huggingface.co/spaces/ZhangYuhan/3DGen-Arena

  以上就是小编为大家介绍的杏宇平台:3D生成竞技场来了,比拼360°环绕视频,最强模型由你pick的全部内容,如果大家还对相关的内容感兴趣,请持续关注山东杏宇环保设备有限公司

  本文标题:杏宇平台:3D生成竞技场来了,比拼360°环绕视频,最强模型由你pick  地址:http://www.guangda-graphite.com/news/gongsi/742.html

在线客服
联系方式

热线电话

13800138xxx

上班时间

周一到周五

公司电话

401-234-5678

二维码
线