类Sora模型到底懂不懂物理?字节完成系统性实验证明
Sora爆火以来,模明“视频生成模型到底懂不懂物理规律”受到热议,型到系统性实但业界一直未有研究证实。底懂近日,不懂字节跳动豆包大模型团队公布最新论文,物理完成研究历时8个月,字节围绕“视频生成模型距离世界模型有多远”首次在业界完成系统性实验并给出明确结论:视频生成模型可以记忆训练案例,验证但暂时还无法真正理解物理规律,模明做到“举一反三”。型到系统性实
图灵奖得主、底懂Meta首席AI科学家杨立昆点赞并转发了该研究,不懂表示“结论不令人意外,物理完成但很高兴终于有人做了这个尝试!字节”
自OpenAI发布Sora模型以来,验证很多视频生成模型都会强调其生成结果对物理规律的模明遵循。豆包大模型视觉团队相关小组,对视频生成模型究竟能否从视觉数据中“发现”并“理解”物理定律感到好奇,决定深入研究。
历时8个月,该团队完成了业界首个系统性的实验研究。团队通过专门开发的物理引擎合成了匀速直接运动、小球碰撞、抛物线运动等经典物理场景的运动视频,用于训练基于主流DiT架构的视频生成模型。然后,通过检验模型后续生成的视频在运动和碰撞方面是否符合力学定律,判断模型是否真正理解了物理规律,并具有“世界模型”的潜力。
实验中设计的不同运动场景
豆包大模型团队的实验发现,即使遵循“Scaling Law”增大模型参数规模和数据量,模型依然无法抽象出一般物理规则,做到真正“理解”。
以最简单的匀速直线运动为例,当模型学习了不同速度下小球保持匀速直线运动的训练数据后,给定初始几帧,要求模型生成小球在训练集速度区间内匀速直线运动的视频,随着模型参数和训练数据量的增加,生成的视频逐渐更符合物理规律。
然而,当要求模型生成未曾见过的速度区间(即超出训练数据范围)的运动视频时,模型突然不再遵循物理规律,并且无论如何增加模型参数或训练数据,生成的结果都没有显著改进。这表明,视频生成模型无法真正理解物理规律,也无法将这些规律泛化应用到全新的场景中。
通过进一步的实验分析,研究团队得出结论,“生成新视频时,模型主要依赖对训练案例的记忆和匹配。视频生成模型就像一个只会‘抄作业’的学生,一旦遇到从未见过的场景,如不同大小、速度的物体相互作用,就会‘犯迷糊’,生成结果与物理规则不符。”
不过,研究中也有一个好消息:如果训练视频中所有概念和物体都是模型已熟悉的,此时加大训练视频的复杂度,比如组合增加物体间的物理交互,通过加大训练数据,模型对物理规律的遵循将越来越好。这一结果可为视频生成模型继续提升表现提供启发。
据了解,本研究两位核心一作都非常年轻,一位是95后,一位是00后,在豆包大模型团队专注视觉领域的基础研究工作。作者们一直对世界模型感兴趣,在8个月的探索中,他们阅读了大量物理学研究文献,也尝试从游戏中获得研发灵感,历经多次失败后,最终一步步确定研究思路和实验方法。
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
744
-
浏览
3887
-
获赞
5
热门推荐
-
英媒:若林加德不续约将在冬窗被卖 纽卡西汉姆有意
英媒:若林加德不续约将在冬窗被卖 纽卡西汉姆有意_曼联www.ty42.com 日期:2021-10-12 08:01:00| 评论(已有306472条评论)观音菩萨为何不让黑熊精做唐僧徒弟,而是收作守山大神?
《西游记》是明代吴承恩创作的中国古代第一部浪漫主义章回体长篇神魔小说。该小说主要讲述了孙悟空出世跟随菩提祖师学艺及大闹天宫后,遇见了唐僧、猪八戒、沙僧和白龙马,西行取经,一路上历经艰险,降妖除魔,经历孙悟空脱困之后,为何一把火烧了金池长老的观音禅院?
《西游记》是明代吴承恩创作的中国古代第一部浪漫主义章回体长篇神魔小说。该小说主要讲述了孙悟空出世跟随菩提祖师学艺及大闹天宫后,遇见了唐僧、猪八戒、沙僧和白龙马,西行取经,一路上历经艰险,降妖除魔,经历刘姥姥进入大观园后,真的像林黛玉口中的那么不堪吗?
《红楼梦》,中国古代章回体长篇小说,中国古典四大名著之一,通行本共120回,一般认为前80回是清代作家曹雪芹所著,后40回作者为无名氏,整理者为程伟元、高鹗。小说以贾、史、王、薛四大家族的兴衰为背景,风暴将至!煤价或迎最后的疯狂
01涨势放缓的产地近日产地煤矿停的停,减产的减产,导致了价格过快上涨,下游逐渐产生了抵触情绪。以魏桥为代表的下游,今天就用降价表达了自己的这种情绪。魏桥最新通知:明天(9月28日)开始,五电,新一电贫明朝对女真发起的一场战争,女真几乎被剿灭
成化年间,在明朝的东北部发生了一场成化犁廷事件,成化指的是发生在明朝成化年间,此时的皇帝是明朝的第八位皇帝明宪宗朱见深。犁庭则是形容这次战况的惨烈,就像整个土地被犁过一样彻底!这场明军发起的战争中,清伊索寓言黑人的故事,黑人的故事寓意
伊索寓言黑人的故事,黑人的故事寓意misanguo 伊索寓言_伊索寓言故事大全_在故事网看伊索寓言故事, 寓言故事, 小故事东兴之战因魏军死伤者众,为什么对礼制也产生影响?
东兴之战,发生于公元252年魏嘉平四年、吴建兴元年十一月;魏出动15万大军,兵分三路,向东吴的东西两个方向进击。其中,东路军以司马昭为都督,领兵7万,直逼东兴。东吴以太傅诸葛恪为统帅,率军4万,迎击向于大宝:12强赛没有一场容易的比赛 结果才是最重要的
于大宝:12强赛没有一场容易的比赛 结果才是最重要的_中国队www.ty42.com 日期:2021-10-08 22:01:00| 评论(已有305958条评论)牛魔王和铁扇公主都不会三昧真火,红孩儿是怎么学来的?
《西游记》是明代吴承恩创作的中国古代第一部浪漫主义章回体长篇神魔小说。该小说主要讲述了孙悟空出世跟随菩提祖师学艺及大闹天宫后,遇见了唐僧、猪八戒、沙僧和白龙马,西行取经,一路上历经艰险,降妖除魔,经历鲁智深为什么不肯在桃花山落草?与李忠又有何关系?
《水浒传》是我国历史上第一部以农民起义为题材的章回体小说。作者为元末明初的施耐庵。它的原型是北宋末年山东人宋江领导的农民起义。那么下面趣历史小编就为大家带来关于鲁智深为何不肯在桃花山落草的详细介绍,一郾城大捷的起因是什么 ?经过如何?
机械键盘也能做到IP68?民间大佬拆解开搞感兴趣郾城大捷的起因是因为金国耐不住寂寞了,挑起了一场战争,但是幸运的是他遇上了岳飞,吃了败仗,宋朝才扬眉吐气了,下面我们来看看郾城大捷的起因和经过。郾城大捷煤价出现小幅下跌,但不必过度惊慌!
今产地只有个别煤价涨跌且幅度(5-10元)均不大,港口横盘震荡,整体市场过节气氛较浓,交投气氛冷清。电厂前期因为价格等因素对于长协的青睐程度并不是很高,近日不少电厂开始重点着手对接并组织长协拉运,这说播州之役发生的背景是什么?如何评价这场战役
播州之役是明朝万历年间的一场平叛,为万历三大征之一。南宋末年,蒙古军由云南挥师东进,直逼播州(今日遵义)。土官杨文动员军民伐木通道,在龙岩山修建营垒、关隘、城楼,储备粮草和军需,以求自保。宋亡后,杨氏贾探春为何心甘情愿的选择站队薛宝钗,放弃林黛玉?
《红楼梦》,中国古代章回体长篇小说,中国古典四大名著之一,通行本共120回,一般认为前80回是清代作家曹雪芹所著,后40回作者为无名氏,整理者为程伟元、高鹗。小说以贾、史、王、薛四大家族的兴衰为背景,