类Sora模型到底懂不懂物理?字节完成系统性实验证明
Sora爆火以来,模明“视频生成模型到底懂不懂物理规律”受到热议,型到系统性实但业界一直未有研究证实。底懂近日,不懂字节跳动豆包大模型团队公布最新论文,物理完成研究历时8个月,字节围绕“视频生成模型距离世界模型有多远”首次在业界完成系统性实验并给出明确结论:视频生成模型可以记忆训练案例,验证但暂时还无法真正理解物理规律,模明做到“举一反三”。型到系统性实
图灵奖得主、底懂Meta首席AI科学家杨立昆点赞并转发了该研究,不懂表示“结论不令人意外,物理完成但很高兴终于有人做了这个尝试!字节”
自OpenAI发布Sora模型以来,验证很多视频生成模型都会强调其生成结果对物理规律的模明遵循。豆包大模型视觉团队相关小组,对视频生成模型究竟能否从视觉数据中“发现”并“理解”物理定律感到好奇,决定深入研究。
历时8个月,该团队完成了业界首个系统性的实验研究。团队通过专门开发的物理引擎合成了匀速直接运动、小球碰撞、抛物线运动等经典物理场景的运动视频,用于训练基于主流DiT架构的视频生成模型。然后,通过检验模型后续生成的视频在运动和碰撞方面是否符合力学定律,判断模型是否真正理解了物理规律,并具有“世界模型”的潜力。
实验中设计的不同运动场景
豆包大模型团队的实验发现,即使遵循“Scaling Law”增大模型参数规模和数据量,模型依然无法抽象出一般物理规则,做到真正“理解”。
以最简单的匀速直线运动为例,当模型学习了不同速度下小球保持匀速直线运动的训练数据后,给定初始几帧,要求模型生成小球在训练集速度区间内匀速直线运动的视频,随着模型参数和训练数据量的增加,生成的视频逐渐更符合物理规律。
然而,当要求模型生成未曾见过的速度区间(即超出训练数据范围)的运动视频时,模型突然不再遵循物理规律,并且无论如何增加模型参数或训练数据,生成的结果都没有显著改进。这表明,视频生成模型无法真正理解物理规律,也无法将这些规律泛化应用到全新的场景中。
通过进一步的实验分析,研究团队得出结论,“生成新视频时,模型主要依赖对训练案例的记忆和匹配。视频生成模型就像一个只会‘抄作业’的学生,一旦遇到从未见过的场景,如不同大小、速度的物体相互作用,就会‘犯迷糊’,生成结果与物理规则不符。”
不过,研究中也有一个好消息:如果训练视频中所有概念和物体都是模型已熟悉的,此时加大训练视频的复杂度,比如组合增加物体间的物理交互,通过加大训练数据,模型对物理规律的遵循将越来越好。这一结果可为视频生成模型继续提升表现提供启发。
据了解,本研究两位核心一作都非常年轻,一位是95后,一位是00后,在豆包大模型团队专注视觉领域的基础研究工作。作者们一直对世界模型感兴趣,在8个月的探索中,他们阅读了大量物理学研究文献,也尝试从游戏中获得研发灵感,历经多次失败后,最终一步步确定研究思路和实验方法。
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
7
-
浏览
817
-
获赞
243
热门推荐
-
国足胜越南摆脱小组垫底尴尬 国际足联排名拿到10.35积分
国足胜越南摆脱小组垫底尴尬 国际足联排名拿到10.35积分_中国队www.ty42.com 日期:2021-10-08 22:01:00| 评论(已有305959条评论)山东空管分局管制运行部举办2023年度第二次应急演练
中国民用航空网通讯员高勇报道:为提高管制员应急处置能力,完善应急处置流程,山东空管分局管制运行部于近期开展2023年度第二次应急演练。管制运行部针对济南机场工作区搬迁、机场改扩建施工诱发的设备运行风险昆明航空在“民航好声音·才艺”第五季大赛中斩获最高奖项
11月中旬,由全国民航团委主办的“民航青年好声音·才艺”第五季)大赛复赛、决赛在广州举行。比赛现场及颁奖典礼经过激烈的选拔角逐,昆明航空幕登堂乐队从全国参赛的队伍宁夏空管分局气象台预报室开展民航气象信息共享与服务系统试运行工作
根据西北空管局和宁夏分局的工作安排,为了验证“民航气象信息共享与服务系统”运行的流畅和稳定性,气象台预报室于2023年11月1日00时UTC)开展为期两个月的试运行工作。 &瑜之美运动用品有限公司(瑜美国际简介)
瑜之美运动用品有限公司(瑜美国际简介)来源:时尚服装网阅读:1694iFresh博览亚果会38毫米差不多相当于一个砂糖橘的直径,山竹也差不多.38mm便是8厘米。毫米millimeter),又称公厘或阿拉尔机场开展残损航空器搬移设备操作专项培训
中国民用航空网通讯员赵勇 张宏久讯:为进一步提高阿拉尔机场应急救援保障水平,提高保障人员应急救援能力。近日,阿拉尔机场组织开展残损航空器搬移设备操作专项培训。 培训以现场实操的方式开展,首先2023年新疆民航安检职业技能竞赛决赛将在乌鲁木齐国际机场举办
中国民用航空网 通讯员 俞国瑞 李鑫讯:为学习贯彻落实党的二十大精神,贯彻落实中国工会十八大精神,进一步推动产业工人队伍改革,为全面提高技能人才队伍素质,提升新疆民航安检业务技能水平,在民航高质量发展西安区域管制中心:提高安全意识 筑牢安全防线
近日,西安区域管制中心开展提升安全意识安全教育会,全体组员悉数到场,参加了会议。主持人首先分析了近期的安全形势,随着航班换季,航班量开始逐渐回落,安全压力有所下降,现阶段工作的重点是进一步落实&ldq辽宁:省市区12315部门三级联动 优化市场服务环境
中国消费者报沈阳讯(记者王文郁)9月9日,《中国消费者报》记者从辽宁省市场监管局了解到,辽宁省市场监管事务服务中心投诉举报中心近日会同沈阳市市场监管投诉举报中心、浑南区市场监管局召开专题座谈会议,就O克拉玛依古海机场开展冬季除冰雪培训
通讯员:韩张清)为做好冬季复杂天气运行保障工作,确保岁末年初特殊时段机场冬季航班运行安全,近日,克拉玛依古海机场为加强冬季飞行运行安全的要求,组织员工开展了冬季除冰雪培训。 培训采取线上进行,内探寻“海丝”记忆 感受一城文脉——“文化拾遗 魅力泉州”网络主题宣传活动媒体行纪实
探寻“海丝”记忆 感受一城文脉——“文化拾遗 魅力泉州”网络主题宣传活动媒体行纪实2021年7月25日,随着第44届世界遗产大会的那一声落锤,“泉州:宋元中国的世界海洋商贸中心”列入《世界遗产名录》。大雾橙色预警:贵州湖南江西等地部分地区有能见度不足50米的特强浓雾
央视网消息:中央气象台2月10日06时发布大雾橙色预警。预计, 山东西部、江苏北部、河南南部、浙江中西部、安徽南部、江西大部、福建西部、湖南大部 、贵州中北部、重庆大部、黑龙江西南部等地有大雾天气,其第三季度耳机线上传统电商平台:量额双高增
第三季度中国耳机线上传统电商平台销量为2990万副,同比增长26.8%;销额为51.6亿元,同比增长20.8%。11月13号消息,洛图科技公布了2024年第三季度,中国耳机线上传统电商平台不含拼抖快等厉兵秣马 分公司运管委开展冬季业务强化培训
通讯员 吴俊宏)为切实贯彻深化“三基建设”,加强人才培养,推进按章运行,按手册执行,打造一支高素质、高技能的运行指挥员团队,分公司运管委运行指挥中心于11月7日至10日开展为期供电安全 重中之重
(通讯员穆琦)供电安全是基础保障工作的重中之重,日常电源保障中要力争做到巡视检查全面、仔细,确保分局供电安全平稳运行。近日,山西空管分局技术保障部管制服务室利用科室讲评会组织全员学习了新疆空管局发布的