哈佛大(学首创AI模型：让机器像人类一样记住看不见的物体运动,哈佛大学曾做过一个著名的实验

更新时间：2026-01-17 02:05 来源：牛马见闻

金观平：树立系统观念学好“弹钢琴”

“成为美国第52个州”？冰岛怒了

万斯在其回忆录中写自己青年时因兼职过多，劳累过度生病的经历,万斯做工

荷兰乌得勒支市中心建筑物爆炸起火至少一人受伤

在我云南老家乡下，83.3都未必能买到一只可以吃的土鸡，网上却能买到三只

�Flow Equivariant World Models�在FloWM中�实验结果显示�

这项由哈佛！大学Kempner研究所、加州大？学圣地亚哥分校和卡内基梅隆大学共同完成的研究发表于2025年，有兴趣深入了解的读者可以通过论文编号arXiv:2601.01075v1查询完整论文。 在我们的日常生活中，有一个看似简单却极其复杂的现象：当你转过身去，背后的世界依然在继续运动。比如你正在观察一只蝴蝶在花园中飞舞，突然有人叫你回头看别处，当你再次转回来时，那只蝴蝶已经飞到了另一个位置。你的大脑能够合理推测它可能的位置，因为你记住了它之前的飞行轨迹和速度。然而，让人工智能具备这样的能力，却是一个极其困难的挑战。 研究团队注意到，目前最先进的AI世界模型就像是患有严重健忘症的观察者。当它们看不到某个物体时，就会完全忘记那个物体的存在，甚至在重新看到时会产生全新的幻觉。这就好比你离开房间一分钟，回来后发现桌上的苹果不见了，却突然出现了一个橙子，而AI模型居然认为这很正常。 为了解决这个问题，研究团队开发了一种叫做"流等变世界模型"（Flow Equivariant World Models，简称FloWM）的新方法。这个名字听起来很复杂，但实际上可以用一个非常形象的比喻来理解：想象你的大脑是一张会动的地图，这张地图不仅能记录你看到的一切，还能根据物理规律自动更新你看不见地方发生的事情。当你向左转头时，地图会相应地向右移动；当你走路时，整张地图会跟着你的移动而调整。最神奇的是，即使某些区域暂时不在你的视野范围内，地图上的物体依然会按照它们应有的轨迹继续移动。 这项研究的创新之处在于，它首次将自身运动和外部物体运动统一在一个数学框架中处理。研究团队发现，无论是你自己的移动，还是环境中物体的移动，本质上都可以看作是同一类型的"流动"现象。就像水流一样，这些运动都遵循着可以预测的模式和规律。通过巧妙地利用这种数学对称性，AI模型能够以一种极其稳定和高效的方式维持对世界的记忆。 研究团队在两个不同复杂程度的环境中测试了他们的方法。第一个是相对简单的二维环境，类似于俯视桌面上移动的数字卡片；第二个是更复杂的三维环境，就像在一个房间里走动，观察彩色积木的运动。实验结果令人惊喜：FloWM不仅能够准确预测看不见区域的物体运动，而且这种预测能力可以持续数百个时间步长，远远超出了训练时的预期范围。 更令人印象深刻的是，这种方法的学习效率极高。传统方法需要大量的训练数据和时间才能勉强处理简单情况，而FloWM能够用少得多的训练就达到更好的效果。这就像是一个学生不需要死记硬背所有可能的情况，而是掌握了基本原理，就能举一反三地处理各种新情况。 一、传统AI视觉的盲点问题 要理解这项研究的意义，我们首先需要认识到当前AI视觉系统面临的一个根本性挑战。现在的AI模型在处理视频时，就像是一个只有短期记忆的观察者，它们只能基于当前能看到的几帧画面进行预测。 以自动驾驶汽车为例，当一辆车暂时被建筑物遮挡时，现有的AI系统往往会"忘记"这辆车的存在。当车辆重新出现在视野中时，AI可能会将其识别为一个全新的物体，甚至产生完全错误的预测，比如认为它会从一个不可能的位置出现。这种问题在现实世界中可能导致严重的后果。 传统的解决方案通常采用"滑动窗口"的方法，就像用一个移动的放大镜来观察世界。这种方法的问题在于，一旦某个物体离开了这个"窗口"，系统就会完全丢失对它的记忆。即使增大窗口尺寸，也只是延迟了问题的出现，并且会大大增加计算负担。 更糟糕的是，现有系统在处理观察者自身的运动时也存在困难。当摄像头转动或移动时，背景中的物体会发生复杂的位置变化。传统AI模型需要重新学习这些变化模式，就像每次换个角度看同一个房间，都要重新认识房间里的每件家具一样低效。 研究团队通过大量实验发现，即使是最先进的基于Transformer的视频生成模型，在面对这种"部分可观察的动态环境"时也会快速失效。它们生成的预测要么是静止不动的物体，要么是完全随机的运动，完全无法维持物理世界的连贯性。 二、流等变的数学魅力 FloWM的核心创新来自于一个深刻的数学洞察：自身运动和外部物体运动本质上都属于同一类数学结构，叫做"李群流"。这个概念听起来很抽象，但可以用一个简单的比喻来理解。 把运动想象成河水的流动。无论是你乘船在河上移动，还是河水中的树叶随水流漂移，这些都是不同形式的"流动"。虽然原因不同，但它们都遵循着相似的数学规律。更重要的是，这些不同的流动之间可以相互叠加和抵消，就像两股水流相遇时会形成新的流动模式。 在FloWM中，研究团队将这种数学结构应用到AI的记忆系统中。系统的"记忆地图"被设计成能够同时处理多种类型的流动。当观察者向右移动时，地图会向左流动以保持相对位置的正确性；同时，地图上的每个物体也会按照自己的运动轨迹继续流动。 这种设计的巧妙之处在于，不同类型的运动会自然地组合在一起。比如当你向前走的同时，一只鸟向左飞，那么从你的视角看，鸟的运动轨迹就是你的前进运动和鸟的飞行运动的数学组合。FloWM能够自动计算这种组合，无需额外的训练。 更令人惊奇的是，这种数学结构还具有"等变性"的特性。等变性意味着当输入发生某种变换时，输出也会发生相应的、可预测的变换。就像照镜子一样，当你向左移动时，镜像中的你会向右移动，这种对应关系是完全可预测的。在FloWM中，这种等变性保证了无论观察者如何移动，系统对世界的表示都会保持内在的一致性。 研究团队还发现，利用这种数学结构可以大大提高学习效率。传统方法需要学习所有可能的运动组合，而FloWM只需要学习基本的运动类型，然后通过数学运算自动处理它们的组合。这就像学会了加法和乘法的基本规则后，就能计算任意数字的运算，而不需要记忆每一个可能的算式结果。 三、双层记忆系统的精巧设计 FloWM的实现采用了一种非常精巧的双层记忆系统，这个系统可以比作一个拥有多个频道的智能电视。每个频道都记录着以特定速度移动的物体信息，而主控制器则负责根据观察者的移动来调节整个系统。 在这个比喻中，假设你有一台能够同时显示多个频道的特殊电视。第一个频道显示静止不动的物体，第二个频道显示向左移动的物体，第三个频道显示向右移动的物体，以此类推。每个频道都像一条传送带，按照固定的速度运行。这样，不同速度的物体会自动出现在相应的频道上。 当你自己开始移动时，整个电视系统会相应调整。如果你向右移动，那么所有频道的内容都会向左偏移，以补偿你的运动。同时，不同频道之间的信息会重新分配：原本在"向左移动"频道的物体可能会转移到"静止"频道，因为从你的新视角看，它们的相对运动速度发生了变化。 在实际的计算实现中，这个记忆系统被构造成一个多维的数据结构。空间维度负责记录物体的位置信息，速度维度负责区分不同的运动模式。当系统需要更新时，每个速度通道都会按照其对应的速度进行"流动"，就像多条平行的传送带同时运行。 系统的另一个巧妙设计是"读入"和"读出"机制。当新的观察信息到来时，系统会将其写入到记忆地图中观察者当前视野对应的区域。这就像在地图上更新你当前能看到的部分，而其他区域则继续按照之前记录的运动模式自动演化。 当需要生成预测时，系统会从记忆地图中读取对应区域的信息。关键在于，这个"对应区域"的位置是动态计算的，需要考虑观察者的移动和时间的流逝。就像你要在一张会动的地图上找到特定位置，需要同时考虑地图的移动和目标位置的变化。 研究团队在论文中详细描述了两种不同的实现方案。第一种是基于简单卷积网络的版本，适用于较为简单的二维环境；第二种是基于Vision Transformer的版本，能够处理更复杂的三维场景。尽管底层实现不同，但都遵循着相同的数学原理和系统架构。 四、实验验证与惊人表现 为了验证FloWM的有效性，研究团队设计了两套实验环境，从简单到复杂逐步测试系统的能力。这些实验就像是为AI系统设计的"视觉记忆力测试"。 第一个实验环境被称为"MNIST世界"，可以想象成一个桌面游戏。在一块黑色的桌布上，放置着几个不同颜色的数字卡片，每个卡片都以恒定的速度在桌面上移动。观察者（相当于AI的"眼睛"）只能看到桌面的一小部分，就像透过一个小窗口观察。观察者本身也在移动，有时候某些卡片会移出视野范围，有时候又会重新出现。 在这个看似简单的环境中，传统的AI模型很快就表现出了严重的问题。当一个数字卡片移出视野后，模型会完全"忘记"它的存在。当这个卡片重新出现时，模型经常会生成错误的位置预测，或者干脆凭空创造出新的卡片。有些模型甚至会让所有卡片逐渐消失，生成一片空白的黑色画面。 相比之下，FloWM在这个环境中表现得像一个拥有完美记忆的观察者。即使某个数字卡片离开视野长达150个时间步（远超过训练时的20个时间步），系统依然能够准确预测它重新出现时的位置。更令人印象深刻的是，系统对多个同时移动的卡片也能保持完美的追踪。 第二个实验环境更加复杂，被称为"3D动态积木世界"。可以想象你站在一个房间里，房间中散布着不同颜色的积木，这些积木以各自的速度在地面上滑动。当积木撞到墙壁时会反弹，改变运动方向。你可以在房间里转身、前进，但只能看到面前的一小部分区域。 这个环境对AI系统提出了更高的要求：不仅要记住物体的位置和运动，还要预测它们与环境的互动（比如撞墙反弹）。传统模型在这种情况下几乎完全失效，经常会生成物理上不可能的场景，比如积木突然凭空出现，或者穿墙而过。 FloWM在这个复杂环境中依然保持了出色的表现。系统能够准确预测积木的反弹轨迹，即使这些反弹发生在视野范围之外。当观察者转身回来时，积木们都出现在了正确的位置上，就像系统真的"看见"了整个房间的全貌。 研究团队还测试了系统的长期预测能力。结果显示，FloWM能够稳定地进行长达数百个时间步的预测，而训练时只使用了几十个时间步的数据。这种"泛化"能力表明，系统真正学会了物理世界的基本规律，而不是简单地记忆训练数据。 最令人惊喜的发现是学习效率的巨大提升。传统方法需要数百万个训练样本才能勉强处理简单情况，而FloWM只需要其中的一小部分就能达到更好的效果。这种效率提升主要来自于数学结构的合理利用，让系统能够从有限的数据中学到更一般性的规律。 五、技术创新的深层意义 FloWM的成功不仅仅是一个技术突破，它揭示了AI系统设计中一个更深层的问题：如何让机器真正理解和模拟物理世界的连续性。 传统的AI视觉系统更像是一系列静态照片的分析器，它们擅长识别单个画面中的内容，但难以理解画面之间的连续性和因果关系。这就像让一个人通过观看一系列不连续的快照来理解一部电影的情节，虽然可能猜对一些内容，但很难把握整体的逻辑脉络。 FloWM通过引入"流"的概念，为AI系统提供了一种理解时间和运动的新方式。在这个框架中，世界不再是一系列静态状态的序列，而是一个连续流动的动态系统。每个物体都有自己的"生命轨迹"，而观察者也是这个动态系统中的一个参与者。 这种认知方式的转变带来了多个重要的优势。首先是预测的稳定性。由于系统理解了运动的连续性，它的预测不会出现突然的跳跃或不连续性。其次是泛化能力的提升。通过学习基本的运动规律，系统能够处理训练时未曾见过的复杂情况。最后是计算效率的改善。利用数学结构的对称性，系统能够用更少的计算资源完成更复杂的任务。 从更宏观的角度来看，FloWM代表了AI研究中一个重要的方向转变：从纯粹的数据驱动方法转向结合物理原理和数学结构的方法。这种转变认识到，仅仅依靠大量数据和计算力是不够的，还需要将人类对世界的深层理解编码到AI系统的架构中。 研究团队特别强调了"等变性"这一概念的重要性。等变性不仅是一个数学性质，更反映了物理世界的基本对称性。比如，物理定律在任何位置和时间都是相同的，这就是一种对称性。通过在AI系统中体现这种对称性，FloWM能够更好地符合物理世界的运行规律。 这种设计哲学也为未来的AI系统发展指明了方向。与其盲目增加模型的规模和复杂度，不如深入理解要解决问题的本质结构，并将这种结构直接融入到系统设计中。这样不仅能够提高性能，还能增强系统的可解释性和可靠性。 六、现实应用的广阔前景 FloWM的成功为多个领域的应用开辟了新的可能性。最直接的应用是自动驾驶技术的改进。目前的自动驾驶系统在处理被遮挡的车辆、行人或其他障碍物时常常遇到困难。FloWM的记忆机制可以让系统更好地预测这些暂时看不见的物体的位置和运动趋势。 在机器人技术领域，FloWM可以帮助机器人更好地理解和预测动态环境。比如在工厂或仓库环境中，机器人需要与其他移动的机器人或人类工作人员协调工作。通过维持对整个工作环境的连续记忆，机器人可以做出更安全、更高效的决策。 虚拟现实和增强现实技术也将从FloWM中受益。这些技术需要实时地理解和预测用户的运动以及周围环境的变化。FloWM的高效记忆机制可以让VR/AR系统提供更流畅、更逼真的交互体验，即使在处理复杂的多物体场景时也能保持稳定的性能。 在视频游戏开发中，FloWM可能会革命性地改变NPC（非玩家角色）的行为模拟。传统的游戏AI通常只在玩家视野范围内才会更新NPC的状态，而在视野外的NPC往往处于"冻结"状态。FloWM可以让整个游戏世界真正"活"起来，所有角色和物体都会持续地按照物理规律运动，无论玩家是否在观察。 科学研究领域也可能从这项技术中获得帮助。在生物学、物理学、天文学等需要长期观察动态过程的学科中，FloWM可以帮助研究人员从有限的观察数据中推断出更完整的系统行为。比如在研究细胞运动、粒子轨迹或天体运行时，研究人员往往只能间歇性地进行观察，FloWM的预测能力可以填补观察间隙，提供更连续的数据。 视频制作和电影特效行业也是潜在的受益者。FloWM可以帮助自动生成逼真的物体运动，减少手工动画制作的工作量。更重要的是，由于系统基于物理规律进行预测，生成的动画会更加自然和逼真。 不过，研究团队也坦诚地指出了当前技术的一些局限性。FloWM目前主要适用于刚体运动（即物体形状不变的运动），对于更复杂的变形、流体运动或生物体的有机运动还需要进一步的研究。此外，系统目前需要预先知道可能的运动类型，这在某些复杂的现实场景中可能是一个限制。 七、与现有技术的深度对比 为了更好地理解FloWM的优势，研究团队进行了大量的对比实验。他们选择了当前最先进的几种视频生成和世界建模技术作为对照，包括基于扩散模型的视频生成器和配备长期记忆的变形器网络。 最主要的对比对象是"历史引导扩散强制"（History-Guided Diffusion Forcing）技术，这是目前业界公认的最先进的视频世界建模方法之一。这种技术的工作原理类似于一个拥有短期记忆的艺术家，它能够根据最近看到的几帧画面来绘制下一帧图像。虽然在处理静态或简单动态场景时表现不错，但在面对部分可观察的复杂动态环境时就显得力不从心。 实验结果显示，在简单的静态环境中，传统方法和FloWM的表现相近。但一旦引入物体运动和部分遮挡，差距就变得非常明显。传统方法生成的视频往往会出现物体突然消失、位置跳跃、或者凭空产生新物体等不符合物理规律的现象。而FloWM始终能够保持物理世界的连贯性和一致性。 研究团队还测试了另一种被称为"扩散强制状态空间模型"的混合技术。这种方法试图通过结合短期的注意力机制和长期的状态空间记忆来解决部分可观察性问题。虽然在某些指标上有所改善，但仍然无法与FloWM的表现相媲美。 特别有趣的是学习曲线的对比。传统方法通常需要很长时间的训练才能达到可接受的性能，而且随着环境复杂度的增加，所需的训练时间会急剧增长。相比之下，FloWM能够用少得多的训练数据快速收敛到优秀的性能水平。这种效率优势主要来自于其内置的物理结构，使得系统不需要从零开始学习基本的运动规律。 研究团队还进行了"消融实验"，即逐个移除FloWM的不同组件，以测试每个部分的贡献。结果显示，自运动等变性和外部运动建模这两个核心组件都是不可或缺的。移除任何一个组件都会导致性能的显著下降。更有趣的是，即使只保留其中一个组件，系统的表现仍然优于完全不考虑这些结构的传统方法。 在计算效率方面，FloWM虽然需要维护更复杂的记忆结构，但其总体计算量与现有的先进方法处在同一个数量级。考虑到其显著优越的预测质量，这种计算开销是完全值得的。而且，随着对系统的进一步优化，还有很大的效率提升空间。 八、理论基础的数学优美 FloWM的成功很大程度上归功于其坚实的数学理论基础。这个基础建立在李群理论和等变神经网络的最新进展之上，代表了数学理论与实际应用的完美结合。 李群理论是数学中研究连续对称性的分支，它为理解各种类型的运动和变换提供了统一的框架。在FloWM中，无论是观察者的移动还是物体的运动，都被视为李群中的元素。这种抽象化的好处是，不同类型的运动可以通过相同的数学运算进行组合和分解。 等变性的概念则保证了系统的预测具有内在的一致性。当输入发生某种变换时，等变系统的输出会发生相应的、可预测的变换。这种性质在物理系统中是自然存在的：如果你把整个实验装置平移一米，实验结果应该保持相同的相对关系。FloWM通过在神经网络架构中体现这种等变性，确保了预测结果的物理合理性。 研究团队在论文中提供了严格的数学证明，证明了他们的系统确实具有所声称的等变性质。这些证明虽然技术性很强，但对于确保系统的可靠性至关重要。它们保证了无论在什么情况下，系统的行为都是可预测和可控的。 "流"的概念是连接抽象数学理论和具体实现的桥梁。在数学上，流是由微分方程定义的连续变换族。在FloWM的实现中，这些流被离散化为具体的计算步骤，但仍然保持了连续情况下的重要性质。 研究团队还探讨了他们的方法与其他数学框架的关系。他们发现，一些早期的神经网络世界建模方法可以被视为FloWM的特殊情况，这为理解不同方法之间的联系和差异提供了新的视角。 值得注意的是，这种数学框架的通用性为未来的扩展提供了广阔的空间。虽然目前的实现主要关注刚体运动，但理论框架本身可以扩展到更复杂的变形、旋转、甚至是更抽象的变换类型。这种扩展性确保了FloWM不仅仅是解决当前问题的技术方案，而是具有长期发展潜力的理论框架。 九、未来发展的挑战与机遇 尽管FloWM在当前的实验中表现出色，但研究团队也清楚地认识到了未来发展面临的挑战和限制。这些挑战既是技术发展的障碍，也是未来研究的机遇。 当前系统的一个主要限制是它主要适用于相对简单的刚体运动。在现实世界中，许多物体的运动要复杂得多，比如动物的行走、液体的流动、布料的飘动等。这些运动涉及复杂的形变和非线性动力学，需要更复杂的数学框架来描述。研究团队正在探索将流等变性的概念扩展到这些更复杂的运动类型。 另一个挑战是如何处理离散的语义动作，比如"开门"、"拿起物体"等。这些动作不能简单地用连续的几何变换来描述，需要结合符号推理和几何建模。未来的研究需要探索如何将离散的语义知识与连续的几何运动统一在同一个框架中。 系统的可扩展性也是一个需要解决的问题。虽然当前的实现在实验环境中表现良好，但要应用到真实的大规模场景，还需要解决计算效率和存储空间的问题。研究团队正在探索稀疏更新、多尺度表示等技术来提高系统的可扩展性。 从技术实现的角度，当前的3D版本还没有实现完全的几何等变性。虽然系统在实践中学会了近似的等变行为，但理想的解决方案应该从架构层面保证精确的等变性。这需要开发新的等变神经网络架构，特别是能够处理3D几何的架构。 不过，这些挑战也带来了巨大的研究机遇。首先，将流等变性扩展到更复杂的物理现象将开启全新的应用领域。比如在医学成像中预测器官的变形，在气象学中预测天气系统的演化，在材料科学中模拟材料的力学行为等。 其次，与其他AI技术的结合也充满潜力。比如将FloWM与大语言模型结合，可能能够创造出既能理解语言指令又能准确预测物理世界变化的智能系统。这样的系统对于机器人技术、智能助手等应用具有重要意义。 研究团队还提到了与非生成式世界建模方法的结合前景。当前的FloWM主要关注视频生成，但其核心的记忆和预测机制也可以应用到其他类型的世界建模任务，比如强化学习中的环境建模、规划算法中的状态预测等。 从更宏观的角度来看，FloWM代表了AI研究中"结构化方法"的一个成功案例。这种方法强调将领域知识和数学原理直接编码到系统架构中，而不是完全依赖数据驱动的学习。这种研究思路的成功可能会影响AI领域的整体发展方向，推动更多研究关注结构化设计和理论驱动的方法。 说到底，FloWM的意义远远超出了技术本身。它展示了如何通过深入理解问题的本质结构，创造出既高效又可靠的AI系统。在一个越来越关注AI可解释性和可靠性的时代，这种研究思路为AI的未来发展指明了一个重要方向。通过继续沿着这条道路探索，我们有理由相信，未来的AI系统将能够更好地理解和预测我们生活的这个复杂而美妙的物理世界。 **Q&A** Q1：FloWM和传统AI视觉系统有什么根本区别？ A：传统AI视觉系统就像患有健忘症的观察者，只能基于当前看到的几帧画面进行预测，一旦物体离开视野就会完全忘记。而FloWM则像拥有一张会动的智能地图，能够记住并持续追踪看不见区域的物体运动，即使物体暂时消失，系统也能准确预测它们重新出现时的位置。 Q2：流等变世界模型的核心创新是什么？ A：核心创新在于将自身运动和外部物体运动统一在一个数学框架中处理，就像把不同的水流看作同一类型的"流动"现象。通过利用这种数学对称性，系统能够自动处理各种运动的组合，无需重新学习每一种可能的情况，大大提高了学习效率和预测稳定性。 Q3：FloWM技术有哪些实际应用前景？ A：FloWM在多个领域都有广阔应用前景，包括改进自动驾驶汽车对被遮挡物体的预测能力、让机器人更好地理解动态工作环境、提升VR/AR的交互体验、让游戏世界真正"活"起来，以及帮助科学研究中的长期观察和数据分析。目前主要适用于刚体运动，未来还将扩展到更复杂的物理现象。

编辑：迈克尔·J·伯格