盘古大模型关键技术解读
自动驾驶与具身智能的发展依赖于世界模型和虚拟环境的构建,通过数字孪生和4D物理空间模拟真实世界规律以解决训练数据不足和安全性问题。盘古NLP大模型借助外部工具提升行业智能水平,而具身智能需融合3D空间理解、物理推理及行为预测能力,最终实现在高危场景中超越人类的目标。尽管发展曲折,但SFT训练链条和通用机器人愿景已展现潜力,预测大模型则致力于打破数据孤岛,通过原子级表达实现跨场景统一推演,推动AI向善与社会效率提升。
基础模型






世界模型













具身智能









预测大模型







参考资料
自动驾驶与具身智能的发展依赖于世界模型和虚拟环境的构建,通过数字孪生和4D物理空间模拟真实世界规律以解决训练数据不足和安全性问题。盘古NLP大模型借助外部工具提升行业智能水平,而具身智能需融合3D空间理解、物理推理及行为预测能力,最终实现在高危场景中超越人类的目标。尽管发展曲折,但SFT训练链条和通用机器人愿景已展现潜力,预测大模型则致力于打破数据孤岛,通过原子级表达实现跨场景统一推演,推动AI向善与社会效率提升。
基础模型






世界模型













具身智能









预测大模型







参考资料
本文档介绍了 RoboOS,一个用于跨本体具身大小脑协作的框架。它首先概述了具身智能体的现有技术路线及其局限性,例如:在长程任务规划和跨本体协作方面的不足。该框架通过 “具身大脑”(负责全局感知与决策)和 “具身小脑”(提供即插即用的技能库)实现多本体协作控制。文档还重点说明了共享记忆系统在空间和时间维度上的数据中心化,以及云端协同如何支持多机器人、多任务场景,并展示了自定义微调集以提高任务分解和执行的准确性。

















参考资料
本文档介绍了RoboBrain,一个由智源人工智能研究院开发的具身多模态大模型。它详细阐述了具身人工智能的发展趋势,并强调了大型模型在复杂长期操作任务中的重要性。文件中解释了任务规划、可操作区域感知和轨迹预测是RoboBrain实现端到端具身智能的关键能力。此外,它还介绍了用于训练RoboBrain的ShareRobot数据集,以及模型训练策略和实验结果,展示了RoboBrain在各项基准测试中超越现有模型的表现。






















参考资料
该幻灯片介绍了飞行机器人从物理智能到具身智能的演变。概述了飞行机器人的研究方向,包括在复杂环境下生成全状态轨迹、无人机动态环境感知与建模,以及全自主微型无人机集群。幻灯片还展示了如何通过创新方法克服关键挑战,例如优化在线轨迹生成和开发低延迟动态感知系统。最后,它描绘了飞行机器人技术未来的发展路径,强调了从数学驱动到数据驱动的转变,以实现更强大的具身智能和涌现智能。





















参考资料
本文档概述了 NVIDIA Isaac GROOT N1,一个专为具身人工智能(Physical AI)设计的人形机器人基础模型。该系统通过三个核心原则运作:泛化能力、双系统架构(结合高层认知与低层控制),以及一个涵盖现实世界数据、合成数据和网络数据的数据金字塔。 Isaac GROOT N1 利用大量训练数据来驱动人形机器人进行通用型操作,并通过 NVIDIA 的生态系统,包括 Omniverse 和 Isaac Lab 进行模拟与部署。推荐的的微调方法是:收集真实数据,也要生成对应比例的模拟数据。



Isaac GROOT Overview




Isaac GROOT N1 - Architecture











Isaac GROOT N1 - Data








Isaac GROOT N1 - Evaluation








Inference Benchmark




参考资料
本文档详细介绍了NVIDIA Jetson Thor,这是一款为下一代人形机器人设计的强大计算平台,其特点包括卓越的AI性能、高速传感器处理、行业领先的安全性和强大的安全性。此外,文档还介绍了NVIDIA Isaac ROS,一个利用CUDA加速库和AI模型加速机器人开发的软件框架,并提及了NITROS以优化ROS 2的硬件加速。最后,还展示了Jetson AGX Thor开发套件和未来产品路线图,强调了该技术在复杂机器人应用中的应用,例如自主机械臂和移动机器人。

Physical Al & Robotics








AGX Thor Product Overview









Isaac ROS for Robot Development






参考资料