统一世界状态表征
Candies 将视觉、语言、音频、力矩与物理场编码汇入 4096 维共享 latent,配合时空记忆环实现跨场景状态迁移。对象—关系—事件图与动力学 latent 同仓存储,兄弟域 API 读写同一世界快照;未通过一致性门禁的构建阻断发布。
- latent 维
- 4096
- 模态对齐
- 98.7%
- 状态迁移
- <50ms
Candies AI · World Model
八大范式已落地128 步 rollout因果可验证 97%闭环 12ms
4096 维统一状态 · 128 步预测 · 因果可验证闭环
Candies 世界模型以感知—动力学—因果—规划—行动五层全栈,将多模态 latent、128 步 rollout 与 97% 可验证因果干预交付生产;与 LLM、CV、DL、RAG 等兄弟域同源 API,仿真保真 99.2%、智能体闭环 12ms。

0
预测步 rollout
0
仿真保真
0
因果可验证
0
智能体闭环
Paradigm catalog
从统一世界状态到智能体闭环,Candies 世界模型全范式均已生产落地。
Candies 将视觉、语言、音频、力矩与物理场编码汇入 4096 维共享 latent,配合时空记忆环实现跨场景状态迁移。对象—关系—事件图与动力学 latent 同仓存储,兄弟域 API 读写同一世界快照;未通过一致性门禁的构建阻断发布。
JEPA 式时空表征学习驱动视频/刚体/流体下一状态预测,公开 FVD 142、128 步 rollout 与私有长程集混合门禁。能量守恒与碰撞约束写入损失曲面,与 Candies DL 扩散/视频权重同源热更新;预测偏差超阈自动触发因果分支重标定。
结构化因果图(SCM)与 do-calculus 近似引擎支持干预、反事实分支与可验证 rollout;红队反事实集季度回归,可验证率 97%。事件溯源日志可回放每一次干预决策,金融/自动驾驶客户可导出审计 bundle 供合规抽检。
人形机器人、工业臂、数字孪生与游戏物理共用世界状态:触觉反馈环 12ms、抓取成功率 94%。仿真—实机域随机化一键切换,百万级并行 rollout 预验证场景后再上路;与 /ai/cv 感知编码、/ai/dl 物理先验权重互通。
在学到的世界中 MPC 与策略网络混合求解,Horizon 128 步内多目标(安全、能耗、任务完成)可配置权重。LLM 规划器通过世界状态 API 提交子目标并接收 rollout 反馈;长程任务分解成功率 89%,与 Candies LLM 函数调用轨道共用策略版本。
气象锋面、材料晶格与分子动力学在同一世界状态中耦合求解,国家级孪生案例 RMSE -41%。多物理场时间步自适应,与 Candies DL 科学栈共享预训练权重;1km 区域预报与材料试验联合调度,未达标构建阻断气象/材料双域发布。
物理约束扩散编辑生成可交互场景,一致性 99%、构建周期 -58%(游戏案例)。四阶段去噪 previz 与 DL 扩散栈权重互通,编辑操作写入事件溯源日志可撤销;NPC 行为与刚体/流体动力学在同一 rollout 中联合验证。
感知—预测—因果—规划—行动五层与 LLM、CV、DL、RAG 等七兄弟域 API 对齐,闭环延迟 12ms。ecosystem-bridge 列出同源出口;智能体轨迹、世界快照与评测 harness 共用租户仪表盘,PoC 72h 可部署仿真沙箱与基准报告。
Capabilities
Candies 世界模型将视觉、语言、音频、力矩与物理场汇入 4096 维共享 latent,时空记忆环支持跨场景状态迁移(<50ms)。对象—关系—事件图与动力学 latent 同仓存储,模态对齐率 98.7%;私有化部署、ACL 与全链路可观测纳入同一发布列车。
JEPA 式下一状态预测覆盖视频/刚体/流体,128 步 rollout、FVD 142、长程漂移 <3.2%。与 Candies DL 扩散/视频权重同源热更新;公开+私有评测门禁未达标则阻断发布,控制台可回放 latent 滚动。
SCM 干预与 do-calculus 近似,可验证率 97%、反事实集 12k+ 季度回归。事件溯源日志支持 fork/merge 与 SHA-256 审计 bundle;金融/出行合规抽检与红队场景共用 harness 口径。
人形、工业臂、孪生与游戏物理共用世界状态,成功率 94%、触觉闭环 12ms。百万级并行 rollout 预验证后上路,域随机化矩阵可编排;与 /ai/cv、/ai/dl 权重互通。
学到的世界中 MPC+策略网络混合,Horizon 128、任务成功率 89%、规划延迟 22ms。LLM 规划器经 API 提交子目标并接收 rollout 反馈,与 Candies LLM 函数调用策略版本锁定。
气象、材料、分子动力学三域耦合,国家级孪生 RMSE -41%。多物理时间步自适应,GPU 池弹性调度;与 Candies DL 科学预训练同源,未达标构建阻断双域发布。
Language coverage
Candies 世界模型以感知—动力学—语义—行动四层级组织多模态信息:各层 latent 在 4096 维共享空间中几何对齐,跨模态注意力路由可热更新。图谱可视化每一层 token 流与因果边,便于研发调试与业务验收;与兄弟域 tokenizer 版本锁定,避免口径分裂。
视觉 RGB-D、LiDAR 点云、文本指令、音频与六轴力矩原始编码,经模态专家塔汇入共享 latent;与 /ai/cv、/ai/speech 感知栈权重互通, ingest 延迟 P99 8ms。
RGB-D · LiDAR · 文本指令 · 六轴力矩
视频帧序列、刚体碰撞与 Navier-Stokes 流体近似在同一动力学核心滚动预测;128 步 rollout 内能量守恒偏差 <0.8%,FVD 142 纳入发布门禁。
视频帧 · 刚体碰撞 · 流体场
场景图刻画对象—关系—属性,因果图记录干预边与反事实分支;与 /ai/nlp 事件抽取与 /ai/rag 证据 grounding 同源 schema,语义层更新秒级同步至世界状态。
4D 场景图 · 因果干预图
关节空间控制、PLC 孪生信号、扩散式场景编辑与智能体工具调用统一经行动接口下发;闭环 12ms,失败 rollout 自动写入红队回归集。
关节轨迹 · PLC 孪生 · 扩散编辑 · Agent 工具

World state
滚动 KV 与 append-only 事件日志保证每一次干预可回放、可审计;世界快照版本与评测 harness 绑定,未过门禁的构建阻断上线。控制台可视化 latent 热力图与记忆命中率,研发与运维共用口径。

Candies 世界状态引擎以多模态编码塔、时空记忆环与事件溯源日志构成统一世界快照:4096 维 latent 支持 128 步预测与并行因果分支,读写 API 与七兄弟域同源。内存分层缓存(热/温/冷)按场景活跃度自动迁移,私有化部署可 air-gap 同集群交付。
视觉、语言、音频与物理场模态专家并行编码,Cross-Attention 汇入 4096 维共享 latent;与 Candies CV/NLP Tokenizer 版本锁定,模态 dropout 与域随机化可配置。
滚动 KV 缓存 128 步历史,环形缓冲区 O(1) 追加;跨 episode 长期记忆经向量检索召回,命中率 91.3%。热/温/冷分层按访问频率自动迁移,P99 读取 6ms。
每一次感知 ingest、干预与行动下发写入 append-only 日志,因果分支可 fork 与 merge;金融/出行客户可导出 SHA-256 链式审计 bundle,满足合规抽检。
REST/gRPC 与 LLM 函数调用双轨出口,LLM 规划器、RAG grounding 与 CV 4D 场景输入读写同一快照 ID;策略护栏与租户 ACL 在 API 层强制,违规调用 0。
Architecture

感知—动力学—因果—规划—行动五层架构透明可观测:各层 checkpoint 与评测指标在同一发布列车门禁,与 Candies AI 枢纽七兄弟域 API 对齐。私有化 Helm 可同集群部署世界状态引擎、仿真集群与 LLM 推理,避免「仿真一套、规划另一套」的口径分裂。
视觉/语言/动作/物理场统一 tokenizer 与模态专家塔,4096 维 latent 输出;与 /ai/cv、/ai/nlp、/ai/speech 权重互通,ingest P99 8ms,多租户命名空间硬隔离。
JEPA 式下一状态预测与 latent 滚动,128 步 horizon、FVD 142;视频/刚体/流体三通道并行,能量守恒约束写入损失,未达标构建阻断发布。
SCM 干预图与 do-calculus 近似,反事实分支可验证率 97%;红队集 12k+ 季度回归,干预决策写入事件溯源日志可回放审计。
MPC 与策略网络混合,Horizon 128 步内多目标可配;LLM 规划器经函数调用提交子目标,规划延迟 22ms,长程任务成功率 89%。
具身关节、孪生 PLC、扩散编辑与 Agent 工具调用统一出口,闭环 12ms;失败 rollout 自动采样进入红队集,与仿真实验室沙箱一键切换。
Simulation lab
仿真—实机域随机化、物理参数扰动与传感器噪声注入可编排为实验矩阵;与具身、科学、工业场景 profile 热切换,研发与业务共用 FVD、成功率与 RMSE 口径。未过门禁的构建自动阻断发布列车。

Candies 仿真实验室提供人形机器人、工厂数字孪生与分子动力学云共用仿真内核:同一世界状态 API 驱动三类沙箱,配置模板一键切换。百万级并行 rollout 批量评测与因果门禁同控制台验收,PoC 72h 可交付基准报告与场景回放包。
抓取、避障与双足平衡 rollout 128 步预验证,成功率 94%;触觉反馈环 12ms,实机部署前因果门禁筛除高风险轨迹,域随机化覆盖光照/摩擦/负载扰动。
产线 PLC 信号与产能模型接入同一世界状态,预测性维护预演 MTTR -52%;OEE 仿真与瓶颈分析可视化,与工业客户 MES 数据 CDC 同步分钟级生效。
材料晶格与蛋白势能面联合求解,RMSE -41%(气象材料耦合案例);GPU 池弹性调度,十亿原子级作业队列可观测,与 Candies DL 科学预训练权重同源。
并行 rollout 1M+/h,FVD/成功率/因果可验证率同一仪表盘门禁;红队场景自动采样,评测 harness 与线上 A/B 共用指标口径,未达标构建阻断上线。
Comparison
| 指标 | Candies | WorldDreamer | Genie 2 |
|---|---|---|---|
| 预测步数(horizon) | 128领先 | 32 | 48 |
| 仿真保真 FVD ↓ | 142领先 | 210 | 198 |
| 因果可验证率 | 97%领先 | 62% | 71% |
| 具身任务成功率 | 94%领先 | 78% | 81% |
| 智能体闭环延迟 | 12ms领先 | 45ms | 38ms |
| 多模态 latent 维 | 4096 | 2048 | 3072 |
| 科学耦合 RMSE 改善 | -41% | -12% | -18% |
R&D pillars

JEPA 时空 · 128 步 rollout
JEPA 式表征学习驱动视频/物理下一状态预测,公开 FVD 142、长程漂移 <3.2%。与 Candies DL 扩散/视频权重同源热更新,预测偏差超阈自动触发因果重标定;240+ 私有 rollout 集与红队场景纳入发布门禁。
142
FVD
128
预测步
<3.2%
长程漂移

可验证干预 · 97%
SCM 与 do-calculus 近似引擎支持干预、反事实分支与可验证 rollout;红队反事实集 12k+ 季度回归。事件溯源日志可导出审计 bundle,金融/自动驾驶客户合规抽检通过率 100%(案例摘要)。
97%
可验证率
18ms
干预延迟
12k+
反事实集

触觉闭环 · 12ms
人形、工业臂与数字孪生共用世界状态,抓取成功率 94%、触觉反馈环 12ms。仿真—实机域随机化矩阵可编排,百万级 rollout 预验证后上路;与 /ai/cv 4D 感知、/ai/dl 物理先验权重互通。
94%
成功率
12ms
闭环延迟
1M+/h
并行 rollout

气象材料 · RMSE -41%
气象锋面、材料晶格与分子动力学在同一世界状态耦合,国家级孪生 RMSE -41%。多物理时间步自适应,GPU 池弹性调度;与 Candies DL 科学栈共享预训练,1km 区域预报与材料试验联合调度。
-41%
RMSE 改善
3+
耦合域
1km/6h
预报时效

MPC+策略 · 12ms
在学到的世界中 MPC 与策略网络混合,闭环 12ms、长程任务成功率 89%。LLM 规划器经世界状态 API 提交子目标并接收 rollout 反馈;轨迹、快照与评测 harness 共用租户仪表盘,与 /ai/llm 策略版本锁定。
12ms
闭环延迟
89%
任务成功率
128
规划 Horizon

物理一致 · 99%
物理约束扩散编辑生成可交互场景,一致性 99%、游戏案例构建周期 -58%。四阶段 previz 与 DL 扩散栈权重互通,编辑操作可撤销回放;NPC 行为与刚体/流体在同一 rollout 联合验证。
99%
物理一致性
340ms
编辑延迟
-58%
构建周期
Ecosystem
世界模型与 Candies AI 七域同源 API,一键跳转继续探索。
Use cases

在学到的世界中完成 128 步长程抓取与避障 rollout,成功率 94% 后再部署实机。触觉—视觉—力矩三模态闭环 12ms,域随机化覆盖摩擦/负载扰动;与 Candies CV 4D 场景输入、DL 物理先验权重互通。

多臂共享世界状态,碰撞预测前置至规划层,OEE 案例 +18%。PLC 孪生信号分钟级 CDC 同步,预测性维护预演 MTTR -52%;失败轨迹自动进入红队回归集。

四阶段去噪 previz 与 Candies DL 扩散栈权重互通,物理一致性 99%。导演可交互编辑镜头与刚体/流体,编辑历史事件溯源可撤销;较传统 previz 周期 -58%。

气象锋面与材料晶格同一世界状态耦合,国家级孪生 RMSE -41%。1km 区域预报与材料试验联合调度,多物理时间步自适应;与 Candies DL 科学预训练同源。

城市级交通世界模型与信号协同优化,仿真预验证百万公里场景后上路。因果门禁筛除高风险策略,出行案例事故率 -67%;与自动驾驶感知栈共用 4D 场景图。

产线产能、瓶颈与预测性维护在同一世界状态预演,OEE 可视化与 MES CDC 同步。PLC 信号 ingest P99 8ms,维护工单与仿真结论可审计回放。

共享世界状态中任务分解与协商,长程成功率 89%。LLM 规划器经 API 提交子目标,轨迹按请求 ID 可审计;与 /ai/llm 函数调用、/ai/rag grounding 共用策略版本与水印。
Case studies

出行
Candies 世界模型在仿真中预验证百万公里长尾场景,因果门禁筛除高风险策略后再上路。路测成本 -52%,事故率 -67%;每一次干预与 rollout 写入事件溯源,监管抽查可导出 SHA-256 审计 bundle。

气象
1km 区域预报与材料晶格试验在同一世界状态联合调度,RMSE -41%。多物理耦合告别气象/材料模型割裂,GPU 池弹性支撑峰值算力;未达标构建阻断双域发布。

游戏
物理约束扩散编辑生成可交互关卡,NPC 行为与刚体/流体联合 rollout 验证。构建周期 -58%,物理一致性 99%;策划可在 previz 中实时编辑并撤销,编辑历史事件溯源可审计。
FAQ