Candies AI · Computer Vision
统一骨干4D 时空生成式视觉隐私友好分析
Candies Vision
统一视觉基础模型 · 4D 感知 · 生成式世界建模
Candies CV 以单一骨干贯通检测、分割、生成与时空推理，在 COCO、nuScenes 与工业 AOI 基准上全面超越 OpenVision 与行业专用方案，支撑自动驾驶、医疗影像、卫星遥感和生成式视觉产线。
核心指标
0
FPS 边缘
0
mAP 开放词汇
0
实时流
0
任务头
Perception
感知技术栈
从相机/LiDAR 标定到漏检率、NDS 与 FPS 业务指标，一条感知栈覆盖训练、编译、OTA 与回归门禁。
Candies Vision 将传感器标定、2D/3D 感知、多目标跟踪与生成式编辑编译为同一特征缓存图：检测、分割、深度与生成模块共享前向，避免产线与车队为每道工序维护独立模型。标注主动学习与合成数据管线直接接入训练控制台，难例 48h 内闭环。
检测与全景分割
Mask2Former 风格统一头输出实例/全景 mask，开放词汇提示驱动新品类。工业 AOI 与医疗 ROI 共用骨干，漏检率与敏感度指标写入同一模型卡片。
跟踪与 BEV 时空融合
ReID 嵌入 + 运动模型应对遮挡；LiDAR—相机 lift 至 BEV 占用栅格，时序记忆处理城区 NOA 难例。影子车采集触发自动标注与发布列车回归。
生成式编辑与合规
扩散 inpainting 与业务规则 DSL 联动，previz 与营销素材可加水印与版权策略。生成构建未过安全回归则阻断上线，与检测任务共享调度器降低算力开销。
Capabilities
核心能力矩阵
统一视觉骨干
Candy-ViT 贯通检测、分割、深度、BEV 与生成，12 个任务头共享 Patch 编码与 4D 时空记忆。多任务切换小于 1 秒，COCO mAP 公开摘要 67.8，避免为每个场景单独训练骨干。
开放词汇检测
文本提示驱动框选，零样本迁移到新类目与包装变体。开放词汇 AP 49.1，提示词与策略版本写入模型卡片，产线换型无需重训全量权重。
视频理解
时空注意力与轨迹关联，长视频分钟级事件摘要。4D 体素缓存支撑安防巡检与自动驾驶连续感知，视频动作 mAP 公开摘要 81.3%。
生成式编辑
结构保持扩散 inpainting 服务工业瑕疵修复与影视 previz。生成 FID 4.1，品牌合规滤镜与溯源水印一体化，未过回归的构建阻断发布。
3D 感知
多视图立体与 LiDAR—相机 BEV 融合，车载与机器人共用占用网络。nuScenes NDS 0.742，标定自动化缩短量产导入周期。
边缘部署
INT8/FP8 编译器面向 Orin 与工业 NPU，检测+跟踪 FPS 142。边缘延迟 16 ms，OTA 与热切换策略写入车规/产线运维手册。
Architecture
统一视觉骨干
Patch 编码、世界模型记忆与多任务头在同一表征空间分支：2D 检测、3D BEV、视频理解与生成式编辑共用权重注册表，训练与边缘编译指标绑定同一张模型卡片。
时空记忆
4D 体素缓存融合历史帧，应对遮挡、夜间低照与长视频事件链。自动驾驶城区 NOA 与安防巡检共用记忆模块，减少重复前向算力。
多任务头
检测、全景分割、深度、BEV 占用与生成头并行挂载；开放词汇提示驱动新品类。任务切换小于 1 秒，适合产线多 SKU 与车队多场景配置。
边缘编译
INT8/FP8 一键下发 Orin、产线 NPU 与遥感地面站。Orin FPS 142，产线漏检率 0.008%；OTA 与影子回归门禁防止退化权重上车或上线。
Roadmap
技术路线图
Candies Vision 公开路线图：企业版 GA、车规影子车闭环、医疗 SaMD 路径、遥感星座服务与边缘编译器落地节点。
- 产品化进行中2026-Q2
Candies Vision 企业版 GA
发布视觉训练控制台、批量推理 API 与边缘 OTA 通道，覆盖检测、分割、BEV、生成四类任务头。开放词汇检测与多任务切换小于 1 秒，配套 COCO/nuScenes 混合评测门禁与模型卡片审批流。
- 汽车进行中2026-Q3
车规功能安全与影子车闭环
完成 ISO 26262 ASIL-B 流程对接的感知软件包，影子车难例 48h 内入库并触发回归。与 Smart Mobility 栈共享 BEV 权重注册表，城区/高速场景指标统一仪表盘。
- 医疗进行中2026-Q1
医疗影像 SaMD 路径扩展
胸片与 CT 质控模块完成国内二类证延续，启动 FDA 510(k) 预提交沟通。DICOM SR 输出、访问审计与临床工单追溯满足三甲信息与伦理委员会抽检要求。
- 地球观测规划中2026-Q4
遥感星座实时推理服务
对接商业卫星星座下行链路，灾害、港口与碳汇图层分钟级更新。支持主权区域数据不出境的离线批处理与在线瓦片服务双模式。
- 边缘已完成2025-Q4
Orin / NPU 统一编译器 GA
INT8/FP8 混合精度编译器一键下发车端与产线，Orin 上检测+跟踪组合 FPS 142。产线换型热切换与 OTA 回滚策略纳入企业运维手册。
Comparison
行业对照
| 指标 | Candies | ViT-G | SAM 2 |
|---|---|---|---|
| COCO mAP | 58.2领先 | 52.1 | 51.4 |
| 开放词汇 AP | 49.1领先 | 38.2 | 40.0 |
| 视频动作 mAP | 81.3%领先 | 74.0% | 73.2% |
| 生成 FID | 12.4领先 | 18.9 | 17.2 |
| 3D 检测 NDS | 72.1领先 | 65.8 | 66.0 |
| 边缘延迟 | 16 ms领先 | 42 ms | 38 ms |
| 标注成本 | 0.35× | 1.0× | 0.9× |
| 多任务切换 | <1s | 重载 | 重载 |
Use cases
应用场景
物理世界感知
工业质检
在涡轮叶片、PCB 与汽车零部件等复杂反光表面上检出微米级划痕、气泡与异物。多光谱与结构光融合抑制假阳性，漏检率公开摘要 0.008%；NG 样本自动回流标注闭环，产线换型后模型热切换小于 1 秒。
医疗影像
CT/MRI 三维器官分割、病灶边界勾画与随访量化分析嵌入 PACS 工作流。输出符合 DICOM SR 与院内术语体系，敏感区域访问审计；人机协同阅片工单记录医生采纳轨迹，满足三甲质控与纠纷溯源要求。
自动驾驶感知
LiDAR—多相机 BEV 占用网络统一城区 NOA 与高速领航，时序记忆模块处理遮挡与夜间低照。车端 Orin 上 INT8 编译后 FPS 公开摘要 142，OTA 数据闭环日增样本自动触发影子评测与回归门禁。
地球与商业智能
卫星遥感
灾害响应、港口吞吐与碳汇监测从轨道影像到可执行图层分钟级更新。多光谱时序融合抑制云层噪声，变化检测与目标计数结果可叠加 GIS 与应急指挥系统；支持主权区域数据驻留与离线批处理。
生成式视觉
文本驱动建筑、影视 previz 与营销素材生成，结构保持扩散与品牌合规滤镜联动。生成内容附带溯源水印与策略版本，未通过版权与内容安全回归的构建阻断发布；可与统一骨干共享表征降低训练成本。
零售分析
店内匿名客流热区与动线分析，零可识别面孔设计通过隐私影响评估。边缘 NPU 实时推理，总部仪表盘按区域聚合；与 Candies NLP 报表引擎联动生成自然语言运营摘要，无需导出原始视频。
Case studies
产业案例
智慧城市
超大城市数字孪生中枢
为直辖市部署交通、能源与安防视觉图层统一 CV 中枢：路口视频、无人机巡检与卫星切片在同一 BEV 语义地图上叠加，指挥大屏图层切换延迟低于 200ms。
- 之前
- 交通、安防、能源三套视觉系统割裂，事件跨部门协同平均 45 min
- 之后
- 统一 CV 中枢 + 权限分级视图，跨部门协同 8 min
- < 200ms 图层切换延迟
- 12k+ 覆盖路口
农业
精准农业无人机群
千亩级棉田株级健康 mesh 与施药处方图：多光谱航拍 + 地面巡检机器人共用 Candy-ViT 骨干，变量施药减少农药过量喷洒。
- 之前
- 人工巡田约 2 天/千亩，病虫害发现滞后
- 之后
- 无人机群 2 h/千亩完成巡检与处方图下发
- 31% 节水
- 12% 增产
汽车
城区 NOA 量产数据闭环
新势力车企城区领航：BEV 占用网络每周 OTA，影子车在真实路况采集难例并触发自动标注。MPI 从 800 km 提升至 4200 km，254 TOPS 车端算力包通过功能安全流程评审。
- 之前
- MPI 800 km，难例标注周期 14 天
- 之后
- MPI 4200 km，难例闭环 48 h 内入库
- 254 TOPS 车端算力
- 日增 8 PB 数据闭环
医疗
三甲全院 PACS 实时质控
华东三甲医院全院 PACS 接入：胸片、CT 层扫在归档前完成病灶提示与剂量异常检测，放射科工单系统记录采纳率。纠纷相关漏诊从年均 12 起降至 1 起。
- 之前
- 事后抽检约 5%，漏诊纠纷年均 12 起
- 之后
- 归档前实时质控，纠纷降至 1 起/年
- 97.8% 敏感度
- 40% 阅片提速
R&D pillars
研发优势
Candies Vision Stack · 统一视觉骨干
检测—分割—BEV—生成共享表征
Candy-ViT 骨干贯通 2D/3D/视频与生成任务，Mask2Former 风格统一头减少多模型维护成本。4D 体素时空记忆支撑自动驾驶与长视频理解，开放词汇检测以文本提示零样本迁移新品类。
67.8
COCO mAP
12
任务头数量
< 1s
多任务切换
100%
技术栈自主率
- Patch 编码 + 世界模型记忆，视频与 BEV 共用时空缓存
- 开放词汇检测 AP 49.1，新品类无需重训全量骨干
- 生成式编辑与检测共享扩散调度器，工业 inpainting 结构保持率提升 34%
Candies Train · 训练与边缘效率
MFU、FID 与车端 FPS 联合优化
万卡 3D 并行预训练 MFU 58%，生成 FID 4.1 较行业 SOTA 显著领先。推理编译器面向 Orin、工业 NPU 与卫星地面站三档硬件配置文件，同一模型卡片绑定训练与边缘指标。
58%
训练 MFU
4.1
生成 FID
142
Orin FPS
0.35×
标注成本
- 主动学习 + 合成数据管线，工业 AOI 标注人力降至 35%
- INT8/FP8 算子融合，边缘检测延迟 16 ms
- nuScenes NDS 0.742，LiDAR—相机 BEV 联合标定自动化
Candies SafeVision · 可信与隐私
车规、医疗与零售隐私一体
车规感知包对接 ISO 26262 流程；医疗模块输出 DICOM SR 与访问审计；零售热区分析零可识别面孔设计通过 PIA。生成内容水印与版权策略版本化，未过安全回归的模型构建阻断上线。
0.008%
工业漏检率
97.8%
医疗敏感度
已通过
零售 PIA
100%
生成水印覆盖
- 车规影子车难例 48h 闭环与功能安全文档自动生成
- 医疗人机协同工单，采纳率与纠纷样本回流红队集
- 匿名客流热区仅输出聚合统计，原始帧不出门店边缘盒
Model zoo
Candies 视觉模型矩阵
按模态与算力档位选型。
Candy-ViT-L
骨干
350M
多任务预训练骨干，支持开放词汇。
Candy-Det-X
检测
80M
实时检测，车载与安防双场景。
Candy-Seg-M
分割
120M
全景分割，医疗与工业 ROI。
Candy-Gen-XL
生成
1.2B
可控生成，品牌素材合规滤镜。
FAQ