真实家庭长程任务
面向真实家庭场景和实际需求，构建多阶段、长时间跨度的复杂任务。提供第一视角数据、UMI等家庭场景数据，为探究多源数据对具身模型影响提供支撑。
HOUSEHOLD EMBODIED INTELLIGENCE / 2026
Benchmark PreviewJoyBench
家庭场景长程复杂任务
具身评测基准
围绕京东数千万小时具身数据采集项目，面向开放、动态、非结构化的真实家庭环境，系统评估机器人在跨房间任务中的感知、导航、决策、操作与泛化能力。
BENCHMARK SIGNATURES / 02
复杂物体泛化操作
覆盖铰接物体、柔性物体等复杂对象，支持多样化操作及跨物体、跨场景泛化。
自动化数据生产与评测管线
从任务解析、轨迹生成和数据生产，到结果校验与评测，形成可复现的自动化闭环。
01 — FROM MOTION TO MEANING
SCROLL
DEMO / 01
餐桌布设
Locate → Arrange → Verify
DEMO / 02
餐后清理
Collect → Navigate → Store
DEMO / 03
冰箱补货
Inspect → Restock → Verify
DEMO / 04
微波炉加热与配送
Retrieve → Heat → Deliver
DEMO / 05
咖啡/饮水服务
Navigate → Brew → Serve
五个任务演示均以 2 倍速呈现。点击任一视频可打开播放器并拖动进度。
FROM ACTIONS TO TASKS / 04
评测体系-从单点动作，
到完整家庭任务
从“找到杯子”到“把它安全放入洗碗机”，机器人必须连续处理目标未知、空间切换、物理接触和环境状态变化。这个基准，把这种真实复杂性带回评测中心。
JoyBench 以清晰的能力边界组织从原子操作到综合执行的任务谱系，让每一次失败都能被准确定位，而不是被一个总分掩盖。
基础动作技能组合空间理解主动搜索综合执行
原子操作
一次规划或纯控制即可完成
长程操作
多目标、多约束、多段执行
指令导航
理解语言并到达语义位置
寻物导航
目标未知下的主动搜索定位
操作 + 导航
跨房间、多目标、状态连续变化
SCENES × TASKS / 05
四类家庭场景，二十项具体任务
每类场景对应明确的能力特点与五项任务设定，从餐桌布设、全屋整理到安全巡检和康复辅助，直接呈现 JoyBench 具体评什么。
| 场景类别 | 场景特点 | 任务设定 |
|---|---|---|
|
01
 餐饮备餐类 |
场景特点
|
任务设定
|
|
02
 整理家务类 |
场景特点
|
任务设定
|
|
03
 环境维护安全类 |
场景特点
|
任务设定
|
|
04
 高级交互与康复辅助 |
场景特点
|
任务设定
|
JOYBENCH TASK GALLERY
我们的任务示例
当前组合暂无任务
减少一个任务特点，即可查看更宽的任务范围。
BENCHMARK LANDSCAPE / 06
业内具身评测工作对比
基于具身评测业内作品，JoyBench首创高保真具身家庭场景长程、多源数据评测集，助力具身智能落地
| 工作 | 主要关注点 | 场景资产生产 | 任务生产 | 轨迹生产 | 质量控制 | 任务组合泛化 | Sim2Real | 评测方法 | 长程任务 | 核心特点 | 主要不足 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 01RoboCasa | 厨房操作数据扩增 | 程序化组合布局、风格、设施与物体 | 25 个原子任务；75 个复合任务由 LLM 辅助设计、人工实现 | 人工种子演示 + MimicGen 对象中心轨迹迁移 | 人工分段 + 成功判定拒绝采样 | 复合任务丰富，但训练仍以原子任务为主 | 少量真实任务验证仿真数据增益 | 新场景、新物体和真实任务上的成功率 | 典型复合任务约 6 个技能，整体成功率较低 | 少量人工演示扩增为大规模多场景数据 | 人工分段依赖强；轨迹质量不稳定；领域单一 |
| 02RoboCasa365 | 大规模预训练与复合任务 | 2,500 个预训练场景 + 独立目标场景；3,200 多个物体 | 65 个原子任务 + 300 个复合任务 | 人工演示 + 60 万条 MimicGen 扩增轨迹 | 成功条件筛选 + 任务和场景元数据管理 | 区分原子、已见复合和未见复合任务 | 仿真预训练 + 少量真实数据微调 | 50 个目标任务成功率与数据、场景消融 | 最长约 16 个子任务；最大 7,200 步 | 场景、任务、资产和轨迹联合规模化 | 二元评测为主；长程任务性能低；仍局限厨房 |
| 03EBench | 通用移动操作能力诊断 | 人工配置场景；训练和测试资产池隔离 | 26 个任务，覆盖 5 类能力和 4 类分布偏移 | 遥操作 + 关键帧 + cuRobo 规划 + 随机化重渲染 | 碰撞约束、平滑规划和阶段 evaluator | 侧重固定任务内的技能组合诊断 | 非主要研究内容 | 成功率 + 阶段进度分数 + 保持率 | 最大 5,000 步；覆盖移动和精细操作长任务 | 定位模型在哪个技能和执行阶段失败 | 数据规模有限；任务和 evaluator 人工依赖较强 |
| 04RoboColiseum | 在线隐藏评测 | 服务端隐藏场景与资产 | 78 个隐藏任务；指令、空间、鲁棒性和操作四类榜单 | 不负责核心轨迹生产；提供部分标准数据与 checkpoint | 统一服务器、环境和 evaluator | 通过隐藏任务测试组合泛化，具体划分不公开 | 非公开排行榜重点 | 四类独立排行榜 + 远程统一执行 | 完整任务长度不公开 | 将机器人评测服务化并隔离隐藏测试集 | 服务端不可审计；任务和评分细节不透明 |
| 05JoyBench当前基准 | 家庭场景评测与大规模优质数据生成 | 自动化管线，多样化生成 | 20 种任务类型，覆盖完整家庭场景 | 自动化管线任务搭建；求解算法生成多样轨迹 | 任务目标检测保障操作合理、算法求解保证轨迹正确 | 复合任务丰富，覆盖原子任务、单房间任务、长程任务 | 配合真机数据和真机评测 | 导航、操作多维测评 | 超长程任务，按照真实生活场景定义，超过 30+ action 序列 | 真实家庭长程任务 + 复杂物体上的泛化操作 + 自动化数据生产与评测管线 | 文档未列出 |
CAPABILITY VIDEO MATRIX
任务对比示例
对比维度
Benchmark
01原子动作ATOMIC ACTION
02长程任务LONG-HORIZON TASK
03铰接物体操作ARTICULATED OBJECT
01 / 05RoboCasaRC
02 / 05RoboCasa365R365
03 / 05EBenchEB
04 / 05RoboColiseumRCL
05 / 05JoyBench当前基准