创建半现实合成多对象视频 Kubric

Apache-2.0
Python
跨平台
2022-03-24
白开水不加糖

Kubric 是一个数据生成管道,用于创建具有丰富注释的半现实合成多对象视频,例如实例分割掩码、深度图和光流。

动机和设计

我们需要更好的数据来训练和评估机器学习系统,尤其是在无监督多对象视频理解的背景下。当前系统在玩具数据集上成功,但在现实世界数据上失败。如果我们能够根据需要创建具有不同复杂性的合适数据集,则进展可能会大大加快。Kubric 主要建立在 pybullet(用于物理模拟)和 Blender(用于渲染)之上;但是,代码保持模块化以可能支持不同的渲染后端。

 

Requirements

  • 用于方便地生成视频数据的管道。
  • 物理模拟,用于自动生成多个对象之间的物理交互。
  • 很好地控制生成数据的复杂性,以便我们可以评估各个方面,例如对象和纹理的可变性。
  • 现实主义:理想情况下,能够跨越从 CLEVR 到 YouTube8 等真实视频的整个复杂范围。这显然是不可行的,但我们希望尽可能接近。
  • 访问有关场景中对象的丰富地面实况信息以进行评估(例如对象分割和属性)
  • 控制训练/测试拆分以评估组合性和系统泛化(例如在特征或对象的保留组合上)
加载中

暂无资讯

暂无问答

暂无博客

返回顶部
顶部