生成对抗网络 (GAN) 是一种行之有效的 AI 方法来创建图像，无论是逼真的图片还是抽象的拼贴画。然而，迄今为止，这些模型有一个重要的局限性：它们通常只能生成与训练数据集密切相关的物体或场景的图像。
例如，在汽车图像上训练的传统 GAN 在被要求生成其他汽车图像时显示出令人印象深刻的结果，但如果被要求生成汽车数据集之外的鲜花或其他物体的图像，则可能会失败。
Facebook AI 使用 Instance-Conditioned GAN (IC-GAN) 在解决这个问题方面取得了长足进步. 与以前的方法不同，IC-GAN 可以生成逼真的、不可预见的图像组合，例如被雪包围的骆驼或城市中的斑马。Facebook的方法展示了跨不同类型对象的卓越传输能力。研究人员可以将现成的 IC-GAN 与以前看不见的数据集一起使用，并且仍然生成逼真的图像，而无需标记数据。
凭借这些新功能，IC-GAN 可用于创建新的视觉示例，以扩充数据集以包含不同的对象和场景；为艺术家和创作者提供更广泛、更有创意的 AI 生成内容；并推进高质量图像生成的研究。
训练和使用 IC-GAN
称为类条件 GAN 的标准方法专注于对类标签进行调节，有效地将数据划分为与这些标签相对应的组。这使他们能够生成比无条件样本更高质量的样本。这些 GAN 不仅能够创建随机图像，还能够创建适合特定标签的图像，例如“衣服”或“汽车”。然而，它们依赖于可能无法获得或无法获得的标记数据。
以前的无标签学习方法（不使用标签数据）用于图像生成一直很有前景，但在训练对复杂数据集（如 ImageNet）进行建模时，它们的输出质量通常很差。它们要么使用粗糙的、不重叠的数据分区（导致非常大的集群，每个集群包含非常不同对象的图像，因此在语义上不会与模型试图创建的图片相似）。或者他们使用精细的分区，这些分区往往会使结果恶化，因为集群包含的数据点太少。
Facebook的新方法 IC-GAN 可用于标记和未标记的数据集。它扩展了 GAN 框架以对本地和重叠数据集群的混合进行建模。它可以获取单个图像（或“实例”），然后生成与数据集中该实例的最近邻居相似的图像。Facebook使用邻居作为判别器的输入，强制生成器创建与每个实例的邻居样本相似的样本。这避免了将数据划分为小集群的问题，因为如此多的数据是重叠的，因此模型可以更有效地使用数据集。
一旦模型经过训练，Facebook就会在它从未见过的图像上对其进行测试。使用单个图像，该模型可以生成与数据集中最近的邻居相似的视觉丰富的图像。
IC-GAN 使用左侧的实例生成右侧显示的相应图像。在这种情况下，没有提供类标签。
对于这类条件设置（其中训练集包括标记图像）和根本没有标签的情况，IC-GAN 可以转移到训练期间看不到的其他数据集。在 IC-GAN 的情况下，Facebook通过在推理时交换条件的实例来做到这一点。在类条件 IC-GAN 的情况下，Facebook可以交换实例条件或类标签。通过适当地组合实例和类标签，类条件 IC-GAN 可以创建异常场景，这些场景要么不存在，要么在当前数据集中非常罕见。例如，给定一个被雪包围的扫雪机图像和一个没有出现在实例条件化中的类标签“骆驼”，Facebook可以生成被雪包围的骆驼，绕过骆驼只生活在沙漠中的偏见。
当以左侧显示的图像和类别标签为条件时，IC-GAN 生成右侧显示的图像。
IC-GAN 可用于扩充数据并包含训练数据中不常见的项目或对象。此外，由于它适用于不同的领域，Facebook的方法可以为对象识别模型生成更多样化的训练数据。例如，传统的 GAN 模型无法生成站在城市地区的斑马图像，因为它的训练数据可能只包含草原斑马的图像。IC-GAN 模型可用于扩充数据并包含标准数据集中不常见的项目或对象。Facebook已经证明Facebook可以使用受控语义来生成不寻常的图像组合，例如沙子里的奶牛。
未来，Facebook希望探索为这个模型带来更多控制的方法。它不再只是关于背景和中心的物体。Facebook想探索如何在背景中放置更多对象并确定放置项目的位置，从而创建复杂、完美的场景。
IC-GAN 能够使用此处显示的房屋图形来创建如下所示的更逼真的建筑物。
通过将Facebook的预训练模型以及用于重现论文结果的代码发布到开源社区，Facebook希望这项研究将导致 AI 模型能够比以往任何时候都更加灵活、准确和高效地生成图像。
1817
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
