Nvidia开发了一种用于训练生成式对抗网络的新方法,可以少量资料训练AI

Nvidia开发了一种用于训练生成式对抗网络的新方法,有朝一日可以使该网络适用于更多类型的任务。在开始探究Nvidia的工作之前,先了解一下生成式对抗网络的运作原理会有所帮助。每个生成式对抗网络都由两个相互竞争的神经网络组成:生成网络(Generator)和鉴别网络(Discriminator)。

在两个对抗网络中,其中一个演算法的目标是建立新图像,另一个则会检查数以千计的样本图像。然后,它会使用这些数据来「指导」其对抗网络。为了创建始终如一的可信结果,传统生成式对抗网络需要5万到10万张左右的训练图像。如果数量太少,它们往往会遇到「过度拟合」(Overfitting)的问题。在这种情况下,鉴别网络没有足够的基础来有效地指导生成网络。

Nvidia开发了一种用于训练生成式对抗网络的新方法,可以少量资料训练AI

传统资料增强法会衍生GAN网络滥用「失真」的问题

过去,AI研究人员试图解决此问题的常见方法就是使用「资料增强法」(DataAugmentation)。再次以图像演算法为例,在没有太多材料可用的情况下,他们将尝试通过建立可用材料的「失真」副本来解决该问题。在这种情况下,失真可能意味着裁剪、旋转或翻转图像。这里的想法是网络绝不会看到完全相同的图像两次。

这种方法的问题在于,这将导致生成式对抗网络将学会模拟这些失真,而不是创建新的图像。NVIDIA新的「自适性鉴别增强技术」(AdaptiveDiscriminatorAugmentation,ADA)方法仍然会使用资料增强法,但会自适应地这么做。它不会在整个训练过程中让图像失真,而是有选择地并刚刚好地加以失真化,进而让生成式对抗网络避免过度拟合的问题。

NVIDIA方法的潜在结果可能比你想像的要有意义。训练AI编写新的纯文字冒险游戏很容易,因为演算法可使用的材料够多。但对于研究人员可以向生成式对抗网络寻求帮助的许多其他任务来说,情况并非如此。例如,精确地训练演算法以发现罕见的神经性脑部病变极其困难,这是因为它太罕见了。但是,通过NVIDIAADA方法训练的生成式对抗网络网络可以解决这样的问题。另外一个好处是,医生和研究人员可以更容易地分享他们的研究与发现,因为他们的工作是基于AI建立的图像,而不是真实世界里的病患。

微信扫码关注公众号获取最新消息

原创文章,作者:108黑科技,如若转载,请联系我们:thinkou@126.com 并注明出处:https://www.108hei.com/archives/2653

微信公众号