网站首页 科技 > 正文
谷歌AI研究人员发布了两个衡量深度学习网络产生的音频和视频质量的新指标,即弗雷歇音频距离(FAD)和弗雷歇视频距离(FVD)。指标已被证明与质量的手动评估高度相关。
在最近的一篇博客文章中,软件工程师凯文基尔古尔(Kevin Kilgour)和托马斯安特辛纳(Thomas Unterthiner)描述了他们团队所做的工作,这些工作是基于以前对测量神经网络生成的图像质量的研究。这些团队展示了他们的新指示器如何分别检测添加到声音或视频中的噪音,以及如何通过手动评估声音或视频的质量来跟踪指示器。FAD是通过对失真音频样本对的序列进行排序来评估的,其选择与人类判断的相关性为0.39。通过对深度学习模型生成的视频对进行排序,对FVD进行了类似的评估。根据使用的生成标准,它与人类排名在60%到80%之间是一致的。
在某种程度上,深度学习模型的成功是由ImageNet等大规模高质量数据集的可用性驱动的。这些数据集也提供了可以用来评估模型的“基本事实”。深度学习在生成新图像中的最新流行应用提出了一个新问题:如何衡量输出质量?由于这些网络生成的图像或其他数据没有“基本事实”答案,因此无法应用信噪比或均方误差等通用指标。
由于目标是创建一个看起来或听起来真实的输出,人类评委可以对数据进行分级,但这既不可扩展也不客观。GAN的发明者提出的初始指数是初始分数(IS)。通过将预先训练的初始图像分类器应用于图像并计算结果统计来计算该指数。该度量“与训练和生成模型的目标密切相关”,并已被证明与人类对质量的判断高度相关。
但是,初始评分指标存在一些不足。特别是,它对所使用的底层初始模型的变化很敏感。Unterthiner等人在奥地利约翰尼斯开普勒大学的LIT人工智能实验室开发了弗雷歇起始距离。FID使用切口模型的隐藏层来计算输入图像的嵌入,而不是使用切口模型的分类输出。为一组生成的图像和一组真实世界(或基线)图像计算嵌入。将得到的数据集视为多元高斯分布生成的数据,利用弗雷谢特距离对两种分布进行比较。与IS相比,FID相对于IS的一个优点是,当图像中加入噪声时,FID会增加,而IS可能保持不变甚至会减少。
谷歌的新指标扩展了为生成的数据计算嵌入以及将统计数据与基准数据进行比较的思想。对于FAD,该团队使用VGGish来计算嵌入,而对于FVD,它使用充气的3D Convnet。为了验证这些指标的有效性,研究人员计算了通过向基线添加噪声而创建的数据集的指标值。预计随着噪音的增加,分数会增加,这确实会发生。该团队还将他们的测量结果与人类的评价进行了比较,发现了他们的测量结果与人类判断之间的相关性,他们的新测量结果比其他常用的测量结果更符合人类判断者的共识。
郑重声明:本文版权归原作者所有。转载文章只是为了传播更多的信息。如果作者信息标注有误,请第一时间联系我们修改或删除。谢谢你。
免责声明: 本文由用户上传,如有侵权请联系删除!
- 上一篇: 优步推出了一个名为柏拉图的对话式人工智能平台
- 下一篇: 谷歌宣布云AI平台管道Beta版发布
猜你喜欢:
- 2023-07-05 酸梅四物饮怎么做(酸梅饮料怎么做的)
- 2023-07-05 英雄联盟手游光明哨兵活动任务怎么做(英雄联盟手游光明哨兵活动任务怎么做视频)
- 2023-07-04 叠杯子教程玩法(叠杯子教程玩法6个)
- 2023-07-04 微信怎么直接向手机号转账(微信怎么直接向手机号转账了)
- 2023-07-04 如何学习蹲踞式跳远:[1]助跑与起跳(蹲踞式跳远助跑的动作要领)
- 2023-07-04 360安全浏览器和极速浏览器哪个好(360安全浏览器和360极速浏览器哪个更好)
- 2023-07-04 mac地址怎么查(mac地址怎么查命令)
- 2023-07-04 怎么在去哪儿网上订酒店?(网上订酒店在哪里)
最新文章:
- 2023-07-05 新倩女幽魂端游一条龙任务之大盗宝藏副本玩法(倩女大盗宝藏攻略)
- 2023-07-05 CDR怎么填充多种颜色渐变(cdr渐变色填充)
- 2023-07-05 页边距怎么设置(页边距怎么设置在哪里Word)
- 2023-07-05 win10兼容模式怎么设置在哪(win10兼容模式怎么设置在哪里)
- 2023-07-05 网易126邮箱如何设置黑名单?(网易邮箱126解除黑名单)
- 2023-07-05 英雄联盟手游凯南怎么出装(英雄联盟手游凯南怎么出装备)
- 2023-07-05 点点赚怎么答卷赚钱攻略(赚点答题技巧)
- 2023-07-05 自己做电脑系统最简单的方法!(自己做电脑系统最简单的方法是什么)
- 2023-07-05 快手放电影怎么放啊(快手放电影怎么放)
- 2023-07-05 QQ如何更换密保手机(qq如何更换密保手机号申诉不记得手机号了)
- 2023-07-05 win10默认安装路径在哪里设置如何修改安装路径(windows10修改默认安装路径)
- 2023-07-05 万网域名证书在哪里?怎么打印万网域名证书?(如何打印域名证书)
- 2023-07-05 原神神里绫人的圣遗物怎么获得(原神神里绫华平民圣遗物)
- 2023-07-05 微信转账0.01恶搞步骤(微信转账0.01恶搞文字)
- 2023-07-05 电子书营销技巧(电子书营销技巧与方法)
- 2023-07-05 2021重庆新高考怎样算状元(2021重庆新高考怎样算状元考生)