毋庸写代码,测试机器学习模型不用写代码

原标题:无需写代码!谷歌生产机器学习模型解析神器,代号What-If

原标题:测试机器学习模型不用写代码!谷歌(Google)“what-if”工具轻松化解

铜灵 编写翻译整理

澳门线上真人赌场网址 1

前天,Google生产了已开源的TensorFlow可视化学工业具TensorBoard中一项新功效:What-If
Tool,用户可在不编写程序代码的状态下分析机器学习(ML)模型。

倒计时**8**天

不用写代码?

新智元将于五月3日在东方之珠国家会议宗旨举行AI WOEscortLD
2018世界人工智能高峰会议,MIT物理助教、今后生命研商所创办人、《生命3.0》作者MaxTegmark,将刊登解说《大家什么样行使AI,而不是被其防止》澳门网上赌搏网站 ,,斟酌怎样面对AI军事化和杀人民武装器的产出,欢迎到实地交流!

正确,只需为TensorFlow模型和数据集提供指针,What-If
Tool就能交到一个可用来探索模型结果的可彼此的视觉界面。

澳门线上真人赌场网址 2

来源:Google AI

250张人脸和在模型中检查和测试微笑后的结果

澳门网上正规赌博官网网站 ,编辑:大明

What-If
Tool里成效很多,包罗活动用Facets将数据集可视化,也有从数据汇总手动编辑示例并查阅更改效果的效应,仍是能够自动生成都部队分关系图,彰显模型预测随着单个特征的转移而改变的取向。

【新智元导读】谷歌(Google) AI推出“what-if
”工具,用户完全不要求编写制定代码就能分析机器学习模型。该工具提供交互式可视化界面,用户能够研讨并相比模型结果,能够长足地窥见模型中的错误。

可是,这还不是What-If Tool的全数实力。

创设便捷的机械学习连串,须求提议并消除许多题材。仅仅演练模型然后就放着不管是远远不够的。特出的机器学习从业者要像侦探一样,时刻检点探索怎么样更好地了解营造的模子:数据点的成形将对模型的预测结果导致怎么着震慑?同3个模子对两样的部落会有哪些不相同的显示?用来测试模型的数据集的二种化程度如何等等。

7大功能

要回答那个题材并不不难。要应对这个“假若”难题,平常要编制自定义的三回性代码来分析特定模型。这些进程不仅效用低下,再正是除了程序员,其余人很难参加创新机器学习模型的进程。

最新澳门赌博网站大全澳门线上真人赌场网址 ,What-If Tool首要有七大效劳,不知底有没有您必要的那一款:

Google AI
PAITiggo陈设的3个首要便是让更宽广的人群能够更便宜地对机械学习类别开展反省、评估和调剂。

成效一:可视化预计结果

后天,大家正式发表What-If工具,该工具是开源的TensorBoard
Web应用程序的一项新作用,它同意用户在不编写代码的情状下分析机器学习模型。
What-If工具给出了TensorFlow模型和数据集的指针,提供了1个交互式可视化界面,用于探索模型结果。

基于估算结果的不等,你的演示会被分为不一致的水彩,之后可用混淆矩阵和其余自定义格局实行处理,从差别特色的角度突显推测结果。

澳门线上真人赌场网址 3

澳门线上真人赌场网址 4

What-If工具呈现一组250张面部图片及其检查和测试微笑模型的结果

成效二:编辑1个数据点,看模型表现如何

What-If工具功效强大,能够选择Facets自动展现数据集,从数据集手动编辑示例并查阅更改的作用,还能够自动生成部分依赖图(partial
dependence
plots),呈现模型的预测结果随任何单个功用的变更而转变的气象。

您能够编制、添加或删除任何选定数据点的表征或特色值,然后运营猜测来测试模型质量,也可上传全新示例。

澳门线上真人赌场网址 5

澳门线上真人赌场网址 6

深究数据点上的What-if情景

意义三:发掘单个特征的意义

下边详细介绍What-If工具的多个职能。

能够用来商讨为当选数据点中的单个特征自动生成的图,显示特征使得值不相同时测度结果的浮动。

只需一键,自动比较数据点与模型预测最相似点

澳门线上真人赌场网址 7

用户只需单击一个按钮,就足以将数据点与模型预测分歧结果的最相似点举行比较。大家称这几个点为“Counterfactuals”,能够显示出预测模型的裁决边界。用户也得以手动编辑数据点,并追究模型预测的扭转。

效果四:探索反事实示例

在下边包车型大巴截图中,该工具用于二进制分类模型,该模型依据英国人口普遍检查数据集的国有人口普遍检查数据,预测壹人的年收入是还是不是当先5万澳元。那是机器学习商量职员利用的尺码预测职分,越发是在解析算法的公平性时。

轻轻地一点,你就能比较数据点与模型预测出分裂结果的最相似点。大家将那个点称为“反事实”(Counterfactuals),能够呈现出模型的仲裁边界。

在那种情景下,对于选定的数据点,模型预测该人年收入当先5万英镑的信度为73%。该工具自动定位数据集中最相似的人,模型预测其年收入低于5万台币,然后将选定数据点和与之最相似、但臆度结果反而的数据点举行并排比较。如下图所示,二者唯有在年纪和职业上存在微小的反差,但模型的推测结果早就完全相反了。

澳门线上真人赌场网址 8

澳门线上真人赌场网址 9

意义五:按相似度排列示例

对Counterfactuals的比较。多少人只有在年龄和生意上设有微小的差距,但模型的预测结果早就完全相反

用L1或L2距离从选定的数据点成立距离个性,并将其可视化进行越发分析。

模型品质和算法公平性分析

澳门线上真人赌场网址 10

用户还可以够商讨分裂分类阈值的震慑,同时考虑分裂数值公平性标准等自律原则。下图所示为微笑探测器模型的结果,该模型在开源CelebA数据集上磨炼,数据集是已标记的球星面部图像。

功效六:查看混淆矩阵和ROC曲线

下图所示数据集中的脸部图像依照头发是还是不是为铅白分开,五个图像中的每一组都成立一条ROC曲线和一个猜想结果的混淆矩阵,再安装一个置信度滑块,设定模型必须在跨越某一置信度时才能看清指标的脸部是微笑的。本例中,What-If工具自动安装两组的置信度阈值,以优化模型,落成机会均等。

对此富含描述真实标签性子的二分拣模型和示范,使用阈值、ROC曲线、数值混淆矩阵和资金财产比交互式地探索模型品质。

澳门线上真人赌场网址 11

澳门线上真人赌场网址 12

动用What-if工具对微笑检查和测试模型两局地数据的前瞻表现的可比,个中估计模型分类阈值设置满意“机会公平”

效用七:测试算法公平性限制

检查和测试错误分类、评估模型公平性、调查模型不一样数据集

对于二分类模型来说,这么些工具得以将你的数目集分成子数据集,继而探索分裂算法公平性约束(fairness
constraints)的震慑。

为了验证What-if工具的遵从,大家选拔预先磨练的模型发表了一组德姆o:

澳门线上真人赌场网址 13

检查和测试错误分类:多类分类模型,模型依照对植物的花的7遍观测来预测植物的连串。What-if工具有助于展现模型的决定边界,弄清导致错误分类的原故。

传送门

评估二元分类模型的公平性:地方提到的用于微笑表情检查和测试的图像分类模型。What-if工具有助于评估不一样子图像组的算法公平性。在该模型的磨炼中,有意没有提供来自特定人群的以身作则,指标是为着表现What-if工具如何能够揭穿模型中的那种偏向。对模型预测公平性的评估须求仔细考虑全部背景,可是What-if工具是叁个立竿见影的量化起源。

在谷歌(Google)官方博客上,商量职员还揭露了用预陶冶模型进行的一组演示,比如检查和测试错误分类的缘由,评估二元分类模型的公平性和调查研讨分歧子数据汇总模型的显示等。能够移动官方博客查看愈多,博客地址:

查证模型在不一致子群众体育中的表现:回归模型能够用来依照人口普遍检查消息预测受试者的年龄。What-if工具能显得出模型在差异子群众体育中的相对表现,以及差别风味怎么着独立影响预测结果。该模型使用葡萄牙人普数据集举行陶冶。

What-If工具的耳闻目睹应用

What-If Tool介绍主页:

大家将What-If工具在谷歌(Google)内部组织中开始展览了测试,该工具在测试中显现出了直接价值。有集体火速发现她们的模子错误地忽视了数据集的百分百特征,修复了原先未发现的代码错误。
还有团队应用该工具将模型示例按性质高到低排列出来,并发现表现不好的模子示例的周转格局。

我们希望谷歌内外的人们都来利用What-If工具,以更好地通晓机器学习模型,并发轫评估预测模型的公平性。
大家的代码是开源的,欢迎对该工具继续添砖加瓦。

—回来新浪,查看更加多

Github:

主编:

倒计时 8

归来博客园,查看更多

主编: