机器学习的进步是模型带来的还是数据带来的?
模型和数据是 AI 系统的基础,这两个组件在模型的开发中扮演着重要的角色。
人工智能领域最权威的学者之一吴恩达曾提出「80% 的数据 + 20% 的模型 = 更好的机器学习」,他认为一个团队研究 80% 的工作应该放在数据准备上,数据质量是重要的,但很少有人在乎。如果更多地强调以数据为中心而不是以模型为中心,机器学习会发展的更快。
我们不禁会问,机器学习的进步是模型带来的还是数据带来的,目前还没有一个明确的答案。
在本文中,Android 开发者和机器学习爱好者 Harshil Patel 介绍了「机器学习:以数据为中心 VS 以模型为中心」,通过对比以确定两者中哪个更重要,此外,Patel 还介绍了如何使用以数据为中心的基础设施。
以数据为中心的方法 VS 以模型为中心的方法
以模型为中心的方法意味着需要通过实验来提高机器学习模型性能,这涉及模型架构的选择、训练过程。而在以模型为中心的方法中,你需要保持数据相同,通过改进代码和模型架构来提高性能。此外,对代码的改进是以模型为中心的根本目标。
目前,大多数 AI 应用都是以模型为中心的,其中一个可能的原因是学术研究非常重视 AI 领域。根据吴恩达的说法,AI 领域 90% 以上的研究论文都是以模型为中心的,因为我们很难创建大型数据集,使其成为公认的标准。因此,AI 社区认为以模型为中心的机器学习更有前景。研究者在专注于模型的同时,往往会忽略数据的重要性。
对于研究者而言,数据是每个决策过程的核心,以数据为中心的公司通过使用其运营产生的信息,可以获得更准确、更有条理、更透明的结果,从而可以帮助公司组织更顺利地运行。以数据为中心的方法涉及系统地改进、改进数据集,以提高 ML 应用程序的准确性,对数据进行处理是以数据为中心的中心目标。
数据驱动 VS 以数据为中心
许多人经常混淆「以数据为中心」和「数据驱动」这两个概念。数据驱动是一种从数据中收集、分析和提取见解的方法,它有时被称为「分析」。另一方面,以数据为中心的方法侧重于使用数据来定义应该首先创建的内容;而以数据为中心的架构指的是一个系统,其中数据是主要和永久的资产。数据驱动架构意味着通过利用大量数据来创建技术、技能和环境。
对于数据科学家和机器学习工程师来说,以模型为中心的方法似乎更受欢迎。这是因为从业者可以利用自身知识储备来解决特定问题。另一方面,没有人愿意花大量时间去标注数据。
然而,在当今的机器学习中,数据至关重要,但在 AI 发展中却经常被忽视和处理不当。由于数据错误,研究者可能花费大量时间进行查错。模型精度较低的根本原因可能不是来自模型本身,而是来自错误的数据集。
除了关注数据外,模型和代码也很重要。但研究者往往倾向于在关注模型的同时忽略数据的重要性。最好的方法是同时关注数据和模型的混合方法。根据应用程序的不同,研究者应该兼顾数据和模型。
以数据为中心的基础架构
以模型为中心的机器学习系统主要关注模型架构优化及其参数优化。
以模型为中心的 ML 应用程序
上图中描述的是以模型为中心的工作流适用于少数行业,如媒体、广告、医疗保健或制造业。但也可能面临如下挑战:
需要高级定制系统:不同于媒体和广告行业,许多企业无法使用单一的机器学习系统来检测其产品的生产故障。虽然媒体公司可以负担得起有一个完整的 ML 部门来处理优化问题,但需要多个 ML 解决方案的制造企业不能按照这样的模板进行实施;
大型数据集的重要性:在大多数情况下,公司没有大量数据可供使用。相反,他们经常被迫处理微小的数据集,如果他们的方法是以模型为中心的,那么这些数据集很容易产生令人失望的结果。
吴恩达曾在他的 AI 演讲中解释了他如何相信以数据为中心的 ML 更有价值,并倡导社区朝着以数据为中心的方向发展。他曾经举了一个「钢铁缺陷检测」的例子,其中以模型为中心的方法未能提高模型的准确率,而以数据为中心的方法将准确率提高了 16%。
以数据为中心的 ML 应用程序
在实施以数据为中心的架构时,可以将数据视为比应用程序和基础架构更耐用的基本资产。以数据为中心的 ML 使数据共享和移动变得简单。那么,在以数据为中心的机器学习到底涉及什么?在实现以数据为中心的方法时,我们应该考虑以下因素:
数据标签质量:当大量的图像被错误标记时,会出现意想不到的错误,因此需要提高数据标注质量;
数据增强:让有限的数据产生更多的数据,增加训练样本的数量以及多样性(噪声数据),提升模型稳健性;
特征工程:通过改变输入数据、先验知识或算法向模型添加特征,常被用于机器学习,以帮助提高预测模型的准确性;
数据版本控制:开发人员通过比较两个版本来跟踪错误并查看没有意义的内容,数据版本控制是维护数据中最不可或缺的步骤之一,它可以帮助研究者跟踪数据集的更改(添加和删除),版本控制使代码协作和数据集管理变得更加容易;
领域知识:在以数据为中心的方法中,领域知识非常有价值。领域专家通常可以检测到 ML 工程师、数据科学家和标注人员无法检测到的细微差异,ML 系统中仍然缺少涉及领域专家的内容。如果有额外的领域知识可用,ML 系统可能会表现得更好。
应该优先考虑哪一个:数据数量还是数据质量?
需要强调的是,数据量多并不等同于数据质量好。当然,训练神经网络不能只用几张图就能完成,数据数量是一个方面,但现在的重点是质量而不是数量。
如上图所示,大多数 Kaggle 数据集并没有那么大。在以数据为中心的方法中,数据集的大小并不那么重要,并且可以使用质量较小的数据集完成更多的工作。不过需要注意的是,数据质量高且标注正确。
上图中是另一种标注数据的方式,单独或组合标注。例如,如果数据科学家 1 单独标注菠萝,而数据科学家 2 将其组合标注,则两者标注的数据不兼容,导致学习算法变得混乱。因此,需要将数据标签保持一致;如果需要单独标注,请确保所有标注都以相同的方式进行。
上图为吴恩达解释了小数据集一致性的重要性
到底需要多少数据?
数据质量不可忽视,但数据量也是至关重要的,研究者必须有足够的数据支撑才能解决问题。深度网络具有低偏差、高方差特性,我们可以预见更多的数据可以解决方差问题。但是多少数据才够呢?目前这个问题还很难回答,不过我们可以认为拥有大量的数据是一种优势,但也不是必须的。
如果你采用以数据为中心的方法,请记住以下几点:
确保在整个 ML 项目周期中数据保持一致;
数据标注保持一致;
要及时反馈结果;
进行错误分析;
消除噪声样本。
那么,我们哪里可以找到高质量的数据集?这里推荐几个网站,首先是 Kaggle:在 Kaggle 中,你会找到进行数据科学工作所需的所有代码和数据,Kaggle 拥有超过 50,000 个公共数据集和 400,000 个公共 notebook,可以快速完成任务。
其次是 Datahub.io:Datahub 是一个主要专注于商业和金融的数据集平台。许多数据集,例如国家、人口和地理边界列表,目前在 DataHub 上可用。
最后是 Graviti Open Datasets:Graviti 是一个新的数据平台,主要为计算机视觉提供高质量的数据集。个人开发人员或组织可以轻松访问、共享和更好地管理开放数据。
关键词: 机器学习 Android开发者 模型架构 模型性能
相关阅读
-
机器学习的进步是模型带来的还是数据带...
模型和数据是 AI 系统的基础,这两个组件在模型的开发中扮演着重... -
100多个无障碍卫生间进行改造升级 “...
作为2008年奥运遗产场馆,国家体育场鸟巢在冬奥会期间更有温度。围... -
新势力二次上市对资本吸引力减弱 哪...
近日,证监会网站显示,接收到浙江零跑科技股份有限公司《境外首次... -
FCC、NTIA宣布新举措 能够再次为消费者...
美国联邦通信委员会 (FCC) 和国家电信和信息管理局 (NTIA) 周二... -
站在百年不遇之大变局的十字路口,汽车...
编前:站在百年不遇之大变局的十字路口,汽车业何去何从?一边是消费... -
三星秘密收购Apostera 将公司完全整...
据国外媒体报道,三星汽车零部件子公司哈曼宣布收购了德国增强现实...
精彩推送
-
机器学习的进步是模型带来的还是数据带...
模型和数据是 AI 系统的基础,这两个组件在模型的开发中扮演着重... -
月薪8千离职赔偿100万?“宁王”竞业协...
月薪8千离职赔偿100万?“宁王”竞业协议纠纷案被曝 -
曝宝马MINI牛津工厂出售给长城汽车 宝马回应
曝宝马MINI牛津工厂出售给长城汽车宝马回应 -
高速抛锚 男子上演“教科书级”的反面...
高速抛锚男子上演“教科书级”的反面操作网友:每一步都踩雷! -
哈弗H6最强敌手 新款长安CS75 PLUS上...
哈弗H6最强敌手新款长安CS75PLUS上市定档:全系8AT、12 79万起 -
Windows 11搜索速度大提速:终于不再鸡肋了
从Windows10开始,任务栏就默认固定有一个搜索框,允许用户轻松搜索... -
网传苹果不再开发屏下指纹识别 或全面...
日前,据iDROPNEWS报道,爆料人士LeaksApplePro表示,与不愿透露姓... -
速度秒杀SATA SSD!威刚全球首发SVP认...
威刚宣布推出符合SD7 0Express标准规范的顶级SDXC存储卡“PremierE... -
Intel 12代NUC迷你机至尊版泄露:首次可升级CPU
IntelNUC是迷你机中的标杆,也在随着每一代酷睿的升级而更新换代,... -
特斯拉中国大召回 责任又是供应商?官...
日前,特斯拉(上海)向国家市场监督管理总局备案了召回计划。 -
汽车高速断电无法启动!车主竟下车推车...
汽车高速断电无法启动!车主竟下车推车:百度上学的 -
理想ONE套牌纯电车牌 被举报后3小时找...
理想ONE套牌纯电车牌被举报后3小时找到正主网友:送业绩 -
仍在烧!载有3965辆大众集团汽车的货船...
仍在烧!载有3965辆大众集团汽车的货船上周起火电池或成助燃剂 -
铃木吉姆尼“炫技” 一脚油门倒行爬坡...
铃木吉姆尼“炫技”一脚油门倒行爬坡失败:直接滚落! -
定价50-100万元 比亚迪高端品牌MPV再剧...
定价50-100万元比亚迪高端品牌MPV再剧透:双侧电滑门! -
苹果不再为iPhone开发屏下Touch ID
与不愿透露姓名的内部人士多次交流之后,国外科技媒体iDropnews撰文... -
美区Skype用户现可通过电脑端拨打911电话
对于在紧急情况下无法通过座机或手机拨打911报警电话的人们来说,美... -
英特尔确认ARC Alchemist台式/工作站显...
1季度进入移动GPU市场之后,英特尔终于在2022年度的投资者会议上,... -
英特尔CPU路线图更新!
在介绍了AXG图形事业部的路线图后,英特尔又披露了客户端 服务器CP... -
升级Firefox 98后默认搜索引擎会有调整
在Firefox浏览器中,内置了包括Google、Baidu、DuckDuckGo等多款搜... -
iMessage发送推文链接预览会出现缺少字符情况
部分苹果用户近日遇到了一个不太寻常的BUG:由于某种未知的原因,现... -
Ubuntu Touch OTA-22发布:浏览器中支持视频通话
UBports基金会今天正式发布了UbuntuTouchOTA-22。新版本中引入了大... -
爆料称Spotify为Joe Rogan播客节目独占...
据《纽约时报》报道:为获取三年半的播客独播权,Spotify向JoeRogan... -
酷睿i5-12600KF VS.锐龙7 5800X:生产...
3个月前,Intel第12代酷睿AlderLake处理器正式发布,首次在主流领域... -
1月新能源SUV销量排名:比亚迪“五进三...
1月新能源SUV销量排名:比亚迪“五进三”特斯拉被拉下马 -
丰田挑战网红坡失败 副驾被甩遭压致死...
丰田挑战网红坡失败副驾被甩遭压致死!官方通报 -
高速交警眼皮底下倒车 奔驰司机:知道...
高速交警眼皮底下倒车奔驰司机:知道违法、但没忍住 -
汽车的三元催化器有什么用 为什么现在...
汽车的三元催化器有什么用为什么现在这么多小偷盯上了? -
Google推衬线字体Roboto Serif:可读性更高
Google近日推出了新版Roboto字体,并将衬线字体(serif)带了回来:... -
超级碗广告为Coinbase等加密货币应用带...
一份新报告显示,那些超级碗广告点为一些科技公司带来了回报,不仅... -
通用旗下Cruise将扩大携手沃尔玛的自动...
Cruise高级政府事务经理CarterStern在近日的一次公开会议上表示,Cr... -
Verizon更新呼叫过滤器应用 加大骚扰电...
据国外媒体报道,美国Verizon通过更新一款应用为后付费用户提供更多... -
供应链消息称iPhone 14 Pro系列运行内存增至8GB
据国外媒体报道,供应链的消息称,苹果今年下半年将推出的iPhone14... -
丰田“震怒”!最新研究:氢燃料电池有...
丰田“震怒”!最新研究:氢燃料电池有三大弊端、无商业化机会 -
95万买奥迪新车 发动机声大如“拖拉机...
95万买奥迪新车发动机声大如“拖拉机”4S:“缺缸”、得拆车! -
奔驰EQC尴尬 奥迪Q5 e-tron开启预售:...
奔驰EQC尴尬奥迪Q5e-tron开启预售:39 95万起看齐宝马iX3 -
小伙花费3200租一天法拉利庆生!退车时...
小伙花费3200租一天法拉利庆生!退车时亏大了 -
宏光MINI EV要“考试”了:C-NCAP将增...
宏光MINIEV要“考试”了:C-NCAP将增加微型电动汽车专项测评 -
售后召回现失误!奥迪中国再召回:可能...
售后召回现失误!奥迪中国再召回:可能会爆胎 -
Chrome、Edge抢市场 火狐浏览器份额从2...
FireFox,这个漂亮的火狐浏览器曾经是很多人上网的必备软件,全球15... -
首款镜面屏游戏显示器!著名众筹大厂打...
作为众筹起家的消费电子品牌,Eve在每次发售产品前都会在社区征求意... -
Windows 11将重大改进 性能提升4倍:...
一直以来,有人抱怨Windows11下,设备的性能并不能完全发挥,而对此... -
ST众泰:未与长城汽车签署过任何战略协议
2月19日消息,ST众泰发布澄清公告称,近日有部分媒体发布关于《长城... -
美国将腾讯阿里所属电商网站列入“侵犯...
据国外媒体报道,美国贸易代表办公室将腾讯和阿里巴巴所属电商网站... -
特斯拉中国大召回 责任又是供应商?官...
特斯拉中国大召回责任又是供应商?官方发声不背锅 -
北京冬奥会闭幕式今晚8点开始!张艺谋将...
北京冬奥会闭幕式今晚8点开始!张艺谋将再次呈现中国式浪漫 -
共享汽车没有前轮仍被强行开走 路人:...
共享汽车没有前轮仍被强行开走路人:以为是挖掘机上路 -
360安全卫士极速版上线“性能模式”:“...
近日,“永久免费,无弹窗广告”的360安全卫士极速版,正式更新上线... -
微软发布适用于Windows 11的HDR校准应用程序
微软对Windows11中的HDR押注很大,并于本周发布了适用于Windows11操... -
Android推出隐私沙盒 或影响千亿美元数...
Google近日宣布将在Android上构建隐私沙盒,以引入更新的、更具私密... -
消息称腾讯微信试行“1065”工作制,晚...
据《科创板日报》讯,有微信方面的知情人士透露,微信事业群正在试... -
中国移动省际骨干传送网十四期第三阶段...
从中国移动官网获悉,中国移动今日公示了省际骨干传送网十四期第三... -
微软改进Windows 11任务栏搜索框 搜索...
微软近日表示:“任务栏上的Windows搜索框中搜索应用和设置,现在比... -
上线3个月 Meta的社交VR平台Horizon月...
Meta的社交VR平台Horizon月活跃人数已经达到30万,在3个月增加10倍... -
不给马斯克面子 大众CEO:自动驾驶25年...
未来汽车的形态是什么?目前很多厂家和个人都在努力探索之中,关于... -
慎重升级!苹果关闭iOS 15.3验证 没有后悔药
在2月10日发布iOS15 3 1版本更新之后,今天苹果停止签署iOS15 3... -
Model 3成美国史上产量最高电动车!马...
2月18日消息,特斯拉Model3公布的美国制造指数(AMI)中排名第一,... -
e平台3.0首款纯电SUV!比亚迪元PLUS订单...
e平台3 0首款纯电SUV!比亚迪元PLUS订单量破2万台:13 18万起 -
第二天就开学 小学生把作业落在高铁上...
第二天就开学小学生把作业落在高铁上急哭结局皆大欢喜 -
Intel Arc锐炫显卡如期上市!第三代冲击超高端
在今天的投资者大会上,Intel公布了诸多重磅消息,包括各条产品线的... -
网传大众汽车数十亿欧元收购华为自动驾...
近日消息,据德国《经理人杂质》本周四报道,大众汽车计划以数十亿... -
努比亚Z40 Pro真机照首次亮相:业界唯...
下周五(2月25日)14点,努比亚将召开旗舰新品发布会,正式推出努比... -
新手司机开电动车疯狂报警 网友纷纷“...
新手司机开电动车疯狂报警网友纷纷“找茬”:除了挂挡啥都没对 -
德国通快收购光纤激光器供应商AFS
知名激光器厂商德国通快(TRUMPF)日前宣布,公司已经完成收购Activ... -
荣耀跻身中国市场前二:去年第四季度份...
CounterpointResearch报告称,2021年最后一个季度,前华为智能手机... -
Windows 11运行安卓App必须满足五个PC配置
经过几个月的期待,微软Windows的安卓子系统终于推出了,现已向所有... -
1月iPhone在中国市场出货量要创新高 国...
对于苹果来说,iPhone13系列在中国市场卖的出奇的好,而这也带动整... -
ColorOS全球月活跃用户数量突破5亿
来自OPPO官方信息显示,截至今年1月,ColorOS全球月活跃用户数量突... -
A级纯电市场性能“天花板”!比亚迪元PL...
A级纯电市场性能“天花板”!比亚迪元PLUS上市:13 18万起 -
e平台3.0首款SUV 比亚迪元PLUS上市:13.18万元起
e平台3 0首款SUV比亚迪元PLUS上市:13 18万元起 -
《消费者报告》评选出2022年首选电动汽...
《消费者报告》评选出2022年首选电动汽车:特斯拉被取代 -
智能网联2.0时代,上海低调步入“理工男...
上海一贯的做事风格就是高效、讲规矩。在上海生活多年的小杨告诉记... -
单体能量暴增5倍、续航增加16%!特斯拉...
单体能量暴增5倍、续航增加16%!特斯拉:已生产100万块4680电池 -
成佛坡理想ONE车主:有钱了再买x01 目...
成佛坡理想ONE车主:有钱了再买x01目前不考虑别的品牌看不上 -
比亚迪发布全新logo 网友:和小米是同...
2月17日,比亚迪集团宣布,对其品牌进行焕新升级,发布新标识。此外... -
中国铁塔2022年DTU设备比选:宏电、大唐...
中国铁塔官方消息显示,中国铁塔2022年无线数据传输单元(DTU)设备... -
比亚迪向英国运营商交付29辆新型纯电动...
据国外媒体报道,比亚迪宣布,其与英国巴士制造商合作伙伴亚历山大?... -
特斯拉首批采用4680电池Model Y有望一...
据国外媒体报道,在上月26日的四季度财报分析师电话会议上,特斯拉C... -
企查查品牌定位升级,致力于专业的商业...
从“引领企信查询”到“定位商业信息服务”,8年用心服务让“查企业... -
贾跃亭造的第一款车!FF 91发布预热视...
贾跃亭造的第一款车!FF91发布预热视频:产线实车亮相、下周发布 -
亚马逊与Visa就交易费达成协议 重新接...
据国外媒体报道,亚马逊周三称已与Visa达成交易费协议,已同意在全... -
工信部拟规定基本功能软件外的预置App均...
据工信部发布的消息,为进一步规范移动智能终端应用软件预置行为,... -
特斯拉超充向所有车开放 马斯克一年多...
特斯拉超充向所有车开放马斯克一年多赚1600亿老车主:? -
Chrome、Firefox和Edge的100版本即将就...
Chrome、Firefox和Edge即将迎来100版本,在三大浏览器的联合发布过... -
SMART Modular发布DuraMemory DDR5 VLP RDIMM内存新品
作为内存解决方案、固态驱动器、以及混合存储产品的全球领导这一,S... -
未来AirPods可以检测用户是否在苹果Fitn...
苹果正在研究AirPods如何检测运动和位置,部分是为了协助空间音频,... -
OnePlus的Nord CE 2发布:配备90Hz显...
OnePlusNord2CE是一加更实惠的Nord系列中的最新产品。它是去年Nord2... -
消息称iPhone 14 Pro将配备8GB内存
据来自亚洲的一份未经核实但可信的报告称,iPhone14Pro将配备8GB内... -
宣称能跑480实际跑378公里 特斯拉被起...
宣称能跑480实际跑378公里特斯拉被起诉退一赔三!车主败诉 -
不加价威力巨大 丰田赛那1月卖出4329台...
不加价威力巨大丰田赛那1月卖出4329台:首次进入前六、仅次于奥德赛 -
Pixel 6系列用户反馈:换屏后指纹传感...
GooglePixel6系列自推出以来就不太顺利,从Android12系统的软件漏洞... -
Visa与亚马逊就支付手续费达成协议
支付巨头周三晚间表示:作为全球协议的一部分,世界各地的Amazon c... -
Edge Canary新特性:帮你在多台设备上...
Reddit网友Leopeva64-2爆料称,在EdgeCanary频道最新版本中增加了一... -
Windows 11文件资源管理器迎来“快速访...
在上一个Windows版本中,文件资源管理器(Explorer)并没有迎来大刀... -
微软优化窗口模式下的老游戏 Windows ...
如果你喜欢玩一些经典的老游戏,那么这里有个好消息要告诉你。微软... -
三缸变四缸 新款吉利ICON专利图曝光:...
三缸变四缸新款吉利ICON专利图曝光:车头带“跳杠”! -
冷却液泄漏烧毁电机 车主集体发声维权...
冷却液泄漏烧毁电机车主集体发声维权!奔驰终于召回EQC -
130万买全新保时捷卡宴 空调“啸叫”不...
130万买全新保时捷卡宴空调“啸叫”不停:愁坏车主 -
Windows 11窗口标题栏开始迎来Mica材质更新
在最近更新的Windows11预览构建版本中,我们看到了诸多新功能,以及... -
三星助推:IDC预计2025折叠屏手机市场规...
在三星GalaxyZFold3的带动下,消费者们对于翻盖和折叠型号的智能机...