您当前所在位置: > 爆料站 > 有深度

在数据清理中,更好的数据胜过更高级的算法

时间:2019-10-09 12:05:12  来源:  作者:网络

原标题:在数据清理中,更好的数据胜过更高级的算法

数据清理的步骤和技术因数据集而异,我们没有办法在一篇文章中穷尽所有会出现的问题。这篇文章介绍了数据清理的一些常见步骤,例如修复结构性错误,处理丢失的数据以及过滤观察值。

更好的数据>更高级的算法

数据清理是每个人都要做的事情之一,但很少有人专门讨论这件事,原因很简单,这不是机器学习的“最性感”的部分。而且,没有什么可供挖掘的隐藏技巧和秘密。

但事实上,数据清理可能会加快或中断整个项目进程,专业的数据科学家通常在此步骤上花费很大一部分时间。

他们为什么要这么做呢?机器学习中存在一个很简单的事实:

更好的数据胜过更高级的算法。

换句话说,输入垃圾数据,得到的也是垃圾结果。

如果我们的数据集经过了正确的清洗,那么即使是简单的算法也可以从中得到深刻的启发!

不同类型的数据需要不同的清洗方法,但是本文中阐述的系统方法可以作为一个很好的学习起点。

删除不需要的观测结果

数据清理的第一步是从数据集中删除不需要的观测结果,包括重复或不相关的观测结果。

1. 重复的观测结果

重复的观测结果最常见于数据收集期间,例如:

  • 合并多个来源的数据集时
  • 抓取数据时
  • 从客户/其他部门接入数据时

2. 不相关的观测结果

不相关的观测结果实际上与我们要解决的特定问题不符。

  • 例如,如果我们仅为单户住宅构建模型,则不希望对其中的公寓也进行观测。
  • 这时候,我们也可以在上一步的探索性分析中判断出来。我们可以查看类别特征的分布图,以查看是否有不相关的类存在。
  • 在做工特征工程之前,我们也可以检查是否存在不相关的观察结果。
修复结构性错误

结构性错误是在测量、数据传输或其他的“不良内部管理”过程中出现的错误。

例如,我们可以检查拼写错误或大小写不一致的问题。这些主要和分类特征有关。

这是一个例子:

从上图中可以看到:

  • “Composition”与“composition”相同
  • “asphalt”应为“Asphalt”
  • “ shake-shingle”应为“ Shake Shingle”
  • “asphalt,shake-shingle”也可能只是“Shake Shingle”

替换错字和大小写不一致后,整个分类变得更加整洁:

最后,检查标签错误的类,即实际上应该相同的类。

  • 例如:如果“N/A”和“Not Applicable”显示为两个单独的类,则应将其合并。
  • 例如:“ IT”和“ information_technology”应该是同一个类。
过滤不需要的异常值

异常值可能会导致某些模型出现问题。例如,线性回归模型对异常值的鲁棒性不如决策树模型。

通常,如果我们有合理的理由要删除异常值,则可以提高模型的性能。

但是,在证明异常值无用之前,我们永远不要仅仅因为它是一个“大数字”就删除它,因为这个数字可能对我们的模型有很大帮助。

这一点很重要:在删除异常值之前必须要有充分的理由,例如不是真实数据的可疑度量。

处理缺失的数据

在机器学习应用过程中,数据缺失看上去是一个很棘手的问题。

为了清楚起见,我们不能简单地忽略数据集中的缺失值。由于大多数算法都不接受缺失值,因此,我们必须通过某种方式来处理这一点。

1. “常识”在这里并不灵验

根据我们的经验,处理丢失数据的两种最常用的推荐方法实际上都不怎么有用。

这两种方法分别是:

  1. 删除具有缺失值的观测值
  2. 根据其他观察结果估算缺失值

删除缺失值不是最佳选择,因为删除观察值时会删除信息。

  • 缺失值本身可能会提供一些参考
  • 在现实世界中,即使缺少某些功能,我们也经常需要对新数据进行预测

插入缺失值也不是最佳选择,因为该值最初是缺失的,但如果我们将其填充,无论插入缺失值的方法多么精确得当,总是会导致信息丢失。

  • 同样,“遗漏”本身几乎总是有用的,我们应该告诉算法是否存在缺少值。
  • 即使我们重新建立了模型来估算值,也没有添加任何实际信息——这样做仅仅在增强其他功能已经提供的模式。

丢失数据就像丢失了一块拼图。如果将其放下,就好像在假装不存在拼图槽;如果进行估算,那就像是试图从拼图上的其他地方挤一块儿进去。

简而言之,自始至终,我们都应该告诉算法,缺少值是因为缺少可提供信息。

具体怎么做呢?告诉算法该值一开始就已丢失。

2. 缺少分类特征的数据

处理分类特征缺失的数据的最佳方法是简单地将其标记为“缺失”!

  • 这样做实质上是在为该特征添加新的类。
  • 告诉算法缺少该值。
  • 满足了技术需求,即要求没有任何缺失值。
3. 缺少数字数据

对于缺少的数字数据,应标记并填充值。

  1. 使用缺失的指示变量标记观察结果;
  2. 为了满足没有任何缺失值的技术需求,用0填充原始丢失值。

通过标记和填充,从本质上讲,我们可以让该算法估算缺失的最佳常数,而不仅仅是用均值填充。

原文作者: Mahbub Gani

原文链接:https://elitedatascience.com/data-cleaning

本文由 @碧绿色的小兔子 翻译发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于CC0协议游戏网

责任编辑:

相关下载

玩家评论

和平精英高级房卡获取办法高级房卡使用攻略

和平精英高级房卡应该怎么用呢?高级房卡和普通房卡之间有什么区别呢?玩家如何才能获取到高级房卡呢?接下来就跟随小编一起来看看吧!和平精英高级房卡攻略高级房卡介绍 其实是有详情>>

阅读: 2
日期: 2020-03-31
和平精英高级房卡获取办法 高级房卡使用攻略

和平精英高级房卡应该怎么用呢?高级房卡和普通房卡之间有什么区别呢?玩家如何才能获取到高级房卡呢?接下来就跟随小编一起来看看吧! 和平精英高级房卡攻略 高级房卡介绍 其实详情>>

阅读: 3
日期: 2020-03-31
《骑马与砍杀2》高级ai怎么应对 高级ai应对方法分享

  骑马与砍杀2高级ai怎么应对?很多新人小伙伴可能还不清楚怎么对付吧,今天小编给大家带来骑砍2高级ai应对方法分享,感兴趣的小伙伴快来看一下吧。 骑砍2高级ai应对方法分详情>>

阅读: 3
日期: 2020-03-31
开黑三国招募令怎么获取高级招募令获取攻略

开黑三国招募令怎么获取?开黑三国高级招募令的获取途径有哪些?还不知道的小伙伴就来看看下面小编整理带来的开黑三国招募令详解吧:普通招募令:用于招募武将,积分算1点。1星到5星,详情>>

阅读: 2
日期: 2020-03-19
香肠派对高级资源点介绍高级资源点分布详解

香肠派对手游中很多小伙伴不知道高级资源点分布,也不知道高级资源点在哪,今天小编就带着大家了解一下香肠派对高级资源点介绍;高级资源点简介:1、皮城作为一个拥有高物资和高地详情>>

阅读: 4
日期: 2020-03-13
马秋子驾驭高级黑色系,简约之态诠释何为高级美

  昨日,演员马秋子发布了一组主题为“优雅与冷艳”的黑白色系写真。照片中她身穿黑色蕾丝礼裙,配以古典的欧式礼帽,高贵优雅,俨如一只高傲的黑天鹅,拥有一种无法抗拒详情>>

阅读: 4
日期: 2020-03-11
剑与远征高级换埃兹还是天罚埃兹和天罚对比分析

剑与远征高级换埃兹还是天罚之刃好?埃兹和天罚之刃哪一个更好?理论上埃兹比天罚之刃的输出要高很多,但是队伍搭配比较困难。下面带来剑与远征埃兹和天罚对比分析,希望对小伙伴们详情>>

阅读: 7
日期: 2020-02-05
部落与弯刀高级资源本推荐高级资源本一览

部落与弯刀中的材料资源是非常重要的,本次就为大家带来了部落与弯刀高级资源本推荐,包括高级资源本一览,非常全面的内容,想了解的朋友可以参考,希望能帮到大家。高级资源本推荐西详情>>

阅读: 9
日期: 2020-01-31
制胜高级分析时代:成立内部大数据学院

原标题:制胜高级分析时代:成立内部大数据学院 随着人工智能(AI)的崛起,如何打造一个能抓住机遇、实现AI规模化应用的组织,是许多领导面临的关键挑战。 详情>>

阅读: 12
日期: 2020-01-22
《战双帕弥什》幻痛囚笼高级区怎么打 幻痛囚笼高级区打法技巧教学

导 读 战双帕弥什幻痛囚笼高级区怎么打?高级区boss有什么打法技巧?幻痛囚笼高级区难度上是比较大的,主要考验玩家的阵容练度和操作技巧。下面带来战双帕弥什幻痛囚笼高级区bos详情>>

阅读: 12
日期: 2020-01-18
梦幻西游手游:13张高级藏宝图挖出3个高级内丹,刚好可以炼化了

对《梦幻西游》手游很多平民玩家来说,平时任务能得到五宝是一件非常开心的事情,凑齐五宝可以去找偷偷怪兑换高级藏宝图,从而开启挖宝之旅。通常一张高详情>>

阅读: 13
日期: 2020-01-17
梦幻西游:5张高级藏宝图挖出4本高级兽诀,这波挖宝有点秀!

众所周知,想要获得高级兽诀最快的办法就是挖高级藏宝图。但是,其随机性,又给获得高级魔兽要诀带来了一定的难度。我们今天的主角要挖5张高级藏宝图,不详情>>

阅读: 15
日期: 2019-12-31
三个女儿都拍大片,小S被封“高级脸制造商”,教育理念也很高级_Elly

原标题:三个女儿都拍大片,小S被封“高级脸制造商”,教育理念也很高级 话说不知不觉,台湾综艺女王小S已经和老公许雅钧已经结婚14年了。 虽然时不时被详情>>

阅读: 8
日期: 2019-12-24
《宝可梦剑盾》高级野怪无法捕捉!GTS功能被替代

根据USGamer的爆料,我们可以获得了《宝可梦剑盾》野区遇怪的更多情报,可以看到,宝可梦在野区主要分成两种,一种是在草丛里面的,一种是在野区自由游荡的详情>>

阅读: 11
日期: 2019-11-14
行业资讯:惠州瓷砖美缝曾林波探索莫兰迪高级灰美缝高级在哪里?_色彩

原标题:行业资讯:惠州瓷砖美缝曾林波探索莫兰迪高级灰美缝高级在哪里? 不论是设计圈还是娱乐圈的时尚达人们都开口必提钟爱莫兰迪高级灰美缝~但是否详情>>

阅读: 8
日期: 2019-11-04
GIF搞笑:你们家的电视这么高级啊!真智能化!

详情>>

阅读: 7
日期: 2019-10-27
女人都想要的高级感

原标题:女人都想要的高级感 对女人来说,精致的穿搭必不可少,但一张保养得宜的脸蛋也能让气场加分不少,每年双11购物车清单中必不可少的总会有一堆保养详情>>

阅读: 21
日期: 2019-10-16
如今买手的职业前景如何?怎样才能成为高级买手?

原标题:如今买手的职业前景如何?怎样才能成为高级买手? 参与者 冷芸时尚圈7群群友 时间:2019年9月22日 庄主:小雅- 广州 -买手 讨论提纲 01 买手的职业详情>>

阅读: 13
日期: 2019-10-13
【评评测测】好闻不撞香,这么高级的秋冬香水,竟然只要50块?

原标题:【评评测测】好闻不撞香,这么高级的秋冬香水,竟然只要50块? 晚上好呀,今天跟大家聊的,是宛如女生第二层肌肤的特性——香味。 夏季我们通常喜欢详情>>

阅读: 15
日期: 2019-10-12
22岁关晓彤到底多开放?反穿上衣不算啥,侧身的那一瞬间才是高级

原标题:22岁关晓彤到底多开放?反穿上衣不算啥,侧身的那一瞬间才是高级 娱乐圈里面有很多演员都是童星出道的,他们在很小的时候就进入到了娱乐圈中,虽详情>>

阅读: 13
日期: 2019-10-12
雷佳音的“神秘”娇妻,千里迢迢携女探班老公,高级的恩爱不用秀

原标题:雷佳音的“神秘”娇妻,千里迢迢携女探班老公,高级的恩爱不用秀 雷佳音斩获釜山电影节“亚洲内容奖”最佳男主角。 看到这则消息,不少人松了口气感叹:“详情>>

阅读: 3
日期: 2019-10-11
厉蔺菲初秋写真曝光黑白高级质感变身酷帅御姐

  ​中国娱乐网讯www.yule.com.cn 近日,演员厉蔺菲曝光一组初秋写真。照片中,她身穿T恤搭配皮质短裙,长发微卷,在黑白高级质感的色调下,冷艳而妩媚。  在热播剧《世界欠我一详情>>

阅读: 9
日期: 2019-10-11
泫雅的调色盘妆和穿搭会弄吗?又高级又不俗那种

原标题:泫雅的调色盘妆和穿搭会弄吗?又高级又不俗那种 要问最特别的女演员是谁?10个人有9个人都会说:泫雅! 她有个性、帅气又漂亮,她会跳舞、会搭配又详情>>

阅读: 9
日期: 2019-10-10
蓝灰色美甲复古显白,高级又耐看!

原标题:蓝灰色美甲复古显白,高级又耐看! 蓝色美甲特别吸睛 女人味又知性 平衡得刚刚好! 怎么看都不会腻的款! 文详情>>

阅读: 8
日期: 2019-10-10
梦幻西游:别看高级出得少,一个高8就拯救全场!

原标题:梦幻西游:别看高级出得少,一个高8就拯救全场! 梦幻的世界中,有的玩家喜欢鉴定装备,有的玩家喜欢炼妖,有的玩家喜欢打书,还有的玩家喜欢挖高级藏详情>>

阅读: 20
日期: 2019-10-09
真正高级的性感什么样?

原标题:真正高级的性感什么样? 一直以来,内衣都是女士着装中不可或缺的一位配角,时而羞怯、时而内敛、时而热情、时而性感。此次,在巴黎时装周上,内衣详情>>

阅读: 8
日期: 2019-10-09
蒋勤勤瘦了任人抓拍,条纹衫搭牛仔阔腿裤,显年轻又高级!

原标题:蒋勤勤瘦了任人抓拍,条纹衫搭牛仔阔腿裤,显年轻又高级! 难怪那么多人都是想要减肥,减肥成功之后整个人就会看起来瘦了好多,也会变得比较有自信。详情>>

阅读: 9
日期: 2019-10-08
牛市早报|刘鹤应邀赴美举行新一轮中美经贸高级别磋商

先回顾下假期前最后一天收盘情况,9月30日收盘,上证指数报2905.19点,下跌26.98点,下跌0.92%,成交额1425.92亿元;深证成指报9446.24点,下跌102.72点,下跌1.08%,成交额2099.05亿元,两市合详情>>

阅读: 8
日期: 2019-10-08
刘鹤应邀赴美举行新一轮中美经贸高级别磋商

原标题:刘鹤应邀赴美举行新一轮中美经贸高级别磋商 千龙网北京10月8日讯 据新华社官方微博消息,应美方邀请,中共中央政治局委员、国务院副总理、中美详情>>

阅读: 7
日期: 2019-10-08
最近“雀斑妆”火了,宋祖儿曾舜晞满脸长雀斑,高级到认不出!

原标题:最近“雀斑妆”火了,宋祖儿曾舜晞满脸长雀斑, 高级到认不出! 最近宋祖儿因为“小雀斑妆”喜提热搜,话说祖儿上一周还被拍到吃成小圆脸了,短短详情>>

阅读: 5
日期: 2019-10-07
小s大女儿许曦文拍摄服饰大片展现高级厌世脸

原标题:小s大女儿许曦文拍摄服饰大片 展现高级厌世脸 【环球网时尚频道综合报道】小S的大女儿许曦文近日首支服饰广告大片上线,大秀舞蹈功底,详情>>

阅读: 7
日期: 2019-10-04
卸任国台办发言人之后,安峰山已受聘中传高级研究员

“金句王”安峰山卸任国台办发言人之后又添新身份。 据中国传媒大学媒介与公共事务研究院官方微信公众号10月1日消息:9月26日,该院为国台办新闻局原副局长、新闻发言人安峰山详情>>

阅读: 0
日期: 2019-10-01
演员孟真—时尚优雅挑战无性别高级感

  一袭白衣,打造慵懒优雅,单只耳环时尚高级感强烈,仿佛一颦一笑间都是缠绵悱恻,或悦目怡心的故事。俏丽若三春之桃,清素若九秋之菊,可盐可甜,极度的反差下,是演员几经磨砺之后所彰详情>>

阅读: 7
日期: 2019-10-01
昆明高级衬衫定制

原标题:昆明高级衬衫定制 在昆明定制高级衬衫的人不少,每一位定制的顾客我们都会教其如何放置或携带定制的衬衫,下面给大家详细介绍。 1、将前襟纽扣详情>>

阅读: 10
日期: 2019-09-30
应对英国脱欧?韩英将新设高级别经济对话机制

原标题:应对英国脱欧?韩英将新设高级别经济对话机制 中新网9月30日电综合韩美报道,韩国外交部29日称,在英国脱欧大限即将到来之际,韩英两国将于30日在详情>>

阅读: 28
日期: 2019-09-30
高级绿茶同时聊骚六男是个什么操作?

原标题:高级绿茶同时聊骚六男是个什么操作? 经常混迹各大社交平台的小伙伴们一定见过不少奇葩投稿,要说其中讨论度最高的,还是那些绿与被绿的事。详情>>

阅读: 16
日期: 2019-09-29
澳洲天然除菌喷雾,除菌率99%,还是高级香水调

原标题:澳洲天然除菌喷雾,除菌率99%,还是高级香水调 小编最近得到一个除菌除味香氛喷雾,不管看到什么东西,都忍不住要喷一喷。 沙发、手机、桌子、衣详情>>

阅读: 10
日期: 2019-09-29
优雅如她,张钧甯,高级质感的时尚品味无可挑剔

原标题:优雅如她,张钧甯,高级质感的时尚品味无可挑剔 说起张钧甯,大家肯定不会陌生,虽然在这个满地都是美女的娱乐圈中,她的模样并算不上特别拔尖的,但她详情>>

阅读: 10
日期: 2019-09-28
魔兽世界怀旧服;盘一盘高级副本必须要做的副本

原标题:魔兽世界怀旧服;盘一盘高级副本必须要做的副本 60 级后,大多是组团讲究速度,忽略了我们从 1 级开始经常做任务升级时的乐趣,其实几大高级副详情>>

阅读: 9
日期: 2019-09-27
普通长相的女生,怎么穿出高级气质感?!

原标题:普通长相的女生,怎么穿出高级气质感 ? ! (以下内容仅荐号,文章立场不代表Pony美妆~) 今天, 我终于忍不住, 要把我私藏2年、每天都会看的 这个神奇公详情>>

阅读: 0
日期: 2019-09-27
精彩推荐