期刊信息
曾用名:现代图书情报技术;计算机与图书馆
主办:中国科学院文献情报中心
主管:中国科学院
ISSN:2096-3467
CN:10-1478/G2
语言:中文
周期:月刊
影响因子:0.912234
数据库收录:
北大核心期刊(2004版);北大核心期刊(2008版);北大核心期刊(2011版);北大核心期刊(2017版);中国科学引文数据库(2017-2018);中国科学引文数据库(2019-2020);中文社会科学引文索引-来源(2017-2018);中文社会科学引文索引-来源(2019-2020);国家哲学社会科学学术期刊数据库;中国人文社科核心期刊;中国科技核心期刊;期刊分类:图书情报与数字图书馆
期刊热词:
研究论文
聊聊数据分析、数据挖掘、大数据的区别
【作者】网站采编
【关键词】
【摘要】在大数据领域里,经常会看到例如数据挖掘、数据分析、大数据数据等等的专业词汇。如果仅仅从字面上,我们很难说清楚每个词汇的意义和区别。很多人在刚入门的时候,这几个概念
在大数据领域里,经常会看到例如数据挖掘、数据分析、大数据数据等等的专业词汇。如果仅仅从字面上,我们很难说清楚每个词汇的意义和区别。很多人在刚入门的时候,这几个概念经常会分不清,问十个人这几个词的意思,你可能会得到十五种不同的答案。
今天,我们就来通过一些例子,来为大家说明白—数据挖掘、大数据、数据分析的区别。
首先来介绍一下数据与信息之间的区别。
数据是什么,信息又是什么,其实最本质的区别就是,数据是存在的,有迹可循的,不需要进行处理的,而信息是需要进行处理的。
? 例如你想要为家里买一个新衣柜,那么首先就是要去测量室内各处的长、宽、高,对于这些数据,只要我们测量就可以得到准确的值,因为这些数据是客观存在的,这些客观存在的值就是数据。
而信息却不同,你来到家具商场购买衣柜,你会说,我们放3米的衣柜放在房间刚刚好,2米的有些短,看着不大气,4米的又太大了,不划算。那这种就属于信息,这些时候经过大脑进行了思考,进行了主观判断的,而你得出这些信息的依据就是那些客观存在的数据。
其次,数据分析是对客观存在的或者说已知的数据,通过各个维度进行分析,得出一个结论。
??例如我们发现公司的APP用户活跃度下降:
从区域上看,某区域的活跃度下降的百分比
从性别方面看,男生的活跃度下降的百分比
从年龄来看,20岁~30岁的活跃度下降的百分比
等等,这样不同的业务类型去看过去一段时间发展的趋势来做结论判断。
数据挖掘不仅仅用到统计学的知识,还要用到机器学习的知识,这里会涉及到模型的概念。数据挖掘具有更深的层次,来发现未知的规律和价值。而且更注重洞察数据本身的关系,从而获得一些非显型的结论,这是我们从数据分析中无法得到了,例如关联分析可以知道啤酒与尿布的关系、决策树可以知道你购买的概率、聚类分析可以知道你和谁类似,等等,重在从各个维度去发现数据之间的内在联系
因此两者的目的不一样,数据分析是有明确的分析群体,就是对群体进行各个维度的拆、分、组合,来找到问题的所在,而数据发挖掘的目标群体是不确定的,需要我们更多是是从数据的内在联系上去分析,从而结合业务、用户、数据进行更多的洞察解读。
? 例如一个人想找一个女朋友,他可以很快很容易的了解到其外在相关因素情况,例如身高、体重、收入、学历等情况,但是他没有办法从这些数据中知道这个女孩是否适合自己、她的性格与自己是否能够相处融洽……这时我他就需要从一些日常行为的数据进行推断,一种是主观的推断,他觉得、他估计、他认为,能不能在一起。
另一种是客观+主观的推断,比如整合社交平台数据(可以知道朋友圈、微博的日常内容、兴趣爱好等等),和自己的行为进行数据挖掘,来看看数据内在的匹配度有多少,这时候,他就可以判断出,他们在一起的概率有99%,从而建立信心,开始行动.....
当然统计学上讲,100%的概率都未必发生,0%的概率都未必不发生,这只是小概率事件,不要让这个成为你脱单的绊脚石。
最后,思考的方式不同,一般来讲,数据分析是根据客观的数据进行不断的验证和假设,而数据挖掘是没有假设的,但你也要根据模型的输出给出你评判的标准。
我们经常做分析的时候,数据分析需要的思维性更强一些,更多是运用结构化、MECE的思考方式,类似程序中的假设
分析框架(假设)+客观问题(数据分析)=结论(主观判断)
而数据挖掘大多数是大而全,多而精,数据越多模型越可能精确,变量越多,数据之间的关系越明确
什么变量都要,先从模型的意义上选变量(大而全,多而精),之后根据变量的相关系程度、替代关系、重要性等几个方面去筛选,最后全扔到模型里面,最后从模型的参数和解读的意义来判断这种方式合不合理。
分析更多依赖于业务知识,数据挖掘更多侧重于技术的实现,对于业务的要求稍微有所降低,数据挖掘往往需要更大数据量,而数据量越大,对于技术的要求也就越高需要比较强的编程能力,数学能力和机器学习的能力。如果从结果上来看,数据分析更多侧重的是结果的呈现,需要结合业务知识来进行解读。而数据挖掘的结果是一个模型,通过这个模型来分析整个数据的规律,一次来实现对于未来的预测,比如判断用户的特点,用户适合什么样的营销活动。显然,数据挖掘比数据分析要更深一个层次。数据分析是将数据转化为信息的工具,而数据挖掘是将信息转化为认知的工具。
文章来源:《数据分析与知识发现》 网址: http://www.sjfxyzsfx.cn/zonghexinwen/2020/1111/502.html