数据挖掘

数据挖掘

大数据思维到底是什么?

数据挖掘哒哒 回复了问题 • 2 人关注 • 2 个回复 • 839 次浏览 • 2016-03-28 15:02 • 来自相关话题

数据挖掘从入门到进阶,要看什么书?

数据挖掘Lynn 回复了问题 • 2 人关注 • 2 个回复 • 1367 次浏览 • 2015-12-17 15:15 • 来自相关话题

机器学习和计算机视觉需要哪些相关的数学知识?

数据挖掘gus 回复了问题 • 2 人关注 • 1 个回复 • 864 次浏览 • 2015-10-23 10:34 • 来自相关话题

从规划开始,公司or企业如何入手和实施大数据?

数据挖掘candy 回复了问题 • 2 人关注 • 1 个回复 • 676 次浏览 • 2015-10-23 10:19 • 来自相关话题

挖掘大数据的价值 ,需要了解哪些程序语言?

数据挖掘gus 回复了问题 • 2 人关注 • 1 个回复 • 692 次浏览 • 2015-10-16 11:24 • 来自相关话题

大数据挖掘包含哪些基本方面?

数据挖掘gus 回复了问题 • 2 人关注 • 1 个回复 • 612 次浏览 • 2015-10-16 09:49 • 来自相关话题

数据科学家应掌握哪些工具?

数据挖掘candy 回复了问题 • 2 人关注 • 1 个回复 • 698 次浏览 • 2015-10-10 11:07 • 来自相关话题

政府和企业在大数据应用上区别?

数据挖掘candy 回复了问题 • 2 人关注 • 1 个回复 • 665 次浏览 • 2015-10-10 09:30 • 来自相关话题

机器学习应该准备哪些数学预备知识?

数据挖掘candy 回复了问题 • 2 人关注 • 1 个回复 • 1319 次浏览 • 2015-10-10 09:19 • 来自相关话题

机器学习中经常会遇到哪些错误?

数据挖掘安之若素 回复了问题 • 2 人关注 • 1 个回复 • 840 次浏览 • 2015-09-21 15:56 • 来自相关话题

条新动态, 点击查看
min

min 回答了问题 • 2015-08-13 14:11 • 1 个回复 不感兴趣

统计学与数据挖掘有什么联系?

赞同来自:

对于大数据时代如何不被大数据所淹没,就应该进行知识的发现挖掘提炼(KDD),目前进行这种进行知识发现两大方法分支:统计学方法+数据挖掘。数据挖掘又分为:机器学习+商业智能,一部分商业智能算法的理论还是建立在统计学基础上。
刻意去区分数据挖掘和统计学的差异并无太... 显示全部 »
对于大数据时代如何不被大数据所淹没,就应该进行知识的发现挖掘提炼(KDD),目前进行这种进行知识发现两大方法分支:统计学方法+数据挖掘。数据挖掘又分为:机器学习+商业智能,一部分商业智能算法的理论还是建立在统计学基础上。
刻意去区分数据挖掘和统计学的差异并无太大意义。数据挖掘有相当大的的比重是来自统计学的多元统计分析。但是为什么数据挖掘的兴起会引起各领域的注意?主要是相对于统计学而言,数据挖掘有一下特点:
处理大量实际数据更具有优势,并且使用数据挖掘工具无需具备专业的统计学背景。
数据分析的需求和趋势已经被许多大型企业数据库是想,并且可以进行企业级的数据挖掘应用。
相对于重视理论和方法的统计学而言,数据挖掘更强调应用,毕竟数据挖掘的目的是方便企业用户的使用。
综上,
数据挖掘和统计学都是进行数据发现的方法而已,数据挖掘侧重工具应用,统计学侧重理论方法。要想成为大牛,两者要融汇贯通,信手拈来。
min

min 回答了问题 • 2015-08-13 13:57 • 1 个回复 不感兴趣

学数据挖掘需要哪方面的知识储备?

赞同来自:

为学习数据挖掘可以分为学习如何应用和研究算法两方面。

应用是学习如何应用成熟的数据挖掘模型完成任务。这个要求对模型的理解和对业务的了解。比如如果要做网页的内容的数据挖掘,如果没有能力获取网页数据,是肯定无法完成任务的。个人特质上,逻辑能力强,善于做关联性思维... 显示全部 »
为学习数据挖掘可以分为学习如何应用和研究算法两方面。

应用是学习如何应用成熟的数据挖掘模型完成任务。这个要求对模型的理解和对业务的了解。比如如果要做网页的内容的数据挖掘,如果没有能力获取网页数据,是肯定无法完成任务的。个人特质上,逻辑能力强,善于做关联性思维。当然,我认为这个还是是建立在对算法有一定的研究的基础之上的。

算法研究要求有很强的数学基础,要有统计学还有高等数学,线性代数,概率等等等等的知识储备。一般来说,编程能力不是必须的,但是有编程能力是有一定优势的。

参考我在爱大的一门课IAML的课程要求,要求只限于数学知识, Probability theory,Linear algebra,Calculus,Special functions: Log, exp are fundamental.Geometry,Entropy。这几个要求有些貌似很扯,比如对几何学的了解,知道线啊面啊什么的,但是对于类似于SVM之类的算法,一个很强的空间想象能力也是很占优势的。

课程的学习中,为了实践算法,会要求使用weka,R,matlab等程序软件,所以如果有时间,学着使用这类软件,有一定的编程思想也是很有益处的。
min

min 回答了问题 • 2015-08-13 13:48 • 3 个回复 不感兴趣

产品经理如何提高数据挖掘和分析能力?

赞同来自:

1.了解业务,熟悉数据框架、体系
了解你的业务是做什么的,业务的发展规划有什么,衡量的核心指标有哪些,列出KPI或是核心指标,一般重点指标就那么几个;然后对几个核心指标进行拆解,这点也需要根据你的业务属性进行,你的业务凡是会影响到这个指标的有哪几个元素,举个简... 显示全部 »
1.了解业务,熟悉数据框架、体系
了解你的业务是做什么的,业务的发展规划有什么,衡量的核心指标有哪些,列出KPI或是核心指标,一般重点指标就那么几个;然后对几个核心指标进行拆解,这点也需要根据你的业务属性进行,你的业务凡是会影响到这个指标的有哪几个元素,举个简单的例子,你开发的手机APP上的登录次数、用户数,你拆分为是ios、安卓、wp7还是其它,如果你是接入的新浪或者QQ的开放平台账号,拆分为新浪账号、QQ账号、人人网账号或是单独注册等一系列;
拆分的好处是你能对一个具体的指标很清晰它是怎么组成的,好像庖丁解牛,当然这个过程可以不断拆分下去,加上一些公共属性,例如时间、用户性别、用户年龄、用户职业等公共的纬度进去细切,不过个人觉得这是建立在有专人专团队做这事的基础上去不断细分数据,这些结果可以帮助你更精准的定位你的产品,为你后面的运营、推广、品牌等定位出一个比较精准的模型;

2. 对现有数据指标进行思考;多维度集中分析找规律
在熟悉产品需要关注的指标、框架之后,了解现有每个指标的运营现状;如果有同行业指标对比更好,看是否有提高的空间;或者是,希望通过某个运营的动作,提高哪一个指标,提高到多少;回到1中的例子,例如发现安卓的女性用户偏高,且登录时间集中在周五晚上,那下一次如果做活动运营的内容可能有所偏重,同时发布时间也尽量靠近那个时段;通过一系列的比较精准命中,预估运营能够提升指标到一个什么水准;
另外有一个精准模型的好处是了解你的核心用户后,你可以单独针对这部分用户进行产品用研与需求挖掘,更利于你内心确定哪些指标是可以通过什么手段提升的;
同时找规律,对于拆解出来的指标,想办法做一些分析,这里的分析个人觉得并不一定需要很复杂的手段,更重要的是一种感觉和意识,可能觉得某些数据之间会关联,例如可能登录高的时候用户的UGC内容产生频率也很高(这种简单的不能再简单的相信一般人都会有意识=。=容我举个这么简单的栗子),这里的例子是很明显易见的关联,但其实有很多数据之间的关系可能没那么明显,需要一种直觉去组合,然后判断,如果不是通过归纳分析能得到结论的,甚至可以想办法去做一些改动证明;


3. 规律验证,经验总结
找到规律了,内心明白了,下一次做事情心里会更透亮一些,对产品的理解又会更深一些;很多事情,就是这样一点点去熟悉,去深入慢慢产生亲切感的;数据是让你和你的产品心灵贴近的一个话题而已,聊到一定程度对于PM来说就差不多了,可以聊些别的了;更高级更深入人心的数据沟通,不妨还是交给专业的数据处理人员吧,就好像不是人人都是心理咨询师一样;
意义不大。想搞机器学习就直接去学机器学习,看书看论文。
机器学习主要是概率论,线性代数,统计学,凸优化理论和方法,偶尔会涉及到一点点动态规划和树。
而acm的比赛内容覆盖图论,数据结构,组合数学,数论,计算几何,动态规划,离散数学,字符串算法。主要是考察比较传... 显示全部 »
意义不大。想搞机器学习就直接去学机器学习,看书看论文。
机器学习主要是概率论,线性代数,统计学,凸优化理论和方法,偶尔会涉及到一点点动态规划和树。
而acm的比赛内容覆盖图论,数据结构,组合数学,数论,计算几何,动态规划,离散数学,字符串算法。主要是考察比较传统的确定性算法为主。
感性地估量的话,花在acm上的努力的5-8%会对机器学习有帮助。
gus

gus 回答了问题 • 2015-08-13 14:23 • 3 个回复 不感兴趣

数据挖掘中常用的数据清洗方法有哪些?

赞同来自:

读研的时候的专业方向是数据挖掘,尽管很水,但是也学了一些方法。现在说下我的经验吧。
在数据挖掘中,由于得到的原始数据往往跟我们要处理的数据的格式大相庭径,所以有必要对原始数据进行清洗。我所理解的数据清洗,无非是这么几个过程:标准化、归一化、降维。
======... 显示全部 »
读研的时候的专业方向是数据挖掘,尽管很水,但是也学了一些方法。现在说下我的经验吧。
在数据挖掘中,由于得到的原始数据往往跟我们要处理的数据的格式大相庭径,所以有必要对原始数据进行清洗。我所理解的数据清洗,无非是这么几个过程:标准化、归一化、降维。
=========
1、标准化(数值化)
由于原始数据往往存在各种不同格式的数据形式,比如如果你要处理的数据是数值型,但是原始数据也许有字符型或者其他,那就要对其进行标准化操作。处理的方式可以很简单也可以很复杂,我采取过的一个方法是:对字符串取值,按照ANSI码值求和得到字符串的值,如果值太大,可以取一个适当的质数对其求模,本质上就是映射到一个区间了。然后就得到数值型的数据了。
2、归一化
由于原始数据各个维度之间的数值往往相差很大,比如一个维度的最小值是0.01,另一个维度最小值却是1000,那么也许在数据分析的时候,计算相关性或者方差啥的指标,后者会掩盖了前者的作用。因此有必要对整体数据进行归一化工作,也就是将它们都映射到一个指定的数值区间,这样就不会对后续的数据分析产生重大影响。我采取过的一个做法是:min-max标准化。
3、降维
由于原始数据往往含有很多维度,也就是咱们所说的列数。比如对于银行数据,它往往就含有几十个指标。这些维度之间往往不是独立的,也就是说也许其中之间若干的维度之间存在关联,也许有他就可以没有我,因此咱们可以使用数据的相关性分析来降低数据维度。我使用过的一个方法是:主成分分析法。具体操作请百度。
==========
以上就是一些数据清洗操作的皮毛介绍,这些方法都不需要我们亲自去编码实现,因为它们已经被研究烂了,有各种工具和程序可以帮助我们实现这些方法。
对于数据挖掘来说,80%的工作都花在数据准备上面,而数据准备,80%的时间又花在数据清洗上,而数据清洗的工作,80%又花在选择若干种适当高效的方法上。真的,用不同方法清洗的数据,对后续挖掘的分析工作会带来重大影响。
数据挖掘这个东东说起来比较复杂,如果不套入产品本身不太好明确的说,但通常情况下,数据挖掘的大致方向都是一致的。我大致罗列几个,供参考! 
1 、用户中间行为数据分析,除去基本上的用户UV,pv等结果数据外,要特别观察用户中间数据,用户访问的时间,用户访问习惯,... 显示全部 »
数据挖掘这个东东说起来比较复杂,如果不套入产品本身不太好明确的说,但通常情况下,数据挖掘的大致方向都是一致的。我大致罗列几个,供参考! 
1 、用户中间行为数据分析,除去基本上的用户UV,pv等结果数据外,要特别观察用户中间数据,用户访问的时间,用户访问习惯,各功能的流量分布,用户在某个功能沉淀数据的完成度,异常热点数据的原因分析。 
2、产品营销过程中的案例数据分析,通常产品都会做拉动或者做运营活动,要特别留意营销过程总不同时间点的数据变化,尤其是产品活动主要诉求之外的其他附加功能的使用情况,有很多时候无心茶插柳的附加功能就是真实的用户需求。 
3、要关注关联产品的数据流量分析,如果是大型的网站或者复杂的产品线,产品线上面可能存在有相同或者先后关系的产品,比如购物车和付款页面,收藏夹与购物车,上传照片与相册展示与分享功能,这些数据要联系起来看,才能发现用户在使用过程中的一些数据变化,有利于优化产品。

大数据思维到底是什么?

回复

数据挖掘哒哒 回复了问题 • 2 人关注 • 2 个回复 • 839 次浏览 • 2016-03-28 15:02 • 来自相关话题

数据挖掘从入门到进阶,要看什么书?

回复

数据挖掘Lynn 回复了问题 • 2 人关注 • 2 个回复 • 1367 次浏览 • 2015-12-17 15:15 • 来自相关话题

机器学习和计算机视觉需要哪些相关的数学知识?

回复

数据挖掘gus 回复了问题 • 2 人关注 • 1 个回复 • 864 次浏览 • 2015-10-23 10:34 • 来自相关话题

从规划开始,公司or企业如何入手和实施大数据?

回复

数据挖掘candy 回复了问题 • 2 人关注 • 1 个回复 • 676 次浏览 • 2015-10-23 10:19 • 来自相关话题

挖掘大数据的价值 ,需要了解哪些程序语言?

回复

数据挖掘gus 回复了问题 • 2 人关注 • 1 个回复 • 692 次浏览 • 2015-10-16 11:24 • 来自相关话题

大数据挖掘包含哪些基本方面?

回复

数据挖掘gus 回复了问题 • 2 人关注 • 1 个回复 • 612 次浏览 • 2015-10-16 09:49 • 来自相关话题

数据科学家应掌握哪些工具?

回复

数据挖掘candy 回复了问题 • 2 人关注 • 1 个回复 • 698 次浏览 • 2015-10-10 11:07 • 来自相关话题

政府和企业在大数据应用上区别?

回复

数据挖掘candy 回复了问题 • 2 人关注 • 1 个回复 • 665 次浏览 • 2015-10-10 09:30 • 来自相关话题

机器学习应该准备哪些数学预备知识?

回复

数据挖掘candy 回复了问题 • 2 人关注 • 1 个回复 • 1319 次浏览 • 2015-10-10 09:19 • 来自相关话题

机器学习中经常会遇到哪些错误?

回复

数据挖掘安之若素 回复了问题 • 2 人关注 • 1 个回复 • 840 次浏览 • 2015-09-21 15:56 • 来自相关话题

史上最全最实用的大数据可视化分析工具,必有一款是你的菜

干货大数据魔镜 发表了文章 • 3 个评论 • 1065 次浏览 • 2015-06-10 09:34 • 来自相关话题

    俗话说“巧妇难为无米之炊”,在这个大数据时代,没有一款好的数据分析工具,光有团队怎么行?商场如战场,数据是把枪。亚马逊运用大数据为客户推荐商品信息,阿里用大数据成立了小微金融服务集团,而谷歌更是计划用大数据接管世界……不知不觉,数据已经成为我们生活中必...
查看更多

“块数据”来袭,你准备好了吗?

干货大数据魔镜 发表了文章 • 12 个评论 • 753 次浏览 • 2015-06-09 09:04 • 来自相关话题

    人生苦短,人的一生花了大块的时间在认识世界上,我们从眼耳口鼻声色意的认识,慢慢到运用技术,收集数据,计算统计,统筹全局预算未来——这就是大数据。大数据近年来十分火爆,数据分析工具层出不穷。从传统BI工具发展到现在前沿的[url=http://www.m...
查看更多

方法大观 ——发展中的机器学习

干货大数据魔镜 发表了文章 • 0 个评论 • 751 次浏览 • 2015-06-09 08:58 • 来自相关话题

    机器学习(Machine Learning, ML)是一门多领域交叉学科,是人工智能研究发展到一定阶段的必然产物,也是人工智能的核心。从 20 世纪50 年代到 70 年代初,人工智能研究处于“推理期”,人们认为只要给机器赋予逻辑推理能力,机器就能具有...
查看更多

聚类分析助企业精准营销巧妙盈利

数据分析大数据魔镜 发表了文章 • 2 个评论 • 741 次浏览 • 2015-05-22 09:43 • 来自相关话题

    聚类分析是数据挖掘中非常重要的领域,一般是指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程,目的是在相似的基础上收集数据来分类。多种聚类算法为聚类分析提供了坚实的基础。大数据[url=http://www.moojnn.com]聚类分析...
查看更多

大数据时代,石化企业应该如何进行数据分析

数据分析大数据魔镜 发表了文章 • 0 个评论 • 1161 次浏览 • 2015-05-12 10:54 • 来自相关话题

一、大数据应用现状
1、数据量在不断增加,且数据结构不断复杂。

    根据IDC 监测,人类产生的数据量正在呈指数级增长,大约每两年翻一番,这个速度在2020 年之前会继续保持下去。这意味着人类在...
查看更多

【解析】销售预测的算法与应用

数据分析大数据魔镜 发表了文章 • 0 个评论 • 1093 次浏览 • 2015-05-07 10:12 • 来自相关话题

    对于企业来说,销售情况和盈利其实并非只能跟着进度走,而是是需要预测的。有了销售预测,企业的生产和销售将有一条明朗的前景线,实际运转也将更可控。

    销售预测是根据以往的销售情况以及使用系统内部内置或用户自定义的销售预测模型获得的对未来销售情况的预...
查看更多

Top10大数据相关术语解释

干货大数据魔镜 发表了文章 • 0 个评论 • 763 次浏览 • 2015-04-21 10:16 • 来自相关话题

NO.1 云计算
    云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示...
查看更多

把大数据玩小,转化企业生产力

干货大数据魔镜 发表了文章 • 0 个评论 • 1070 次浏览 • 2015-04-16 16:46 • 来自相关话题

     不管您是否承认,我们被带进入了大数据时代,大数据给人们带来了商机,带来了价值。那么企业如何将大数据转化成真正的生产力,一直是我们上下求索的。
3.png


     第一,拿电商为例,大数据最核心的还是用户画...
查看更多

聚类分析助企业精准营销巧妙盈利

数据分析大数据魔镜 发表了文章 • 0 个评论 • 732 次浏览 • 2015-04-16 16:39 • 来自相关话题

    聚类分析是数据挖掘中非常重要的领域,一般是指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程,目的是在相似的基础上收集数据来分类。多种聚类算法为聚类分析提供了坚实的基础。大数据聚类分析有效地帮助各个行业领域实现了精准营销,为其带来明显利润...
查看更多