对于大数据时代如何不被大数据所淹没，就应该进行知识的发现挖掘提炼（KDD），目前进行这种进行知识发现两大方法分支：统计学方法+数据挖掘。数据挖掘又分为：机器学习+商业智能，一部分商业智能算法的理论还是建立在统计学基础上。
刻意去区分数据挖掘和统计学的差异并无太大意义。数据挖掘有相当大的的比重是来自统计学的多元统计分析。但是为什么数据挖掘的兴起会引起各领域的注意？主要是相对于统计学而言，数据挖掘有一下特点：
处理大量实际数据更具有优势，并且使用数据挖掘工具无需具备专业的统计学背景。
数据分析的需求和趋势已经被许多大型企业数据库是想，并且可以进行企业级的数据挖掘应用。
相对于重视理论和方法的统计学而言，数据挖掘更强调应用，毕竟数据挖掘的目的是方便企业用户的使用。
综上，
数据挖掘和统计学都是进行数据发现的方法而已，数据挖掘侧重工具应用，统计学侧重理论方法。要想成为大牛，两者要融汇贯通，信手拈来。

为学习数据挖掘可以分为学习如何应用和研究算法两方面。

应用是学习如何应用成熟的数据挖掘模型完成任务。这个要求对模型的理解和对业务的了解。比如如果要做网页的内容的数据挖掘，如果没有能力获取网页数据，是肯定无法完成任务的。个人特质上，逻辑能力强，善于做关联性思维。当然，我认为这个还是是建立在对算法有一定的研究的基础之上的。

算法研究要求有很强的数学基础，要有统计学还有高等数学，线性代数，概率等等等等的知识储备。一般来说，编程能力不是必须的，但是有编程能力是有一定优势的。

参考我在爱大的一门课IAML的课程要求，要求只限于数学知识， Probability theory，Linear algebra，Calculus，Special functions: Log, exp are fundamental.Geometry，Entropy。这几个要求有些貌似很扯，比如对几何学的了解，知道线啊面啊什么的，但是对于类似于SVM之类的算法，一个很强的空间想象能力也是很占优势的。

课程的学习中，为了实践算法，会要求使用weka，R，matlab等程序软件，所以如果有时间，学着使用这类软件，有一定的编程思想也是很有益处的。

1.了解业务，熟悉数据框架、体系
了解你的业务是做什么的，业务的发展规划有什么，衡量的核心指标有哪些，列出KPI或是核心指标，一般重点指标就那么几个；然后对几个核心指标进行拆解，这点也需要根据你的业务属性进行，你的业务凡是会影响到这个指标的有哪几个元素，举个简单的例子，你开发的手机APP上的登录次数、用户数，你拆分为是ios、安卓、wp7还是其它，如果你是接入的新浪或者QQ的开放平台账号，拆分为新浪账号、QQ账号、人人网账号或是单独注册等一系列；
拆分的好处是你能对一个具体的指标很清晰它是怎么组成的，好像庖丁解牛，当然这个过程可以不断拆分下去，加上一些公共属性，例如时间、用户性别、用户年龄、用户职业等公共的纬度进去细切，不过个人觉得这是建立在有专人专团队做这事的基础上去不断细分数据，这些结果可以帮助你更精准的定位你的产品，为你后面的运营、推广、品牌等定位出一个比较精准的模型；

2. 对现有数据指标进行思考；多维度集中分析找规律
在熟悉产品需要关注的指标、框架之后，了解现有每个指标的运营现状；如果有同行业指标对比更好，看是否有提高的空间；或者是，希望通过某个运营的动作，提高哪一个指标，提高到多少；回到1中的例子，例如发现安卓的女性用户偏高，且登录时间集中在周五晚上，那下一次如果做活动运营的内容可能有所偏重，同时发布时间也尽量靠近那个时段；通过一系列的比较精准命中，预估运营能够提升指标到一个什么水准；
另外有一个精准模型的好处是了解你的核心用户后，你可以单独针对这部分用户进行产品用研与需求挖掘，更利于你内心确定哪些指标是可以通过什么手段提升的；
同时找规律，对于拆解出来的指标，想办法做一些分析，这里的分析个人觉得并不一定需要很复杂的手段，更重要的是一种感觉和意识，可能觉得某些数据之间会关联，例如可能登录高的时候用户的UGC内容产生频率也很高（这种简单的不能再简单的相信一般人都会有意识=。=容我举个这么简单的栗子），这里的例子是很明显易见的关联，但其实有很多数据之间的关系可能没那么明显，需要一种直觉去组合，然后判断，如果不是通过归纳分析能得到结论的，甚至可以想办法去做一些改动证明；


3. 规律验证，经验总结
找到规律了，内心明白了，下一次做事情心里会更透亮一些，对产品的理解又会更深一些；很多事情，就是这样一点点去熟悉，去深入慢慢产生亲切感的；数据是让你和你的产品心灵贴近的一个话题而已，聊到一定程度对于PM来说就差不多了，可以聊些别的了；更高级更深入人心的数据沟通，不妨还是交给专业的数据处理人员吧，就好像不是人人都是心理咨询师一样；

意义不大。想搞机器学习就直接去学机器学习，看书看论文。
机器学习主要是概率论，线性代数，统计学，凸优化理论和方法，偶尔会涉及到一点点动态规划和树。
而acm的比赛内容覆盖图论，数据结构，组合数学，数论，计算几何，动态规划，离散数学，字符串算法。主要是考察比较传统的确定性算法为主。
感性地估量的话，花在acm上的努力的5-8%会对机器学习有帮助。

读研的时候的专业方向是数据挖掘，尽管很水，但是也学了一些方法。现在说下我的经验吧。
在数据挖掘中，由于得到的原始数据往往跟我们要处理的数据的格式大相庭径，所以有必要对原始数据进行清洗。我所理解的数据清洗，无非是这么几个过程：标准化、归一化、降维。
=========
1、标准化（数值化）
由于原始数据往往存在各种不同格式的数据形式，比如如果你要处理的数据是数值型，但是原始数据也许有字符型或者其他，那就要对其进行标准化操作。处理的方式可以很简单也可以很复杂，我采取过的一个方法是：对字符串取值，按照ANSI码值求和得到字符串的值，如果值太大，可以取一个适当的质数对其求模，本质上就是映射到一个区间了。然后就得到数值型的数据了。
2、归一化
由于原始数据各个维度之间的数值往往相差很大，比如一个维度的最小值是0.01，另一个维度最小值却是1000，那么也许在数据分析的时候，计算相关性或者方差啥的指标，后者会掩盖了前者的作用。因此有必要对整体数据进行归一化工作，也就是将它们都映射到一个指定的数值区间，这样就不会对后续的数据分析产生重大影响。我采取过的一个做法是：min-max标准化。
3、降维
由于原始数据往往含有很多维度，也就是咱们所说的列数。比如对于银行数据，它往往就含有几十个指标。这些维度之间往往不是独立的，也就是说也许其中之间若干的维度之间存在关联，也许有他就可以没有我，因此咱们可以使用数据的相关性分析来降低数据维度。我使用过的一个方法是：主成分分析法。具体操作请百度。
==========
以上就是一些数据清洗操作的皮毛介绍，这些方法都不需要我们亲自去编码实现，因为它们已经被研究烂了，有各种工具和程序可以帮助我们实现这些方法。
对于数据挖掘来说，80%的工作都花在数据准备上面，而数据准备，80%的时间又花在数据清洗上，而数据清洗的工作，80%又花在选择若干种适当高效的方法上。真的，用不同方法清洗的数据，对后续挖掘的分析工作会带来重大影响。

数据挖掘这个东东说起来比较复杂，如果不套入产品本身不太好明确的说，但通常情况下，数据挖掘的大致方向都是一致的。我大致罗列几个，供参考！ 
1 、用户中间行为数据分析，除去基本上的用户UV，pv等结果数据外，要特别观察用户中间数据，用户访问的时间，用户访问习惯，各功能的流量分布，用户在某个功能沉淀数据的完成度，异常热点数据的原因分析。 
2、产品营销过程中的案例数据分析，通常产品都会做拉动或者做运营活动，要特别留意营销过程总不同时间点的数据变化，尤其是产品活动主要诉求之外的其他附加功能的使用情况，有很多时候无心茶插柳的附加功能就是真实的用户需求。 
3、要关注关联产品的数据流量分析，如果是大型的网站或者复杂的产品线，产品线上面可能存在有相同或者先后关系的产品，比如购物车和付款页面，收藏夹与购物车，上传照片与相册展示与分享功能，这些数据要联系起来看，才能发现用户在使用过程中的一些数据变化，有利于优化产品。