1.統(tǒng)計知識
在做數(shù)據(jù)分析,統(tǒng)計的知識肯定是需要的,Excel、SPSS、R等是需要掌握的基本技能。如果我們做數(shù)據(jù)挖掘的話,就要重視數(shù)學知識,數(shù)據(jù)挖掘要從海量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律,這就需要一定的數(shù)學知識,最基本的比如線性代數(shù)、高等代數(shù)、凸優(yōu)化、概率論等。
2.概率知識
而樸素貝葉斯算法需要概率方面的知識,SKM算法需要高等代數(shù)或者區(qū)間論方面的知識。當然,我們可以直接套模型,R、Python這些工具有現(xiàn)成的算法包,可以直接套用。但如果我們想深入學習這些算法,最好去學習一些數(shù)學知識,也會讓我們以后的路走得更順暢。我們經(jīng)常會用到的語言包括Python、JAVA、C或者C++,我自己用Python或者Java比較多。有時用MapReduce寫程序,再用Hadoop或者Hyp來處理數(shù)據(jù),如果用Python的話會和Spark相結(jié)合。
3.數(shù)據(jù)挖掘的數(shù)據(jù)類型
那么可以挖掘的數(shù)據(jù)類型都有什么呢?關系數(shù)據(jù)庫、數(shù)據(jù)倉庫、事務數(shù)據(jù)庫、空間數(shù)據(jù)庫、時間序列數(shù)據(jù)庫、文本數(shù)據(jù)庫和多媒體數(shù)據(jù)庫。關系數(shù)據(jù)庫就是表的集合,每個表都賦予一個唯一的名字。每個表包含一組屬性列或字段,并通常存放大量元組,比如記錄或行。關系中的每個元組代表一個被唯一關鍵字標識的對象,并被一組屬性值描述。
4.數(shù)據(jù)倉庫
什么是數(shù)據(jù)倉庫呢?數(shù)據(jù)倉庫就是通過數(shù)據(jù)清理、數(shù)據(jù)變換、數(shù)據(jù)集成、數(shù)據(jù)裝入和定期數(shù)據(jù)刷新構造 。數(shù)據(jù)挖掘的工作內(nèi)容是什么呢?數(shù)據(jù)分析更偏向統(tǒng)計分析,出圖,作報告比較多,做一些展示。數(shù)據(jù)挖掘更偏向于建模型。比如,我們做一個電商的數(shù)據(jù)分析。萬達電商的數(shù)據(jù)非常大,具體要做什么需要項目組自己來定。電商數(shù)據(jù)能給我們的業(yè)務什么樣的推進,我們從這一點入手去思考。我們從中挑出一部分進行用戶分群。