大數(shù)據(jù)分析及處理的常見(jiàn)方法是什么

　　大數(shù)據(jù)分析被運(yùn)用于各行各業(yè)，為的就是更好預(yù)測(cè)未來(lái)的可能、提前做好預(yù)案，應(yīng)對(duì)措施，實(shí)際上，在醫(yī)療、零售、城市管理建設(shè)等行業(yè)中都可見(jiàn)大數(shù)據(jù)分析師的身影。所謂大數(shù)據(jù)指的是量超過(guò)10tb的數(shù)據(jù)集，依托大數(shù)據(jù)做分析、測(cè)算是每個(gè)分析師的日常從業(yè)職責(zé)所在。為了確保分析速度快分析結(jié)果足夠精準(zhǔn)，避免錯(cuò)過(guò)時(shí)效性，大多數(shù)資深分析師都會(huì)用流程式方法來(lái)做分析，下面就跟大家具體介紹一下具體方法。
 

　　大數(shù)據(jù)分析之?dāng)?shù)據(jù)采集，一本500萬(wàn)字的電子書(shū)，所占據(jù)的內(nèi)存容量也不過(guò)在幾百kb而已，而大數(shù)據(jù)的量超過(guò)了10tb，如果只是單純利用線(xiàn)下問(wèn)卷調(diào)查收集，速度慢容易錯(cuò)過(guò)數(shù)據(jù)實(shí)效性，為了避免這樣的情況，得借助信息、網(wǎng)絡(luò)、python爬蟲(chóng)、nosql數(shù)據(jù)庫(kù)等諸多方式多管齊下并行才可。數(shù)據(jù)的采集相當(dāng)有難度，主要的難點(diǎn)體現(xiàn)在并發(fā)數(shù)高上面，比如說(shuō)在網(wǎng)上進(jìn)行爬蟲(chóng)獲得數(shù)據(jù)時(shí)，極有可能在同一時(shí)間內(nèi)有上萬(wàn)的用戶(hù)進(jìn)行訪(fǎng)問(wèn)操作，甚至人數(shù)能達(dá)百萬(wàn)千萬(wàn)，比如說(shuō)像去哪兒、攜程等訂票系統(tǒng)或者淘寶、京東等購(gòu)物平臺(tái)，這樣的情況就很常見(jiàn)，怎么在數(shù)據(jù)獲得過(guò)程中均勻負(fù)載，這是每個(gè)人都需要認(rèn)真考慮清楚的。

　　大數(shù)據(jù)分析之?dāng)?shù)據(jù)清洗，得到的數(shù)據(jù)肯定有一些是無(wú)用的、重復(fù)的，將這些數(shù)據(jù)剔除掉，被保留下來(lái)的才具有進(jìn)一步分析和分層、建模的意義和價(jià)值。這個(gè)過(guò)程的執(zhí)行其實(shí)挺簡(jiǎn)單的，只要將數(shù)據(jù)導(dǎo)入到大型分布式的數(shù)據(jù)庫(kù)中就可以了，現(xiàn)在不少資深分析師在導(dǎo)入時(shí)都會(huì)用來(lái)自twitter的storm，效果不錯(cuò)。

　　大數(shù)據(jù)分析之統(tǒng)計(jì)分析，這時(shí)候要用到的就是分布式數(shù)據(jù)庫(kù)，比如說(shuō)EMC的GreenPlum、Oracle的Exadata、基于 MySQL的列式存儲(chǔ)Infobright都是常見(jiàn)的軟件，以上常被用于實(shí)時(shí)性的需求處理，如果是批量式的處理，那會(huì)用到hadoop，不同數(shù)據(jù)對(duì)應(yīng)的適合軟件會(huì)存在差別。而每個(gè)大數(shù)據(jù)分析師重要的就是弄清楚到底在不同環(huán)節(jié)要用到哪個(gè)軟件，軟件的具體操作又是怎樣的，如果達(dá)到這般程度就能將大數(shù)據(jù)分析工作實(shí)現(xiàn)流程化。

　　大數(shù)據(jù)分析之挖掘，挖掘跟分析不同，分析是通過(guò)對(duì)數(shù)據(jù)的判斷、知道到底不同數(shù)據(jù)之間的關(guān)系是怎樣的，而挖掘就是要在此基礎(chǔ)上得到適合于不同數(shù)據(jù)的模型，建立模型之后則得在此基礎(chǔ)上反向測(cè)算數(shù)據(jù)的真實(shí)性，同時(shí)用簡(jiǎn)單的excel表格等方式將不同變量之間的關(guān)系直觀呈現(xiàn)。

　　以上所說(shuō)的就是大數(shù)據(jù)分析的全流程了，如果能將以上所說(shuō)流程重復(fù)個(gè)幾十遍那你就是一個(gè)有經(jīng)驗(yàn)積累的大數(shù)據(jù)分析師了，具備這樣水平的分析師即便初入職場(chǎng)，薪資收入都很不錯(cuò)。