【北京華盛恒輝科技有限公司 ——(hivekion)是一家軟件定制開發(fā)公司,專注IT產(chǎn)品研發(fā)與服務(wù),堅(jiān)持穩(wěn)健經(jīng)營、持續(xù)創(chuàng)新、開放合作,在安全生產(chǎn)、大數(shù)據(jù)處理等領(lǐng)域構(gòu)筑了端到端的解決方案優(yōu)勢(shì),為企業(yè)客戶提供有競(jìng)爭(zhēng)力的IT解決方案、 產(chǎn)品和服務(wù)。】
原理
1、數(shù)據(jù)核心原理
從“流程”核心轉(zhuǎn)變?yōu)?ldquo;數(shù)據(jù)”核心
大數(shù)據(jù)時(shí)代,計(jì)算模式也發(fā)生了轉(zhuǎn)變,從“流程”核心轉(zhuǎn)變?yōu)?ldquo;數(shù)據(jù)”核心。Hadoop體系的分布式計(jì)算框架已經(jīng)是“數(shù)據(jù)”為核心的范式。非結(jié)構(gòu)化數(shù)據(jù)及分析需求,將改變IT系統(tǒng)的升級(jí)方式:從簡(jiǎn)單增量到架構(gòu)變化。大數(shù)據(jù)下的新思維——計(jì)算模式的轉(zhuǎn)變。
例如:IBM將使用以數(shù)據(jù)為中心的設(shè)計(jì),目的是降低在超級(jí)計(jì)算機(jī)之間進(jìn)行大量數(shù)據(jù)交換的必要性。大數(shù)據(jù)下,云計(jì)算找到了破繭重生的機(jī)會(huì),在存儲(chǔ)和計(jì)算上都體現(xiàn)了數(shù)據(jù)為核心的理念。大數(shù)據(jù)和云計(jì)算的關(guān)系:云計(jì)算為大數(shù)據(jù)提供了有力的工具和途徑,大數(shù)據(jù)為云計(jì)算提供了很有價(jià)值的用武之地。而大數(shù)據(jù)比云計(jì)算更為落地,可有效利用已大量建設(shè)的云計(jì)算資源,后加以利用。
科學(xué)進(jìn)步越來越多地由數(shù)據(jù)來推動(dòng),海量數(shù)據(jù)給數(shù)據(jù)分析既帶來了機(jī)遇,也構(gòu)成了新的挑戰(zhàn)。大數(shù)據(jù)往往是利用眾多技術(shù)和方法,綜合源自多個(gè)渠道、不同時(shí)間的信息而獲得的。為了應(yīng)對(duì)大數(shù)據(jù)帶來的挑戰(zhàn),我們需要新的統(tǒng)計(jì)思路和計(jì)算方法。
說明:用數(shù)據(jù)核心思維方式思考問題,解決問題。以數(shù)據(jù)為核心,反映了當(dāng)下IT產(chǎn)業(yè)的變革,數(shù)據(jù)成為人工智能的基礎(chǔ),也成為智能化的基礎(chǔ),數(shù)據(jù)比流程更重要,數(shù)據(jù)庫、記錄數(shù)據(jù)庫,都可開發(fā)出深層次信息。云計(jì)算機(jī)可以從數(shù)據(jù)庫、記錄數(shù)據(jù)庫中搜索出你是誰,你需要什么,從而推薦給你需要的信息。
2、數(shù)據(jù)價(jià)值原理
由功能是價(jià)值轉(zhuǎn)變?yōu)閿?shù)據(jù)是價(jià)值
大數(shù)據(jù)真正有意思的是數(shù)據(jù)變得在線了,這個(gè)恰恰是互聯(lián)網(wǎng)的特點(diǎn)。非互聯(lián)網(wǎng)時(shí)期的產(chǎn)品,功能一定是它的價(jià)值,今天互聯(lián)網(wǎng)的產(chǎn)品,數(shù)據(jù)一定是它的價(jià)值。
華盛恒輝舉例:大數(shù)據(jù)的真正價(jià)值在于創(chuàng)造,在于填補(bǔ)無數(shù)個(gè)還未實(shí)現(xiàn)過的空白。有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦,煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似,大數(shù)據(jù)并不在“大”,而在于“有用”,價(jià)值含量、挖掘成本比數(shù)量更為重要。不管大數(shù)據(jù)的核心價(jià)值是不是預(yù)測(cè),但是基于大數(shù)據(jù)形成決策的模式已經(jīng)為不少的企業(yè)帶來了盈利和聲譽(yù)。
數(shù)據(jù)能告訴我們,每一個(gè)客戶的消費(fèi)傾向,他們想要什么,喜歡什么,每個(gè)人的需求有哪些區(qū)別,哪些又可以被集合到一起來進(jìn)行分類。大數(shù)據(jù)是數(shù)據(jù)數(shù)量上的增加,以至于我們能夠?qū)崿F(xiàn)從量變到質(zhì)變的過程。舉例來說,這里有一張照片,照片里的人在騎馬,這張照片每一分鐘,每一秒都要拍一張,但隨著處理速度越來越快,從1分鐘一張到1秒鐘1張,突然到1秒鐘10張后,就產(chǎn)生了電影。當(dāng)數(shù)量的增長實(shí)現(xiàn)質(zhì)變時(shí),就從照片變成了一部電影。
美國有一家創(chuàng)新企業(yè)Decide.com
它可以幫助人們做購買決策,告訴消費(fèi)者什么時(shí)候買什么產(chǎn)品,什么時(shí)候買最便宜,預(yù)測(cè)產(chǎn)品的價(jià)格趨勢(shì),這家公司背后的驅(qū)動(dòng)力就是大數(shù)據(jù)。他們?cè)谌蚋鞔缶W(wǎng)站上搜集數(shù)以十億計(jì)的數(shù)據(jù),然后幫助數(shù)以十萬計(jì)的用戶省錢,為他們的采購找到最好的時(shí)間,降低交易成本,為終端的消費(fèi)者帶去更多價(jià)值。
在這類模式下,盡管一些零售商的利潤會(huì)進(jìn)一步受擠壓,但從商業(yè)本質(zhì)上來講,可以把錢更多地放回到消費(fèi)者的口袋里,讓購物變得更理性,這是依靠大數(shù)據(jù)催生出的一項(xiàng)全新產(chǎn)業(yè)。這家為數(shù)以十萬計(jì)的客戶省錢的公司,在幾個(gè)星期前,被eBay以高價(jià)收購。
北京軟件開發(fā)公司再舉一個(gè)例子,SWIFT是全球最大的支付平臺(tái),在該平臺(tái)上的每一筆交易都可以進(jìn)行大數(shù)據(jù)的分析,他們可以預(yù)測(cè)一個(gè)經(jīng)濟(jì)體的健康性和增長性。比如,該公司現(xiàn)在為全球性客戶提供經(jīng)濟(jì)指數(shù),這又是一個(gè)大數(shù)據(jù)服務(wù)。,定制化服務(wù)的關(guān)鍵是數(shù)據(jù)?!洞髷?shù)據(jù)時(shí)代》的作者維克托·邁爾·舍恩伯格認(rèn)為,大量的數(shù)據(jù)能夠讓傳統(tǒng)行業(yè)更好地了解客戶需求,提供個(gè)性化的服務(wù)。
華盛恒輝說明:用數(shù)據(jù)價(jià)值思維方式思考問題,解決問題。信息總量的變化導(dǎo)致了信息形態(tài)的變化,量變引發(fā)了質(zhì)變,先經(jīng)歷信息爆炸的學(xué)科,如天文學(xué)和基因?qū)W,創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念。如今,這個(gè)概念幾乎應(yīng)用到了所有人類致力于發(fā)展的領(lǐng)域中。從功能為價(jià)值轉(zhuǎn)變?yōu)閿?shù)據(jù)為價(jià)值,說明數(shù)據(jù)和大數(shù)據(jù)的價(jià)值在擴(kuò)大,數(shù)據(jù)為“王”的時(shí)代出現(xiàn)了。數(shù)據(jù)被解釋是信息,信息常識(shí)化是知識(shí),所以說數(shù)據(jù)解釋、數(shù)據(jù)分析能產(chǎn)生價(jià)值。
3、全樣本原理
從抽樣轉(zhuǎn)變?yōu)樾枰繑?shù)據(jù)樣本
需要全部數(shù)據(jù)樣本而不是抽樣,你不知道的事情比你知道的事情更重要,但如果現(xiàn)在數(shù)據(jù)足夠多,它會(huì)讓人能夠看得見、摸得著規(guī)律。數(shù)據(jù)這么大、這么多,所以人們覺得有足夠的能力把握未來,對(duì)不確定狀態(tài)的一種判斷,從而做出自己的決定。這些東西我們聽起來都是非常原始的,但是實(shí)際上背后的思維方式,和我們今天所講的大數(shù)據(jù)是非常像的。
華盛恒輝舉例:在大數(shù)據(jù)時(shí)代,無論是商家還是信息的搜集者,會(huì)比我們自己更知道你可能會(huì)想干什么?,F(xiàn)在的數(shù)據(jù)還沒有被真正挖掘,如果真正挖掘的話,通過信用卡消費(fèi)的記錄,可以成功預(yù)測(cè)未來5年內(nèi)的情況。統(tǒng)計(jì)學(xué)里頭基本的一個(gè)概念就是,全部樣本才能找出規(guī)律。為什么能夠找出行為規(guī)律?一個(gè)更深層的概念是人和人是一樣的,如果是一個(gè)人特例出來,可能很有個(gè)性,但當(dāng)人口樣本數(shù)量足夠大時(shí),就會(huì)發(fā)現(xiàn)其實(shí)每個(gè)人都是一模一樣的。
華盛恒輝說明:用全數(shù)據(jù)樣本思維方式思考問題,解決問題。從抽樣中得到的結(jié)論總是有水分的,而全部樣本中得到的結(jié)論水分就很少,大數(shù)據(jù)越大,真實(shí)性也就越大,因?yàn)榇髷?shù)據(jù)包含了全部的信息。
4、關(guān)注效率原理
由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率
關(guān)注效率而不是精確度,大數(shù)據(jù)標(biāo)志著人類在尋求量化和認(rèn)識(shí)世界的道路上前進(jìn)了一大步,過去不可計(jì)量、存儲(chǔ)、分析和共享的很多東西都被數(shù)據(jù)化了,擁有大量的數(shù)據(jù)和更多不那么精確的數(shù)據(jù)為我們理解世界打開了一扇新的大門。大數(shù)據(jù)能提高生產(chǎn)效率和銷售效率,原因是大數(shù)據(jù)能夠讓我們知道市場(chǎng)的需要,人的消費(fèi)需要。大數(shù)據(jù)讓企業(yè)的決策更科學(xué),由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率的提高,大數(shù)據(jù)分析能提高企業(yè)的效率。
華盛恒輝例如:在互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代,企業(yè)產(chǎn)品迭代的速度在加快。三星、小米手機(jī)制造商半年就推出一代新智能手機(jī)。利用互聯(lián)網(wǎng)、大數(shù)據(jù)提高企業(yè)效率的趨勢(shì)下,快速就是效率、預(yù)測(cè)就是效率、預(yù)見就是效率、變革就是效率、創(chuàng)新就是效率、應(yīng)用就是效率。
競(jìng)爭(zhēng)是企業(yè)的動(dòng)力,而效率是企業(yè)的生命,效率低與效率高是衡量企來成敗的關(guān)鍵。一般來講,投入與產(chǎn)出比是效率,追求高效率也就是追求高價(jià)值。手工、機(jī)器、自動(dòng)機(jī)器、智能機(jī)器之間效率是不同的,智能機(jī)器效率更高,已能代替人的思維勞動(dòng)。智能機(jī)器核心是大數(shù)據(jù)制動(dòng),而大數(shù)據(jù)制動(dòng)的速度更快。在快速變化的市場(chǎng),快速預(yù)測(cè)、快速?zèng)Q策、快速創(chuàng)新、快速定制、快速生產(chǎn)、快速上市成為企業(yè)行動(dòng)的準(zhǔn)則,也就是說,速度就是價(jià)值,效率就是價(jià)值,而這一切離不開大數(shù)據(jù)思維。
華盛恒輝說明:用關(guān)注效率思維方式思考問題,解決問題。大數(shù)據(jù)思維有點(diǎn)像混沌思維,確定與不確定交織在一起,過去那種一元思維結(jié)果,已被二元思維結(jié)果取代。過去尋求精確度,現(xiàn)在尋求高效率;過去尋求因果性,現(xiàn)在尋求相關(guān)性;過去尋找確定性,現(xiàn)在尋找概率性,對(duì)不精確的數(shù)據(jù)結(jié)果已能容忍。只要大數(shù)據(jù)分析指出可能性,就會(huì)有相應(yīng)的結(jié)果,從而為企業(yè)快速?zèng)Q策、快速動(dòng)作、創(chuàng)占先機(jī)提高了效率。
5、關(guān)注相關(guān)性原理
由因果關(guān)系轉(zhuǎn)變?yōu)殛P(guān)注相關(guān)性
關(guān)注相關(guān)性而不是因果關(guān)系,社會(huì)需要放棄它對(duì)因果關(guān)系的渴求,而僅需關(guān)注相關(guān)關(guān)系,也就是說只需要知道是什么,而不需要知道為什么。這就推翻了自古以來的慣例,而我們做決定和理解現(xiàn)實(shí)的基本方式也將受到挑戰(zhàn)。
華盛恒輝例如:大數(shù)據(jù)思維一個(gè)突出的特點(diǎn),就是從傳統(tǒng)的因果思維轉(zhuǎn)向相關(guān)思維,傳統(tǒng)的因果思維是說我一定要找到一個(gè)原因,推出一個(gè)結(jié)果來。而大數(shù)據(jù)沒有必要找到原因,不需要科學(xué)的手段來證明這個(gè)事件和那個(gè)事件之間有一個(gè)必然,先后關(guān)聯(lián)發(fā)生的一個(gè)因果規(guī)律。它只需要知道,出現(xiàn)這種跡象的時(shí)候,我就按照一般的情況,這個(gè)數(shù)據(jù)統(tǒng)計(jì)的高概率顯示它會(huì)有相應(yīng)的結(jié)果,那么我只要發(fā)現(xiàn)這種跡象的時(shí)候,我就可以去做一個(gè)決策,我該怎么做。這是和以前的思維方式很不一樣,老實(shí)說,它是一種有點(diǎn)反科學(xué)的思維,科學(xué)要求實(shí)證,要求找到準(zhǔn)確的因果關(guān)系。
在這個(gè)不確定的時(shí)代里面,等我們?nèi)フ业綔?zhǔn)確的因果關(guān)系,再去辦事的時(shí)候,這個(gè)事情早已經(jīng)不值得辦了。所以“大數(shù)據(jù)”時(shí)代的思維有點(diǎn)像回歸了工業(yè)社會(huì)的這種機(jī)械思維——機(jī)械思維就是說我按那個(gè)按鈕,一定會(huì)出現(xiàn)相應(yīng)的結(jié)果,是這樣狀態(tài)。而農(nóng)業(yè)社會(huì)往前推,不需要找到中間非常緊密的、明確的因果關(guān)系,而只需要找到相關(guān)關(guān)系,只需要找到跡象就可以了。社會(huì)因此放棄了尋找因果關(guān)系的傳統(tǒng)偏好,開始挖掘相關(guān)關(guān)系的好處。
華盛恒輝例如:美國人開發(fā)一款“個(gè)性化分析報(bào)告自動(dòng)可視化程序”軟件從網(wǎng)上挖掘數(shù)據(jù)信息,這款數(shù)據(jù)挖掘軟件將自動(dòng)從各種數(shù)據(jù)中提取重要信息,然后進(jìn)行分析,并把此信息與以前的數(shù)據(jù)關(guān)聯(lián)起來,分析出有用的信息。
非法在屋內(nèi)打隔斷的建筑物著火的可能性比其他建筑物高很多。紐約市每年接到2.5萬宗有關(guān)房屋住得過于擁擠的投訴,但市里只有200名處理投訴的巡視員,市長辦公室一個(gè)分析專家小組覺得大數(shù)據(jù)可以幫助解決這一需求與資源的落差。該小組建立了一個(gè)市內(nèi)全部90萬座建筑物的數(shù)據(jù)庫,并在其中加入市里19個(gè)部門所收集到的數(shù)據(jù):欠稅扣押記錄、水電使用異常、繳費(fèi)拖欠、服務(wù)切斷、救護(hù)車使用、當(dāng)?shù)胤缸锫?、鼠患投訴,諸如此類。
接下來,他們將這一數(shù)據(jù)庫與過去5年中按嚴(yán)重程度排列的建筑物著火記錄進(jìn)行比較,希望找出相關(guān)性。果然,建筑物類型和建造年份是與火災(zāi)相關(guān)的因素。不過,一個(gè)沒怎么預(yù)料到的結(jié)果是,獲得外磚墻施工許可的建筑物與較低的嚴(yán)重火災(zāi)發(fā)生率之間存在相關(guān)性。利用所有這些數(shù)據(jù),該小組建立了一個(gè)可以幫助他們確定哪些住房擁擠投訴需要緊急處理的系統(tǒng)。他們所記錄的建筑物的各種特征數(shù)據(jù)都不是導(dǎo)致火災(zāi)的原因,但這些數(shù)據(jù)與火災(zāi)隱患的增加或降低存在相關(guān)性。這種知識(shí)被證明是極具價(jià)值的:過去房屋巡視員出現(xiàn)場(chǎng)時(shí)簽發(fā)房屋騰空令的比例只有13%,在采用新辦法之后,這個(gè)比例上升到了70%——效率大大提高了。
全世界的商界人士都在高呼大數(shù)據(jù)時(shí)代來臨的優(yōu)勢(shì):一家超市如何從一個(gè)17歲女孩的購物清單中,發(fā)現(xiàn)了她已懷孕的事實(shí);或者將啤酒與尿不濕放在一起銷售,神奇地提高了雙方的銷售額。大數(shù)據(jù)透露出來的信息有時(shí)確實(shí)會(huì)起顛覆。比如,騰訊一項(xiàng)針對(duì)社交網(wǎng)絡(luò)的統(tǒng)計(jì)顯示,愛看家庭劇的男人是女性的兩倍還多;關(guān)心金價(jià)的是中國大媽,但緊隨其后的卻是90后。而在過去一年,支付寶中無線支付比例排名前十的竟然全部在青海、西藏和內(nèi)蒙古地區(qū)。
華盛恒輝說明:用關(guān)注相關(guān)性思維方式來思考問題,解決問題。尋找原因是一種現(xiàn)代社會(huì)的一神論,大數(shù)據(jù)推翻了這個(gè)論斷。過去尋找原因的信念正在被“更好”的相關(guān)性所取代。當(dāng)世界由探求因果關(guān)系變成挖掘相關(guān)關(guān)系,我們?cè)鯓硬拍芗炔粨p壞建立在因果推理基礎(chǔ)之上的社會(huì)繁榮和人類進(jìn)步的基石,又取得實(shí)際的進(jìn)步呢?這是值得思考的問題。
華盛恒輝解釋:轉(zhuǎn)向相關(guān)性,不是不要因果關(guān)系,因果關(guān)系還是基礎(chǔ),科學(xué)的基石還是要的。只是在高速信息化的時(shí)代,為了得到即時(shí)信息,實(shí)時(shí)預(yù)測(cè),在快速的大數(shù)據(jù)分析技術(shù)下,尋找到相關(guān)性信息,就可預(yù)測(cè)用戶的行為,為企業(yè)快速?zèng)Q策提供提前量。
比如預(yù)警技術(shù),只有提前幾十秒察覺,防御系統(tǒng)才能起作用。比如,雷達(dá)顯示有個(gè)提前量,如果沒有這個(gè)預(yù)知的提前量,雷達(dá)的作用也就沒有了,相關(guān)性也是這個(gè)原理。比如,相對(duì)論與量子論的爭(zhēng)論也能說明問題,一個(gè)說上帝不擲骰子,一個(gè)說上帝擲骰子,爭(zhēng)論幾十年,后承認(rèn)兩個(gè)都存在,而且量子論取得更大的發(fā)展——一個(gè)適用于宇宙尺度,一個(gè)適用于原子尺度。
6、預(yù)測(cè)原理
從不能預(yù)測(cè)轉(zhuǎn)變?yōu)榭梢灶A(yù)測(cè)
大數(shù)據(jù)的核心就是預(yù)測(cè),大數(shù)據(jù)能夠預(yù)測(cè)體現(xiàn)在很多方面。大數(shù)據(jù)不是要教機(jī)器像人一樣思考,相反,它是把數(shù)學(xué)算法運(yùn)用到海量的數(shù)據(jù)上來預(yù)測(cè)事情發(fā)生的可能性。正因?yàn)樵诖髷?shù)據(jù)規(guī)律面前,每個(gè)人的行為都跟別人一樣,沒有本質(zhì)變化,所以商家會(huì)比消費(fèi)者更了消費(fèi)者的行為。
華盛恒輝例如:大數(shù)據(jù)助微軟準(zhǔn)確預(yù)測(cè)世界杯
微軟大數(shù)據(jù)團(tuán)隊(duì)在2014年巴西世界足球賽前設(shè)計(jì)了世界杯模型,該預(yù)測(cè)模型正確預(yù)測(cè)了賽事后幾輪每場(chǎng)比賽的結(jié)果,包括預(yù)測(cè)德國隊(duì)將終獲勝。預(yù)測(cè)成功歸功于微軟在世界杯進(jìn)行過程中獲取的大量數(shù)據(jù),到淘汰賽階段,數(shù)據(jù)如滾雪球般增多,常握了有關(guān)球員和球隊(duì)的足夠信息,以適當(dāng)校準(zhǔn)模型并調(diào)整對(duì)接下來比賽的預(yù)測(cè)。
世界杯預(yù)測(cè)模型的方法與設(shè)計(jì)其它事件的模型相同,訣竅就是在預(yù)測(cè)中去除主觀性,讓數(shù)據(jù)說話。預(yù)測(cè)性數(shù)學(xué)模型幾乎不算新事物,但它們正變得越來越準(zhǔn)確。在這個(gè)時(shí)代,數(shù)據(jù)分析能力終于開始趕上數(shù)據(jù)收集能力,分析師不僅有比以往更多的信息可用于構(gòu)建模型,也擁有在很短時(shí)間內(nèi)通過計(jì)算機(jī)將信息轉(zhuǎn)化為相關(guān)數(shù)據(jù)的技術(shù)。
幾年前,得等每場(chǎng)比賽結(jié)束以后才能獲取所有數(shù)據(jù),現(xiàn)在,數(shù)據(jù)是自動(dòng)實(shí)時(shí)發(fā)送的,這讓預(yù)測(cè)模型能獲得更好的調(diào)整且更準(zhǔn)確。微軟世界懷模型的成績說明了其模型的實(shí)力,它的成功為大數(shù)據(jù)的力量提供了強(qiáng)有力的證明,利用同樣的方法還可預(yù)測(cè)選舉或關(guān)注股票。類似的大數(shù)據(jù)分析正用于商業(yè)、政府、經(jīng)濟(jì)學(xué)和社會(huì)科學(xué),它們都關(guān)于原始數(shù)據(jù)進(jìn)行分析。
我們進(jìn)入了一個(gè)用數(shù)據(jù)進(jìn)行預(yù)測(cè)的時(shí)代,雖然我們可能無法解釋其背后的原因。如果一個(gè)醫(yī)生只要求病人遵從醫(yī)囑,卻沒法說明醫(yī)學(xué)干預(yù)的合理性的話,情況會(huì)怎么樣呢?實(shí)際上,這是依靠大數(shù)據(jù)取得病理分析的醫(yī)生們一定會(huì)做的事情。
從一個(gè)人亂穿馬路時(shí)行進(jìn)的軌跡和速度來看他能及時(shí)穿過馬路的可能性,都是大數(shù)據(jù)可以預(yù)測(cè)的范圍。當(dāng)然,如果一個(gè)人能及時(shí)穿過馬路,那么他亂穿馬路時(shí),車子就只需要稍稍減速就好。但是這些預(yù)測(cè)系統(tǒng)之所以能夠成功,關(guān)鍵在于它們是建立在海量數(shù)據(jù)的基礎(chǔ)之上的。
此外,隨著系統(tǒng)接收到的數(shù)據(jù)越來越多,通過記錄找到的好的預(yù)測(cè)與模式,可以對(duì)系統(tǒng)進(jìn)行改進(jìn)。它通常被視為人工智能的一部分,或者更確切地說,被視為一種機(jī)器學(xué)習(xí)。真正的革命并不在于分析數(shù)據(jù)的機(jī)器,而在于數(shù)據(jù)本身和我們?nèi)绾芜\(yùn)用數(shù)據(jù)。一旦把統(tǒng)計(jì)學(xué)和現(xiàn)在大規(guī)模的數(shù)據(jù)融合在一起,將會(huì)顛覆很多我們?cè)瓉淼乃季S。所以現(xiàn)在能夠變成數(shù)據(jù)的東西越來越多,計(jì)算和處理數(shù)據(jù)的能力越來越強(qiáng),所以大家突然發(fā)現(xiàn)這個(gè)東西很有意思。所以,大數(shù)據(jù)能干啥?能干很多很有意思的事情。
華盛恒輝例如:預(yù)測(cè)當(dāng)年葡萄酒的品質(zhì)
很多品酒師品的不是葡萄酒,那時(shí)候葡萄酒還沒有真正的做成,他們品的是發(fā)爛的葡萄。因此在那個(gè)時(shí)間點(diǎn)就預(yù)測(cè)當(dāng)年葡萄酒的品質(zhì)是比較冒險(xiǎn)的。而且人的心理的因素是會(huì)影響他做的這個(gè)預(yù)測(cè),比如說地位越高的品酒師,在做預(yù)測(cè)時(shí)會(huì)越保守,因?yàn)樗坏╊A(yù)測(cè)錯(cuò)了,要損失的名譽(yù)代價(jià)是很大的。所以的品酒大師一般都不敢貿(mào)然說今年的酒特別好,或者是特別差;而剛出道的品酒師往往會(huì)“語不驚人死不休的”。
普林斯頓大學(xué)有一個(gè)英語學(xué)教授,他也很喜歡喝酒,喜歡儲(chǔ)藏葡萄酒,所以他就想是否可以分析到底哪年酒的品質(zhì)好。然后他就找了很多數(shù)據(jù),比如說降雨量、平均氣溫、土壤成分等等,然后他做回歸,后他說把參數(shù)都找出來,做了個(gè)網(wǎng)站,告訴大家今年葡萄酒的品質(zhì)好壞以及秘訣是什么。
當(dāng)他的研究公布的時(shí)候,引起了業(yè)界的軒然大波,因?yàn)樗鲱A(yù)測(cè)做的很提前,因?yàn)榻衲甑钠咸咽斋@后要經(jīng)過一段的時(shí)間發(fā)酵,酒的味道才會(huì)好,但這個(gè)教授突然預(yù)測(cè)說今年的酒是世紀(jì)好的酒。大家說怎么敢這么說,太瘋狂了。更瘋狂的是到了第二年,他預(yù)測(cè)今年的酒比去年的酒更好,連續(xù)兩次預(yù)測(cè)說是百年好的酒,但他真的預(yù)測(cè)對(duì)了?,F(xiàn)在品酒師在做評(píng)判之前,要先到他的網(wǎng)站上看看他的預(yù)測(cè),然后再做出自己的判斷。有很多的規(guī)律我們不知道,但是它潛伏在這些大數(shù)據(jù)里頭。
華盛恒輝例如:大數(shù)據(jù)描繪“傷害圖譜”
廣州市傷害監(jiān)測(cè)信息系統(tǒng)通過廣州市紅十字會(huì)醫(yī)院、番禺區(qū)中心醫(yī)院、越秀區(qū)兒童醫(yī)院3個(gè)傷害監(jiān)測(cè)哨點(diǎn)醫(yī)院,持續(xù)收集市內(nèi)發(fā)生的傷害信息,分析傷害發(fā)生的原因及危險(xiǎn)因素,系統(tǒng)共收集傷害患者14681例,接近九成半都是意外事故。整體上,傷害多發(fā)生于男性,占61.76%,5歲以下兒童傷害比例高達(dá)14.36%,家長和社會(huì)應(yīng)高度重視,45.19%的傷害都是發(fā)生在家中,其次才是公路和街道。
收集到監(jiān)測(cè)數(shù)據(jù)后,關(guān)鍵是通過分析處理,把數(shù)據(jù)“深加工”以利用。比如,監(jiān)測(cè)數(shù)據(jù)顯示,老人跌倒多數(shù)不是發(fā)生在雨天屋外,而是發(fā)生在家里,尤其是旱上剛起床時(shí)和浴室里,這就提示,防控老人跌倒的對(duì)策應(yīng)該著重在家居,起床要注意不要?jiǎng)幼鬟^猛,浴室要防滑,加扶手等等。
北京軟件開發(fā)公司說明:用大數(shù)據(jù)預(yù)測(cè)思維方式來思考問題,解決問題。數(shù)據(jù)預(yù)測(cè)、數(shù)據(jù)記錄預(yù)測(cè)、數(shù)據(jù)統(tǒng)計(jì)預(yù)測(cè)、數(shù)據(jù)模型預(yù)測(cè),數(shù)據(jù)分析預(yù)測(cè)、數(shù)據(jù)模式預(yù)測(cè)、數(shù)據(jù)深層次信息預(yù)測(cè)等等,已轉(zhuǎn)變?yōu)榇髷?shù)據(jù)預(yù)測(cè)、大數(shù)據(jù)記錄預(yù)測(cè)、大數(shù)據(jù)統(tǒng)計(jì)預(yù)測(cè)、大數(shù)據(jù)模型預(yù)測(cè),大數(shù)據(jù)分析預(yù)測(cè)、大數(shù)據(jù)模式預(yù)測(cè)、大數(shù)據(jù)深層次信息預(yù)測(cè)。
互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)和云計(jì)算機(jī)保證了大數(shù)據(jù)實(shí)時(shí)預(yù)測(cè)的可能性,也為企業(yè)和用戶提供了實(shí)時(shí)預(yù)測(cè)的信息,相關(guān)性預(yù)測(cè)的信息,讓企業(yè)和用戶搶占先機(jī)。由于大數(shù)據(jù)的全樣本性,人和人都是一樣的,所以云計(jì)算機(jī)軟件預(yù)測(cè)的效率和準(zhǔn)確性大大提高,有這種跡象,就有這種結(jié)果。
7、信息找人原理
從人找信息轉(zhuǎn)變?yōu)樾畔⒄胰?/b>
互聯(lián)網(wǎng)和大數(shù)據(jù)的發(fā)展,是一個(gè)從人找信息,到信息找人的過程。先是人找信息,人找人,信息找信息,現(xiàn)在是信息找人的這樣一個(gè)時(shí)代。信息找人的時(shí)代,就是說一方面我們回到了一種初的,廣播模式是信息找人,我們聽收音機(jī),我們看電視,它是信息推給我們的,但是有一個(gè)缺陷,不知道我們是誰,后來互聯(lián)網(wǎng)反其道而行,提供搜索引擎技術(shù),讓我知道如何找到我所需要的信息,所以搜索引擎是一個(gè)很關(guān)鍵的技術(shù)。
華盛恒輝例如:從搜索引擎——向推薦引擎轉(zhuǎn)變。今天,后搜索引擎時(shí)代已經(jīng)正式來到,什么叫做后搜索引擎時(shí)代呢?使用搜索引擎的頻率會(huì)大大降低,使用的時(shí)長也會(huì)大大的縮短,為什么使用搜索引擎的頻率在下降?時(shí)長在下降?原因是推薦引擎的誕生。就是說從人找信息到信息找人越來越成為了一個(gè)趨勢(shì),推薦引擎就是說它很懂我,知道我要知道,所以是好的技術(shù)。喬布斯說,讓人感受不到技術(shù)的技術(shù)是好的技術(shù)。
大數(shù)據(jù)還改變了信息優(yōu)勢(shì)。按照循證醫(yī)學(xué),現(xiàn)在治病的第一件事情不是去研究病理學(xué),而是拿過去的數(shù)據(jù)去研究,相同情況下是如何治療的。這導(dǎo)致專家和普通人之間的信息優(yōu)勢(shì)沒有了。原來我相信醫(yī)生,因?yàn)獒t(yī)生知道的多,但現(xiàn)在我可以到谷歌上查一下,知道自己得了什么病。
谷歌有一個(gè)機(jī)器翻譯的團(tuán)隊(duì),開始的時(shí)候翻譯之后的文字根本看不懂,但是現(xiàn)在60%的內(nèi)容都能讀得懂。谷歌機(jī)器翻譯團(tuán)隊(duì)里頭有一個(gè)笑話,說從團(tuán)隊(duì)每離開一個(gè)語言學(xué)家,翻譯質(zhì)量就會(huì)提高。越是專家越搞不明白,但打破常規(guī)讓數(shù)據(jù)說話,得到真理的速度反而更快。
華盛恒輝說明:用信息找人的思維方式思考問題,解決問題。從人找信息到信息找人,是交互時(shí)代一個(gè)轉(zhuǎn)變,也是智能時(shí)代的要求。智能機(jī)器已不是冷冰冰的機(jī)器,而是具有一定智能的機(jī)器。信息找人這四個(gè)字,預(yù)示著大數(shù)據(jù)時(shí)代可以讓信息找人,原因是企業(yè)懂用戶,機(jī)器懂用戶,你需要什么信息,企業(yè)和機(jī)器提前知道,而且主動(dòng)提供你需要的信息。
8、機(jī)器懂人原理
由人懂機(jī)器轉(zhuǎn)變?yōu)闄C(jī)器更懂人
不是讓人更懂機(jī)器,而是讓機(jī)器更懂人,或者說是能夠在使用者很笨的情況下,仍然可以使用機(jī)器。甚至不是讓人懂環(huán)境,而是讓我們的環(huán)境來懂我們,環(huán)境來適應(yīng)人,某種程度上自然環(huán)境不能這樣講,但是在數(shù)字化環(huán)境中已經(jīng)是這樣的一個(gè)趨勢(shì),就是我們所在的生活世界,越來越趨向于它更適應(yīng)于我們,更懂我們。哪個(gè)企業(yè)能夠真正做到讓機(jī)器更懂人,讓環(huán)境更懂人,讓我們隨身攜帶的整個(gè)的生活世界更懂得我們的話,那他一定是具有競(jìng)爭(zhēng)力的了,而“大數(shù)據(jù)”技術(shù)能夠助我們一臂之力。
北京軟件開發(fā)公司例如:亞馬遜網(wǎng)站,只要買書,就會(huì)提供一個(gè)今天司空見慣的推薦,買了這本書的人還買了什么書,后來發(fā)現(xiàn)相關(guān)推薦的書比我想買的書還要好,時(shí)間久之后就會(huì)對(duì)它產(chǎn)生一種信任。這種信任就像在北京的那么多書店里面,以前買書的時(shí)候就在幾家,原因在于我買書比較多,他都已經(jīng)認(rèn)識(shí)我了,都是我一去之后,我不說我要買什么書,他會(huì)推薦最近上來的幾本書,可能是我感興趣的。這樣我就不會(huì)到別的很近的書店,因?yàn)檫@家書店更懂我。
北京軟件開發(fā)公司例如,解題機(jī)器人挑戰(zhàn)大型預(yù)科學(xué)校高考模擬試題的結(jié)果,解題機(jī)器人的學(xué)歷水平應(yīng)該比肩普通高三學(xué)生。計(jì)算機(jī)不擅長對(duì)語言和知識(shí)進(jìn)行綜合解析,但通過借助大規(guī)模數(shù)據(jù)庫對(duì)普通文章做出判斷的方法,在對(duì)話填空和語句重排等題型上成績有所提高。
讓機(jī)器懂人,是讓機(jī)器具有學(xué)習(xí)的功能。人工智能已轉(zhuǎn)變?yōu)檠芯繖C(jī)器學(xué)習(xí)。大數(shù)據(jù)分析要求機(jī)器更智能,具有分析能力,機(jī)器即時(shí)學(xué)習(xí)變得更重要。機(jī)器學(xué)習(xí)是指:計(jì)算機(jī)利用經(jīng)驗(yàn)改善自身性能的行為。機(jī)器學(xué)習(xí)主要研究如何使用計(jì)算機(jī)模擬和實(shí)現(xiàn)人類獲取知識(shí)(學(xué)習(xí))過程、創(chuàng)新、重構(gòu)已有的知識(shí),從而提升自身處理問題的能力,機(jī)器學(xué)習(xí)的最終目的是從數(shù)據(jù)中獲取知識(shí)。
大數(shù)據(jù)技術(shù)的其中一個(gè)核心目標(biāo)是要從體量巨大、結(jié)構(gòu)繁多的數(shù)據(jù)中挖掘出隱蔽在背后的規(guī)律,從而使數(shù)據(jù)發(fā)揮大化的價(jià)值。由計(jì)算機(jī)代替人去挖掘信息,獲取知識(shí)。從各種各樣的數(shù)據(jù)(包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù))中快速獲取有價(jià)值信息的能力,就是大數(shù)據(jù)技術(shù)。大數(shù)據(jù)機(jī)器分析中,半監(jiān)督學(xué)習(xí)、集成學(xué)習(xí)、 概率模型等技術(shù)尤為重要。
華盛恒輝說明:用機(jī)器更懂人的思維方式思考問題,解決問題。機(jī)器從沒有常識(shí)到逐步有點(diǎn)常識(shí),這是很大的變化。去年,美國人把一臺(tái)云計(jì)算機(jī)送到大學(xué)里去進(jìn)修,增加知識(shí)和常識(shí)。近俄羅斯人開發(fā)一臺(tái)計(jì)算機(jī)軟件通過圖林測(cè)試,表明計(jì)算機(jī)已初步具有智能。
讓機(jī)器懂人,這是人工智能的成功,同時(shí),也是人的大數(shù)據(jù)思維轉(zhuǎn)變。你的機(jī)器、你的軟件、你的服務(wù)是否更懂人?將是衡量一個(gè)機(jī)器、一件軟件、一項(xiàng)服務(wù)好壞的標(biāo)準(zhǔn)。人機(jī)關(guān)系已發(fā)生很大變化,由人機(jī)分離,轉(zhuǎn)化為人機(jī)溝通,人機(jī)互補(bǔ),機(jī)器懂人,現(xiàn)在年青人已離不開智能手機(jī)是一個(gè)很好的例證。在互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代,有問題—問機(jī)器—問百度,成為生活的一部分。機(jī)器什么都知道,原因是有大數(shù)據(jù)庫,機(jī)器可搜索到相關(guān)數(shù)據(jù),從而使機(jī)器懂人。是人讓機(jī)器更懂人,如果機(jī)器更懂人,那么機(jī)器的價(jià)值更高。
9、電子商務(wù)智能原理
改變了電子商務(wù)模式,讓其更智能
商務(wù)智能,在今天大數(shù)據(jù)時(shí)代它獲得的重新的定義。
華盛恒輝例如:傳統(tǒng)企業(yè)進(jìn)入互聯(lián)網(wǎng),在掌握了“大數(shù)據(jù)”技術(shù)應(yīng)用途徑之后,會(huì)發(fā)現(xiàn)有一種豁然開朗的感覺,我整天就像在黑屋子里面找東西,找不著,突然碰到了一個(gè)開關(guān),發(fā)現(xiàn)那么費(fèi)力的找東西,原來很容易找得到。大數(shù)據(jù)思維,事實(shí)上它不是一個(gè)全稱的判斷,只是對(duì)我們所處的時(shí)代某一個(gè)緯度的描述。
大數(shù)據(jù)時(shí)代不是說我們這個(gè)時(shí)代除了大數(shù)據(jù)什么都沒有,哪怕是在互聯(lián)網(wǎng)和IT領(lǐng)域,它也不是一切,只是說在我們的時(shí)代特征里面加上這么一道很明顯的光,從而導(dǎo)致我們對(duì)以前的生存狀態(tài),以及我們個(gè)人的生活狀態(tài)的一個(gè)差異化的一種表達(dá)。
華盛恒輝例如:大數(shù)據(jù)讓軟件更智能。盡管我們?nèi)蕴幱诖髷?shù)據(jù)時(shí)代來臨的前夕,但我們的日常生活已經(jīng)離不開它了。交友網(wǎng)站根據(jù)個(gè)人的性格與之前成功配對(duì)的情侶之間的關(guān)聯(lián)來進(jìn)行新的配對(duì)。例如,具有“自動(dòng)改正”功能的智能手機(jī)通過分析我們以前的輸入,將個(gè)性化的新單詞添加到手機(jī)詞典里。在不久的將來,世界許多現(xiàn)在單純依靠人類判斷力的領(lǐng)域都會(huì)被計(jì)算機(jī)系統(tǒng)所改變甚至取代。計(jì)算機(jī)系統(tǒng)可以發(fā)揮作用的領(lǐng)域遠(yuǎn)遠(yuǎn)不止駕駛和交友,還有更多更復(fù)雜的任務(wù)。別忘了,亞馬遜可以幫我們推薦想要的書,谷歌可以為關(guān)聯(lián)網(wǎng)站排序,F(xiàn)acebook知道我們的喜好,而linkedIn可以猜出我們認(rèn)識(shí)誰。
華盛恒輝當(dāng)然,同樣的技術(shù)也可以運(yùn)用到疾病診斷、推薦治療措施,甚至是識(shí)別潛在犯罪分子上?;蛘哒f,在你還不知道的情況下,體檢公司、醫(yī)院提醒你趕緊去做檢查,可能會(huì)得某些病,商家比你更了解你自己,以及你這樣的人在某種情況下會(huì)出現(xiàn)的可能變化。就像互聯(lián)網(wǎng)通過給計(jì)算機(jī)添加通信功能而改變了世界,大數(shù)據(jù)也將改變我們生活中重要的方面,因?yàn)樗鼮槲覀兊纳顒?chuàng)造了前所未有的可量化的維度。
華盛恒輝說明:用電子商務(wù)更智能的思維方式思考問題,解決問題。人腦思維與機(jī)器思維有很大差別,但機(jī)器思維在速度上是取勝的,而且智能軟件在很多領(lǐng)域已能代替人腦思維的操作工作。例如美國一家媒體公司已用電腦智能軟件寫稿,可用率已達(dá)70%。云計(jì)算機(jī)已能處理超字節(jié)的大數(shù)據(jù)量,人們需要的所有信息都可得到顯現(xiàn),而且每個(gè)人互聯(lián)網(wǎng)行為都可記錄,這些記錄的大數(shù)據(jù)經(jīng)過云計(jì)算處理能產(chǎn)生深層次信息,經(jīng)過大數(shù)據(jù)軟件挖掘,企業(yè)需要的商務(wù)信息都能實(shí)時(shí)提供,為企業(yè)決策和營銷、定制產(chǎn)品等提供了大數(shù)據(jù)支持。
10、定制產(chǎn)品原理
由企業(yè)生產(chǎn)產(chǎn)品轉(zhuǎn)為由客戶定制產(chǎn)品
下一波的改革是大規(guī)模定制,為大量客戶定制產(chǎn)品和服務(wù),成本低、又兼具個(gè)性化。比如消費(fèi)者希望他買的車有紅色、綠色,廠商有能力滿足要求,但價(jià)格又不至于像手工制作那般讓人無法承擔(dān)。因此,在廠家可以負(fù)擔(dān)得起大規(guī)模定制帶去的高成本的前提下,要真正做到個(gè)性化產(chǎn)品和服務(wù),就必須對(duì)客戶需求有很好的了解,這背后就需要依靠大數(shù)據(jù)技術(shù)。
華盛恒輝例如:大數(shù)據(jù)改變了企業(yè)的競(jìng)爭(zhēng)力。定制產(chǎn)品這是一個(gè)很好的技術(shù),但是能不能夠形成企業(yè)的競(jìng)爭(zhēng)力呢?在產(chǎn)業(yè)經(jīng)濟(jì)學(xué)里面有一個(gè)很重要的區(qū)別,就是生產(chǎn)力和競(jìng)爭(zhēng)力的區(qū)別,就是說一個(gè)東西是具有生產(chǎn)力的,那這種生產(chǎn)力變成一種通用生產(chǎn)力的時(shí)候,就不能形成競(jìng)爭(zhēng)力,因?yàn)槊恳粋€(gè)人,每一個(gè)企業(yè)都有這個(gè)生產(chǎn)力的時(shí)候,只能提高自己的生產(chǎn)力,過去沒有車的時(shí)候和有車的時(shí)候,你的活動(dòng)半徑、運(yùn)行速度大大提高了,但是當(dāng)每一個(gè)人都沒有車的時(shí)候,你有車,就會(huì)形成競(jìng)爭(zhēng)力。大數(shù)據(jù)也一樣,你有大數(shù)據(jù)定制產(chǎn)品,別人沒有,就會(huì)形成競(jìng)爭(zhēng)力。
在互聯(lián)網(wǎng)大數(shù)據(jù)的時(shí)代,商家最后很可能可以針對(duì)每一個(gè)顧客進(jìn)行精準(zhǔn)的價(jià)格歧視。我們現(xiàn)在很多的行為都是比較粗放的,航空公司會(huì)給我們里程卡,根據(jù)飛行公里數(shù)來累計(jì)里程,但其實(shí)不同顧客所飛行的不同里程對(duì)航空公司的利潤貢獻(xiàn)是不一樣的。所以有一天某位顧客可能會(huì)收到一封信,“恭喜先生,您已經(jīng)被我們選為幸運(yùn)顧客,我們提前把您升級(jí)到白金卡。”這說明這個(gè)顧客對(duì)航空公司的貢獻(xiàn)已經(jīng)夠多了。有一天銀行說“恭喜您,您的額度又被提高了,”就說明錢花得已經(jīng)太多了。
正因?yàn)樵诖髷?shù)據(jù)規(guī)律面前,每個(gè)人的行為都跟別人一樣,沒有本質(zhì)變化。所以商家會(huì)比消費(fèi)者更了消費(fèi)者的行為。也許你正在想,工作了一年很辛苦,要不要去哪里度假打開e-Mail,就有航空公司、旅行社的郵件。
華盛恒輝說明:用定制產(chǎn)品思維方式思考問題,解決問題。大數(shù)據(jù)時(shí)代讓企業(yè)找到了定制產(chǎn)品、訂單生產(chǎn)、用戶銷售的新路子。用戶在家購買商品已成為趨勢(shì),快遞的快速,讓用戶體驗(yàn)到實(shí)時(shí)購物的快感,進(jìn)而成為網(wǎng)購迷,個(gè)人消費(fèi)不是減少了,反而是增加了。為什么企業(yè)要互聯(lián)網(wǎng)化大數(shù)據(jù)化,也許有這個(gè)原因。2000萬家互聯(lián)網(wǎng)網(wǎng)店的出現(xiàn),說明數(shù)據(jù)廣告、數(shù)據(jù)傳媒的重要性。
企業(yè)產(chǎn)品直接銷售給用戶,省去了中間商流通環(huán)節(jié),使產(chǎn)品的價(jià)格可以以出廠價(jià)銷售,讓銷費(fèi)者獲得了好處,網(wǎng)上產(chǎn)品便宜成為用戶的信念,網(wǎng)購市場(chǎng)形成了。要讓用戶成為你的產(chǎn)品粉絲,就必須了解用戶需要,定制產(chǎn)品成為用戶的心愿,也就成為企業(yè)發(fā)展的新方向。
大數(shù)據(jù)思維是客觀存在,大數(shù)據(jù)思維是新的思維觀。用大數(shù)據(jù)思維方式思考問題,解決問題是當(dāng)下企業(yè)潮流。大數(shù)據(jù)思維開啟了一次重大的時(shí)代轉(zhuǎn)型。
誤區(qū)
(1)大數(shù)據(jù)意味著“很多”數(shù)據(jù)
目前,大數(shù)據(jù)已經(jīng)成為一個(gè)流行詞。但人們通常對(duì)它真正的含義還是不清楚。有些人將大數(shù)據(jù)簡(jiǎn)單地認(rèn)為是大量的數(shù)據(jù)。但是,這并不完全正確,它比這稍微復(fù)雜一些。大數(shù)據(jù)是指一個(gè)數(shù)據(jù)集,無論是結(jié)構(gòu)(如數(shù)據(jù)表)或非結(jié)構(gòu)化(如元數(shù)據(jù)從電子郵件)結(jié)合的數(shù)據(jù),如社會(huì)媒體分析或物聯(lián)網(wǎng)數(shù)據(jù),形成一個(gè)更大的故事。大數(shù)據(jù)故事說明組織很難用傳統(tǒng)的分析技術(shù)來捕獲發(fā)生的趨勢(shì)。
豐田研究院的數(shù)據(jù)研究總監(jiān)吉姆·阿德勒表達(dá)了一個(gè)很好的觀點(diǎn):“數(shù)據(jù)也有質(zhì)量。這就像水一樣:玻璃容器中的水是非常易于管理。但是,如果混雜在洪水中,這將是壓倒性的災(zāi)害。”他說,“在數(shù)據(jù)分析系統(tǒng)中,工作在一臺(tái)機(jī)器的的數(shù)據(jù)將被沖走時(shí),其數(shù)據(jù)規(guī)模將增長100或1000倍。所以,當(dāng)然,原型雖小,但其架構(gòu)卻很大。”
(2)數(shù)據(jù)需要清潔
“大的誤區(qū)就是你必須要有干凈的數(shù)據(jù)進(jìn)行分析。”BeyondCore公司首席執(zhí)行官阿里吉特·森古普塔說,“沒有人有干凈的數(shù)據(jù),必須將數(shù)據(jù)進(jìn)行清理,否則分析是行不通的。這是一個(gè)瘋狂的想法。你要做的就是進(jìn)行一個(gè)足夠好的分析。你要分析所有的數(shù)據(jù),盡管這些數(shù)據(jù)是骯臟的,這只說明你有數(shù)據(jù)質(zhì)量問題。我可以告訴你一些模式,盡管數(shù)據(jù)存在質(zhì)量問題,但完全可以進(jìn)行正常分析?,F(xiàn)在,你可以集中進(jìn)行數(shù)據(jù)質(zhì)量工作,只是提高數(shù)據(jù)可以得到稍微好一點(diǎn)的洞察力。”
InOutsource商業(yè)智能和分析總監(jiān)梅根·布茨梅因?qū)Υ吮硎举澩?ldquo;很多時(shí)候,企業(yè)就會(huì)將這些工作能拖就拖,因?yàn)樗麄冋J(rèn)為數(shù)據(jù)是不干凈的,這是沒有必要的。部署的分析應(yīng)用程序?qū)⒖梢哉业綌?shù)據(jù)的薄弱環(huán)節(jié),”她說。“一旦這些問題已經(jīng)確定,清理計(jì)劃可以投入到位。然后,分析應(yīng)用程序可以利用一種機(jī)制,加大清理力度,并監(jiān)測(cè)進(jìn)展情況。”
布茨梅因說。“一旦你把這些數(shù)據(jù)整合在一起,你將在一個(gè)應(yīng)用程序中賦予它生命的視覺,你可以看到這些匯集在一起的數(shù)據(jù)的關(guān)聯(lián),你會(huì)很快看到你的資料不足。”她說,“你可以看到數(shù)據(jù)的問題在于要提供一個(gè)清理數(shù)據(jù)的基準(zhǔn)。”
(3)等待,讓你的數(shù)據(jù)完美
你不應(yīng)該等待清理你的數(shù)據(jù),這里還有一個(gè)原因,森古普塔說,“在你完全清除數(shù)據(jù)之后,這可能需要三個(gè)月的時(shí)間,然而三個(gè)月后,這些數(shù)據(jù)已經(jīng)陳舊過時(shí)了。”因此,這些信息將不再適用。
森古普塔表示,第一州際銀行的喬希·巴特曼在會(huì)議提出了一個(gè)重要觀點(diǎn)。喬希展示了他是如何運(yùn)行分析,發(fā)現(xiàn)問題,分析變化,重新運(yùn)行分析的。他說,“你看,我的分析時(shí)間只有大約四到五分鐘。所以,如果我可以運(yùn)行分析,發(fā)現(xiàn)問題,解決問題,再重新進(jìn)行分析,并在四、五分鐘后查看報(bào)告,改變?nèi)绾翁幚矸治龅姆椒ā?rdquo;
森古普塔用編碼來比喻那些舊方式。“我的一切都是正確的,然后我進(jìn)行編碼。但現(xiàn)在,每個(gè)人進(jìn)行編碼都不太靈活。”他說。“你寫好程序之后,你必須要測(cè)試它,并查看如何能使它更好,那么等它變得更好之后。世界發(fā)生了變化,人們?nèi)匀徊捎玫氖桥f的做事方法。”
(4)數(shù)據(jù)湖
數(shù)據(jù)湖是持有大量的原始結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)的松散的存儲(chǔ)庫,經(jīng)常在大數(shù)據(jù)的背景下提到。
唯一的問題是,盡管他們是如何經(jīng)常被引用,但它們卻不存在,阿德勒說,“一個(gè)組織的數(shù)據(jù)不被倒入一個(gè)數(shù)據(jù)湖中。這是精心策劃的一個(gè)部門的數(shù)據(jù)庫。鼓勵(lì)集中使用專業(yè)知識(shí)。他們還提供了良好的數(shù)據(jù)治理和合規(guī)性所需的問責(zé)性和透明度。”
(5)分析數(shù)據(jù)是昂貴的
如果假定在數(shù)據(jù)分析工具涉及一些費(fèi)用的話,你可能會(huì)害怕獲得數(shù)據(jù)。而可以告訴你的有好消息是,如今有許多免費(fèi)的數(shù)據(jù)工具,任何人都可以開始使用這些工具來分析大數(shù)據(jù)。
同時(shí),森古普塔表示,當(dāng)今云計(jì)算的低成本意味著“你真的可以做那些以前從來不可能實(shí)現(xiàn)的的事情。”
(6)機(jī)器算法將取代人類分析
森古普塔認(rèn)為在分析大數(shù)據(jù)方法有一個(gè)有趣的二分法。“有人說,解決這個(gè)問題需要成千上萬的數(shù)據(jù)科學(xué)家來分析解決,隨后,又有人說,采用機(jī)器學(xué)習(xí)就可以做到這一切。這將是完全自動(dòng)的。”
但是,桑古塔并不認(rèn)為這些都是合適的解決方案。“沒有足夠的數(shù)據(jù)科學(xué)家,成本將快速上升。”他說,“此外,企業(yè)用戶有多年的域名登錄經(jīng)驗(yàn),并有著對(duì)他們業(yè)務(wù)的直覺。當(dāng)你請(qǐng)來一個(gè)數(shù)據(jù)科學(xué)家,并認(rèn)為他會(huì)搞定這些工作,并告訴你該怎么做。這實(shí)際上創(chuàng)造了一個(gè)確切的錯(cuò)誤,數(shù)據(jù)科學(xué)家們往往無法無法足夠了解企業(yè)的業(yè)務(wù)。”
“完美”的數(shù)據(jù)科學(xué)家,是那些準(zhǔn)確理解具體業(yè)務(wù)如何運(yùn)作,以及其數(shù)據(jù)是如何工作的,這是一個(gè)誤區(qū)。森古普塔說,“這樣的人根本不存在。”
在現(xiàn)實(shí)中,森古普塔說,“大多數(shù)數(shù)據(jù)科學(xué)項(xiàng)目實(shí)際上沒有得到實(shí)施,因?yàn)樗侨绱似D難,需要幾個(gè)月得到完成,而當(dāng)它完成的時(shí)候,你所關(guān)心的問題是已經(jīng)陳舊過時(shí)了。”
但是,也有過于依賴機(jī)器學(xué)習(xí)問題。“機(jī)器學(xué)習(xí)只是給出一個(gè)答案,但并沒有解釋。它告訴人們?cè)撛趺醋觯皇菫槭裁匆菢幼觯?rdquo;他說。“人們不喜歡別人告訴他該怎么做,尤其是神奇的機(jī)器。”他說,其關(guān)鍵是不只是答案,而是其解釋和建議。
一方面,他說,數(shù)據(jù)科學(xué)家將變得越來越專業(yè)化,而這是真正困難的問題。“想一想各機(jī)構(gòu)和企業(yè)開始建設(shè)了數(shù)據(jù)處理部門和一些處理部門。世界500強(qiáng)企業(yè)也有數(shù)據(jù)處理部門“或數(shù)字加工部門。但他們基本上變成了Excel,Word和PowerPoint。”盡管如此,人們?nèi)匀皇菙?shù)據(jù)和數(shù)字處理方面的專家。
“如果我去摩根士丹利,相信我,那些數(shù)據(jù)處理和數(shù)字處理方面的專家仍然存在。他們只是有著不同的名稱和不同的工作,但在真正的情況下,這些人仍然存在,但80%-90%的專家已經(jīng)轉(zhuǎn)移到Excel,Word和PowerPoint方面,這是全球在大數(shù)據(jù)方面應(yīng)該發(fā)展的主要原因。”