2016年，大數(shù)據(jù)已從前兩年的預期膨脹階段、炒作階段轉入理性發(fā)展階段、落地應用階段。2017年，大數(shù)據(jù)依然處于理性發(fā)展期，依然存在諸多挑戰(zhàn)，但前景依然非常樂觀。2017年大數(shù)據(jù)的發(fā)展呈現(xiàn)十大趨勢：
趨勢1：越來越多的企業(yè)實現(xiàn)數(shù)據(jù)孤島的打通，驅動大數(shù)據(jù)發(fā)揮更強的威力
企業(yè)啟動大數(shù)據(jù)最重要的挑戰(zhàn)是數(shù)據(jù)的碎片化。在很多企業(yè)中尤其是大型的企業(yè)，數(shù)據(jù)常常散落在不同部門，而且這些數(shù)據(jù)存在不同的數(shù)據(jù)倉庫中，不同部門的數(shù)據(jù)技術也有可能不通，導致企業(yè)內(nèi)部數(shù)據(jù)無法打通。若不打通，大數(shù)據(jù)的價值則難以挖掘。大數(shù)據(jù)需要不同數(shù)據(jù)的關聯(lián)和整合才能更好的發(fā)揮理解客戶和理解業(yè)務的優(yōu)勢。將不同部門的數(shù)據(jù)打通，并且實現(xiàn)技術和工具共享，才能更好的發(fā)揮企業(yè)大數(shù)據(jù)的價值。
剛剛過去的2016年，無論是企業(yè)還是政府機構，都在不同程度的展開了大數(shù)據(jù)的工作，并意識到了內(nèi)部數(shù)據(jù)打通，解決內(nèi)部數(shù)據(jù)孤島是啟動大數(shù)據(jù)戰(zhàn)略的重要基礎。但是，大部分企業(yè)和機構內(nèi)部數(shù)據(jù)打通的工作做的并不到位。2017年，我們有理由相信，更多企業(yè)會有更大的決心去推動內(nèi)部數(shù)據(jù)打通，并在此基礎上，構建與外部數(shù)據(jù)打通的基礎，實現(xiàn)內(nèi)外部數(shù)據(jù)打通，更好的發(fā)揮大數(shù)據(jù)關聯(lián)和整合的業(yè)務價值。
趨勢2：大數(shù)據(jù)在企業(yè)管理中落地，大數(shù)據(jù)和企業(yè)精細化經(jīng)營結合更為緊密
很多企業(yè)業(yè)務部門不了解大數(shù)據(jù)，也不了解大數(shù)據(jù)的應用場景和價值，因此難以提出大數(shù)據(jù)的準確需求。由于業(yè)務部門需求不清晰，大數(shù)據(jù)部門又為非盈利部門，導致很多企業(yè)在搭建大數(shù)據(jù)部門時猶豫不決，或者處于觀望嘗試的態(tài)度，從根本上影響了企業(yè)在大數(shù)據(jù)方向的發(fā)展，也阻礙了企業(yè)積累和挖掘數(shù)據(jù)資產(chǎn)。
甚至由于數(shù)據(jù)沒有應用場景，企業(yè)刪除了很多有價值的歷史數(shù)據(jù)，導致企業(yè)數(shù)據(jù)資產(chǎn)流失。因此，這方面需要大數(shù)據(jù)從業(yè)者和專家一起，推動和分享大數(shù)據(jù)應用場景，讓更多的業(yè)務人員了解大數(shù)據(jù)的價值。
一種新的技術往往在少數(shù)行業(yè)應用取得了好的效果，對其他行業(yè)就有強烈的示范效應。2016年，大數(shù)據(jù)在互聯(lián)網(wǎng)、電信、金融、零售等行業(yè)取得了較好的效果。在2017年的經(jīng)濟大環(huán)境下，更多的企業(yè)和機構會更注重精細化經(jīng)營，大數(shù)據(jù)作為一種從數(shù)據(jù)中創(chuàng)造新價值的工具，將會在許多行業(yè)的企業(yè)得到應用，驅動業(yè)績增長。大數(shù)據(jù)將在幫助企業(yè)更好的理解和滿足客戶需求和潛在需求，更好的應用在業(yè)務運營智能監(jiān)控、精細化企業(yè)運營、客戶生命周期管理、精細化營銷、經(jīng)營分析和戰(zhàn)略分析等方面。
趨勢3：大數(shù)據(jù)已經(jīng)成為企業(yè)或機構的無形資產(chǎn)，將成為企業(yè)參與市場競爭的新武器
在移動互聯(lián)網(wǎng)和大數(shù)據(jù)時代，每一個企業(yè)日常運營中所產(chǎn)生的大數(shù)據(jù)都將成為企業(yè)最為重要的無形資產(chǎn)。隨著2017年大數(shù)據(jù)應用的發(fā)展，大數(shù)據(jù)價值得以充分的體現(xiàn)，大數(shù)據(jù)在企業(yè)和社會層面成為重要的戰(zhàn)略資源，數(shù)據(jù)成為新的戰(zhàn)略制高點，是大家搶奪的新焦點。如何有效的管理企業(yè)每日所產(chǎn)生的數(shù)據(jù)，從海量的數(shù)據(jù)中挖掘并沉淀有價值的數(shù)據(jù)，并把這些有價值的數(shù)據(jù)作為驅動業(yè)務增長的重要引擎，均為數(shù)據(jù)作為無形資產(chǎn)管理的重要任務。
Google、亞馬遜、騰訊、百度、阿里巴巴和360、今日頭條等互聯(lián)網(wǎng)企業(yè)通過不斷的挖掘和沉淀大數(shù)據(jù)，利用大數(shù)據(jù)驅動業(yè)務的增長;金融和電信企業(yè)也在運用大數(shù)據(jù)來提升自己的競爭力。這些企業(yè)均有一個共同的特點，即成立了大數(shù)據(jù)部門對企業(yè)大數(shù)據(jù)做重點管理和應用，真正的把大數(shù)據(jù)作為無形資產(chǎn)管理和應用起來。
我們有理由相信，在2017年越來越多的企業(yè)和機構將大數(shù)據(jù)定位為企業(yè)的無形資產(chǎn)，并對大數(shù)據(jù)無形資產(chǎn)做系統(tǒng)化的管理和應用。大數(shù)據(jù)作為無形資產(chǎn)將成為提升機構和企業(yè)競爭力的有力武器。
趨勢4：大數(shù)據(jù)能力產(chǎn)品化，驅動越來越多自助服務出現(xiàn)
大數(shù)據(jù)能力在企業(yè)應用時，需要以非常簡單易用的方式來呈現(xiàn)，才能讓更多的數(shù)據(jù)用戶使用。企業(yè)數(shù)據(jù)用戶(往往是業(yè)務、產(chǎn)品、營銷負責人等非大數(shù)據(jù)專業(yè)人士)在實際運用大數(shù)據(jù)的時候，更關注的是大數(shù)據(jù)的產(chǎn)品在哪些方面可以直接幫助提升績效，不需要關注大數(shù)據(jù)產(chǎn)品背后的分析模型等“黑洞”。因此大數(shù)據(jù)在業(yè)務具體的場景運用時，關鍵是把大數(shù)據(jù)分析能力產(chǎn)品化，構建簡單易用的數(shù)據(jù)產(chǎn)品。
另外，隨著大數(shù)據(jù)專家的成本上升，越來越多的企業(yè)也會尋求簡單易用成本相對較低的第三方數(shù)據(jù)產(chǎn)品。國際知名咨詢機構IDC預測，可視化數(shù)據(jù)發(fā)現(xiàn)工具的增長速度將比商業(yè)智能(BI)市場的其余工具快2.5倍。到2018年，投入于支持最終用戶自助服務的這種工具將成為所有企業(yè)的要求。諸多大數(shù)據(jù)廠商已經(jīng)發(fā)布了擁有“自助服務”功能的大數(shù)據(jù)分析工具。
趨勢5：大數(shù)據(jù)算法越來越智能化，深度學習將更為普及
知名IT研究與顧問咨詢公司Gartner認為，機器學習是2017年的十大戰(zhàn)略技術趨勢之一。在2017年，隨著大數(shù)據(jù)分析能力不斷增強，越來越多的企業(yè)開始投入于機器學習，并從中獲益。企業(yè)可以通過機器學習算法識別潛在客戶，或識別即將流失的客戶，或識別營銷推廣中作弊的渠道，或及時發(fā)現(xiàn)關鍵KPI下跌的原因等?？傊?，機器學習可以驅動企業(yè)運營更加智能化。
我們認為，隨著機器學習的大規(guī)模應用和發(fā)展，越來越多的企業(yè)將使用深度學習算法，使用深度學習算法將會使得預測更為準確。深度學習是機器學習領域中一系列試圖使用多重非線性變換對數(shù)據(jù)進行多層抽象的算法，互相關聯(lián)的多層級為深度學習提供了“深度”，相較于傳統(tǒng)的機器學習算法來說，是一個巨大的進步，尤其是卷積神經(jīng)網(wǎng)絡等深度學習算法，將會越來越受歡迎。
趨勢6：大數(shù)據(jù)和人工智能深度融合，成為人工智能發(fā)展的重要驅動力
AlphaGo是2016年最令人深刻的人工智能研究成果，AlphaGo引起了大家對人工智能的高度關注。但是，人工智能的發(fā)展還停留在弱人工智能階段，目前很難超越人類認知能力，甚至也達不到與人類匹配的認知能力。但我們不可否認人工智能在實踐中的進步，比如語音識別和圖像理解方面的進步。企業(yè)可以在合適的場景中運用這些逐漸成熟的語音和圖像識別的技術。
未來人工智能的發(fā)展，取決于兩個方面：一方面是深度學習算法技術的成熟和計算效率的提升;另一方面取決于海量數(shù)據(jù)或大數(shù)據(jù)的發(fā)展。這是因為，深度學習算法要發(fā)揮作用必須先接受訓練。比如，機器要學會識別圖片中的狗，必須先被輸入一個包含數(shù)量上萬或者數(shù)十萬的標記為狗的 “訓練集”，這個訓練集數(shù)量越大，狗的種類越全，機器學習的效果越好。
人工智能專家吳恩達曾把人工智能比作火箭，其中深度學習是火箭的發(fā)動機，大數(shù)據(jù)是火箭的燃料，這兩部分必須同時做好，才能順利發(fā)射到太空中。因此，對于深度學習和人工智能，需要越來越多的數(shù)據(jù)。國際上互聯(lián)網(wǎng)巨頭除了自身業(yè)務可以采集到海量的數(shù)據(jù)以外，正在用更開放的策略吸引第三方的數(shù)據(jù)輸入，以充實其大數(shù)據(jù)，更好的促進人工智能的所依賴的大數(shù)據(jù)基礎。
趨勢7：大數(shù)據(jù)促進智慧生活和智慧城市的發(fā)展
隨著大數(shù)據(jù)與智能硬件的結合發(fā)展，大數(shù)據(jù)將進一步改善我們的生活。
在健康方面，我們可以利用智能手環(huán)監(jiān)測，對我們的睡眠模式來進行追蹤，了解睡眠質量;我們可以利用智能血壓計、智能心率儀遠程的監(jiān)控身在異地的家里老人的健康情況，讓遠在他方的外出工作者更加放心;
在出行方面，我們可以利用智能導航出行GPS數(shù)據(jù)了解交通狀況，并根據(jù)擁堵情況進行路線實時調優(yōu);
在居家生活方面，大數(shù)據(jù)將成為智能家居的核心，智能家電實現(xiàn)了擬人智能，產(chǎn)品通過傳感器和控制芯片來捕捉和處理信息，可以根據(jù)住宅空間環(huán)境和用戶需求自動設置控制，甚至提出優(yōu)化生活質量的建議，如可以根據(jù)室內(nèi)溫度自動調整空調的溫度、根據(jù)空氣質量來決定是否要打開空氣凈化器等。
同時，隨著大數(shù)據(jù)和智慧城市的融合，大數(shù)據(jù)在智慧城市將發(fā)揮著越來越重要的作用。由于人口聚集給城市帶來了交通、醫(yī)療、建筑等各方面的壓力，需要城市能夠更合理地進行資源布局和調配，而智慧城市正是城市治理轉型的最優(yōu)解決方案。智慧城市是通過物與物、物與人、人與人的互聯(lián)互通能力、全面感知能力和信息利用能力，通過物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、云計算等新一代信息技術，實現(xiàn)城市高效的政府管理、便捷的民生服務、可持續(xù)的產(chǎn)業(yè)發(fā)展。
智慧城市相對于之前數(shù)字城市概念，最大的區(qū)別在于對感知層獲取的信息進行了智慧的處理。由城市數(shù)字化到城市智慧化，關鍵是要實現(xiàn)對數(shù)字信息的智慧處理，其核心是引入了大數(shù)據(jù)處理技術。大數(shù)據(jù)是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧醫(yī)療、智慧城管等，都是以大數(shù)據(jù)為基礎的的智慧城市應用領域。
趨勢8:工業(yè)大數(shù)據(jù)成為工業(yè)互聯(lián)網(wǎng)發(fā)展的重要引擎
工業(yè)大數(shù)據(jù)是指在工業(yè)領域信息化應用中所產(chǎn)生的大數(shù)據(jù)。隨著工業(yè)信息化的進一步發(fā)展，工業(yè)企業(yè)也進入了互聯(lián)網(wǎng)工業(yè)新的發(fā)展階段。信息技術和大數(shù)據(jù)分析技術滲透到了工業(yè)企業(yè)產(chǎn)業(yè)鏈的各個環(huán)節(jié)，條形碼、二維碼、RFID、工業(yè)傳感器等技術在工業(yè)企業(yè)得到廣泛應用，工業(yè)企業(yè)所擁有的數(shù)據(jù)也日益豐富，從而進一步形成了工業(yè)大數(shù)據(jù)。工業(yè)設備所產(chǎn)生、采集和處理的數(shù)據(jù)量非常大，而且非結構化數(shù)據(jù)也非常多。因此，工業(yè)大數(shù)據(jù)的處理和有效挖掘也成為重要的課題。工業(yè)大數(shù)據(jù)應用將成為工業(yè)企業(yè)創(chuàng)新和發(fā)展的重要引擎。
工業(yè)大數(shù)據(jù)在工業(yè)企業(yè)有諸多方面的應用：
(1)在產(chǎn)品創(chuàng)新方面，企業(yè)可以對客戶使用產(chǎn)品過程中的行為進行數(shù)據(jù)上報及分析，以了解客戶需求和行為，從而啟發(fā)創(chuàng)新;
(2)在產(chǎn)品故障診斷與預測方面，企業(yè)可以對產(chǎn)品運行過程中的各種關鍵運行參數(shù)實時分析，以實現(xiàn)故障診斷和預測，如GE在航空發(fā)動機實現(xiàn)物聯(lián)網(wǎng)連接，通過傳感器把發(fā)動機運行時的各種關鍵參數(shù)實施回傳到云端進行實時分析;
(3)在工業(yè)生產(chǎn)流程優(yōu)化方面，利用大數(shù)據(jù)可以掌握某個流程是否偏離標準，快速發(fā)出報警及時調優(yōu);或監(jiān)控生產(chǎn)過程中的能耗異常環(huán)節(jié)，從而進行能耗的優(yōu)化;
(4)在工業(yè)生產(chǎn)故障分析及預測方面，通過智能傳感器等數(shù)據(jù)傳輸設備，把工業(yè)生產(chǎn)流程中關鍵設備的實時參數(shù)狀態(tài)回傳到云端并進行實時分析，實時掌握異常情況，并作出預警和預測，提前進行檢測;
(5)在供應鏈優(yōu)化方面，對市場數(shù)據(jù)、客戶數(shù)據(jù)、企業(yè)內(nèi)部數(shù)據(jù)、供應商數(shù)據(jù)等相關供應鏈數(shù)據(jù)進行集成和關聯(lián)分析，以實現(xiàn)倉儲和配送的優(yōu)化，提升生產(chǎn)和銷售的效率。
趨勢9：隨著大數(shù)據(jù)的全方位發(fā)展，大數(shù)據(jù)安全機遇和挑戰(zhàn)并存
隨著大數(shù)據(jù)的發(fā)展和落地，大數(shù)據(jù)的安全穩(wěn)定也將會逐漸被重視。對于擁有大數(shù)據(jù)廠商來說，最大的挑戰(zhàn)就是數(shù)據(jù)安全;對于安全廠商來說，最大的機遇也是數(shù)據(jù)安全。網(wǎng)絡和數(shù)字化生活也使得犯罪的分子更容易獲取關于他人的信息，也有更多的騙術和犯罪手段出現(xiàn)，所以，在大數(shù)據(jù)時代，無論對于數(shù)據(jù)本身的保護，還是對于由數(shù)據(jù)而演變的一些信息的安全，對大數(shù)據(jù)分析有較高要求的企業(yè)將至關重要。
大數(shù)據(jù)安全是跟大數(shù)據(jù)業(yè)務相對應的，與傳統(tǒng)安全相比，大數(shù)據(jù)安全的最大區(qū)別是安全廠商在思考安全問題的時候首先要進行業(yè)務分析，并且找出針對大數(shù)據(jù)的業(yè)務的威脅 ，然后提出有針對性的解決方案。比如，對于數(shù)據(jù)存儲這個場景，目前很多企業(yè)采用開源軟件如Hadoop技術來解決大數(shù)據(jù)問題，由于其開源性，但是其安全問題也是突出的。因此，市場需要更多專業(yè)的安全廠商針對不同的大數(shù)據(jù)安全問題來提供專業(yè)的服務。
另外，在大數(shù)據(jù)應用日益重要的今天，數(shù)據(jù)資源的開放共享已經(jīng)成為在數(shù)據(jù)大戰(zhàn)中保持優(yōu)勢的關鍵。商業(yè)數(shù)據(jù)、政府機構數(shù)據(jù)和個人數(shù)據(jù)的共享應用，不僅能促進相關產(chǎn)業(yè)的發(fā)展，也能給我們的生活帶來巨大的便利。但是，制約我國數(shù)據(jù)資源開放和共享的一個重要因素是政策法規(guī)有待進一步完善，開放與隱私保護如何平衡。如何在推動數(shù)據(jù)全面開放、應用和共享的同時有效地保護公民、企業(yè)隱私，逐步加強隱私立法，將是大數(shù)據(jù)時代的一個重大挑戰(zhàn)。
趨勢10：大數(shù)據(jù)人才需求增多，越來越多的機構參與到大數(shù)據(jù)人才培育中
一個新行業(yè)的出現(xiàn)，必將在工作職位方面有新的需求，大數(shù)據(jù)的出現(xiàn)也將推出一批新的就業(yè)崗位，例如，大數(shù)據(jù)分析師、數(shù)據(jù)管理專家、大數(shù)據(jù)算法工程師、數(shù)據(jù)產(chǎn)品經(jīng)理等等。具有豐富經(jīng)驗的數(shù)據(jù)分析人才將成為稀缺的資源，數(shù)據(jù)驅動型工作將呈現(xiàn)爆炸式的增長。
而由于有強烈的市場需求，高校也將逐步開設大數(shù)據(jù)相關的專業(yè)，以培養(yǎng)相應的專業(yè)人才。企業(yè)也將和高校緊密合作，協(xié)助高校聯(lián)合培養(yǎng)大數(shù)據(jù)人才。如IBM 全面推進與高校在大數(shù)據(jù)領域的合作，引入強大的研發(fā)團隊和業(yè)務伙伴，推動“大數(shù)據(jù)平臺”和“大數(shù)據(jù)分析”的面向行業(yè)產(chǎn)學研創(chuàng)新合作以及系統(tǒng)化知識體系建設和高價值人才培養(yǎng)。
大數(shù)據(jù)建設的每個環(huán)節(jié)都需要依靠專業(yè)人員完成，因此，必須培養(yǎng)和造就一支掌握大數(shù)據(jù)技術、懂管理、有大數(shù)據(jù)應用經(jīng)驗的大數(shù)據(jù)建設專業(yè)隊伍。目前大數(shù)據(jù)相關人才的欠缺將阻礙大數(shù)據(jù)市場發(fā)展。大數(shù)據(jù)的相關職位需要的是復合型人才，能夠對數(shù)學、統(tǒng)計學、數(shù)據(jù)分析、機器學習和自然語言處理等多方面知識綜合掌控。
未來，大數(shù)據(jù)將會出現(xiàn)約超過百萬的人才缺口，在各個行業(yè)大數(shù)據(jù)中高端人才都會成為最炙手可熱的人才，涵蓋了大數(shù)據(jù)的數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)分析師、數(shù)據(jù)架構師、大數(shù)據(jù)后臺開發(fā)工程師、算法工程師等多個方向，因此需要高校和企業(yè)共同努力去培養(yǎng)和挖掘。
