應用

技術

物聯網世界 >> 物聯網新聞 >> 物聯網熱點新聞
企業(yè)注冊個人注冊登錄

一文說清AI、BI與大數據的關系

2021-05-07 14:49 AIBI大數據觀數臺
關鍵詞:AIBI大數據

導讀:對于BI、大數據和AI之間的關系,可以理解為,大數據是AI場景應用的重要基礎,而AI是大數據的應用的重要領域。

對于BI、大數據和AI之間的關系,可以理解為,大數據是AI場景應用的重要基礎,而AI是大數據的應用的重要領域。

近年,隨著企業(yè)數字化轉型的不斷深入,以及對智能化場景應用需求的日趨迫切,使得企業(yè)對大數據、人工智能、BI等技術越來越關注。這使得企業(yè)在數據應用實踐中面臨一個問題,到底是選擇大數據還是BI?這是其實是兩者實際上時相互依賴,相互滲透遞進的。

什么是商業(yè)智能?

商業(yè)智能,英文是Business Intelligence,縮寫B(tài)I,是用來幫助企業(yè)更好地利用數據提高決策質量的技術集合,是從大量的數據中鉆取信息與知識的過程。對于概念大家可能一知半解。如什么叫高質量決策的技術集合?什么叫鉆取信息與知識?對于完全沒有基礎的人是很難理解?下面就從到一個餐廳點單開始說起。

餐廳點單的時候,顧客點了一份水煮魚片,這是一個需求。有了這個需求,餐廳就得照單備菜,這就需要我們把原材料準備好,比如草魚或青魚、配菜如豆芽和千張等,備好的菜統(tǒng)一放置到菜架,廚師就可以直接炒菜了。

對應BI,客戶點菜等同于企業(yè)提出一個業(yè)務需求,比如管理者要查看過去一周全國的銷售數據,備菜過程就相當于我們要準備一張報表,這張報表要按照需求準備相關數據,比如銷售總數據、子產品數據以及相關的銷售人員數據等。同樣的,這些備好數據從各種數據源抽取后放到“數據倉庫”,報表開發(fā)人員可以從里面直接找到數據制作報表。

當然,這只是一個簡單的流程,真正的過程還涉及很多步驟。比如下鍋炒菜之前,你不能直接把魚丟盡鍋里,你還得給魚開膛破腹,把內臟取出并進行清洗,還要按照客戶的需求,將魚切成一片片的,這是一個把源材料變成一個真正可用可下鍋的一個過程。對BI而言,這個過程就是ETL——Extract抽取,把魚拿出來;Transformation轉換,把魚變成魚片,完成清洗和轉換工作;Loading加載,把洗凈的魚片放到菜架以供隨時下鍋。

數據的準備過程和菜品原材料的清洗過程是一樣的道理,數據是存放在一些數據表中,但是并不是所有的數據都需要抽取出來,只有需要用到的數據才會被抽?。‥xtract);涉及到一些數據需要去重、合并計算、格式轉換等都屬于Transformation階段;Loading,最后把數據統(tǒng)一加載到數據倉庫Data Warehouse,數據倉庫中有一組表。

源數據的采集和加載也是同樣的道理,數據可能是來自外部系統(tǒng),也可能來自內部的不同業(yè)務系統(tǒng),比如CRM、ERP,也有來自業(yè)務人員的EXCEL表格,這些統(tǒng)稱為Data Source數據源。

亦策觀數臺幾乎可以連接任何數據源,包括基于文件的源,特定于應用程序的源以及大數據源。無需事先對其進行完全建?;蝾A先聚合數據。觀數臺自助數據準備工具,為復雜的場景提供強大的數據集成腳本。這些數據準備功能有助于公開數據區(qū)域和可能存在問題的業(yè)務,可以創(chuàng)建價值而無需外部工具或數據倉庫。

這些數據通過ETL工具原封不動的抽取到一個叫做ODS或者STAGING的數據庫先存放起來,就類似于把菜買回來先放到廚房,先放起來。后面才有數據的清洗、整理,完畢之后才放到數據倉庫,在之后就是制作報表的過程。



在亦策觀數臺中,ODS數據庫作為業(yè)務系統(tǒng)和數據倉庫之間的一個隔離層,用于存放從業(yè)務系統(tǒng)直接抽取出來的數據。一方面ODS數據庫使數據從粒度、組織方式等各個方面都保持與業(yè)務系統(tǒng)一致,原來由業(yè)務系統(tǒng)產生的報表、細節(jié)數據的查詢自然能夠從ODS中進行,降低對業(yè)務系統(tǒng)的查詢壓力。另一方面數據倉庫存儲的數據都是匯總過的數據,并不存儲每筆交易產生的細節(jié)數據,在某些特殊的應用中,可能需要對交易細節(jié)數據進行查詢,這時就需要把細節(jié)數據查詢的功能轉移到ODS來完成,ODS的數據模型按照面向主題的方式進行存儲,可以方便地支持多維分析等查詢功能。

大數據不是BI的簡單升級

隨著大數據、AI等技術快速發(fā)展,以及大數據應用在行業(yè)的落地,企業(yè)對BI和大數據的選擇陷入到一個“非此即彼”的思維。專業(yè)人士告訴你,不必如此。

雖然大數據與BI是兩種不同概念和工具,但卻是社會發(fā)展到不同階段的產物,大數據對于BI,既有傳承,也有發(fā)展。大數據和AI在落地應用的過程中需要一系列產品作為技術承載體,而BI就是一個比較理想的承載體。BI可以看成是技術與業(yè)務結合的橋梁。當前企業(yè)在進行人工智能改造過程中并不能馬上脫離原有的信息化體系,既如此,就必須借助于BI來完成智能化過渡。

從思想角度上來看,大數據和BI都是遵循“數據-信息-知識-智慧”的發(fā)展過程,兩者的區(qū)別在于以下幾點:

第一,數據來源。BI的數據來源一般為企業(yè)內部信息化系統(tǒng)中的數據,大數據的數據來源不僅包含企業(yè)內部的信息化系統(tǒng)的數據,還包括各種外部系統(tǒng)、機器設備、數據庫的數據。大數據的數據來源更廣泛,而且數據更多的來自于云端,可無限擴展。

第二,發(fā)展方向。對企業(yè)來說,BI是一種管理和思維方式的轉變,對企業(yè)內部數據進行分析,支撐企業(yè)運營與決策,從傳統(tǒng)商業(yè)模式走向商業(yè)智能。大數據除了解決企業(yè)業(yè)務問題,還包括與行業(yè)、產業(yè)的深度融合,不同行業(yè)所呈現的內容與分析維度各不相同,是用全新的數據技術手段來拓展和優(yōu)化企業(yè)業(yè)務。

第三,技術標簽。BI的技術標簽包括ETL、數據倉庫、OLAP、可視化報表。大數據的技術標簽則包括Hadoop、MPP、HDFS、MapReduce、流處理等。隨著時代的變革與技術的迭代,BI經歷了多次優(yōu)化和變革,新型BI被賦予更多“大數據”潛能,既滿足海量實時數據分析,也滿足決策型的業(yè)務分析。

目前廠商推出一站式大數據分析平臺,基本上都是大數據與BI相結合的產物,既解決了大數據和BI之間如何取舍的問題,還融入了AI增強功能。比如亦策觀數臺就是新一代增強智能協同BI平臺,不僅全面支持中文自然語言查詢,還能讓用戶在所有可視化、圖表、圖形和其他對象中進行選擇,并可以使用全局搜索來表現數據、關聯和分析。

因此,對于BI、大數據和AI之間的關系,可以理解為,大數據是AI場景應用的重要基礎,而AI是大數據的應用的重要領域。大數據的重要價值體現:一是人工智能產品,為智能體提供的數據量越大,智能體運行的效果就會越好,因為智能體通常需要大量的數據進行“訓練”和“驗證”,從而保障運行的可靠性和穩(wěn)定性。二是人工智能需要大量的數據作為“思考”和“決策”的基礎,另一方面大數據也需要人工智能技術進行數據價值化操作,比如機器學習就是數據分析的常用方式。