大數據平臺的軟件有哪些?
這個(gè)要分好幾塊來(lái)講,首先我要說(shuō)明的是大數據項目也是要有很多依賴(lài)的模塊的動(dòng)態(tài)數據應用。每個(gè)模塊的軟件不一樣,下面分別聊一下。
一、大數據處理
這個(gè)是所謂大數據項目中最先想到的模塊動(dòng)態(tài)數據應用。主要有spark,hadoop,es,kafka,hbase,hive等。
當然像是flume,sqoop也都很常用動(dòng)態(tài)數據應用。
這些軟件主要是為了解決海量數據處理的問(wèn)題動(dòng)態(tài)數據應用。軟件很多,我只列幾個(gè)經(jīng)典的,具體可以自行吉印通。
二、機器學(xué)習相關(guān)
大部分大數據項目都和機器學(xué)習相關(guān)動(dòng)態(tài)數據應用。因此會(huì )考慮到機器學(xué)習的一些軟件,比如說(shuō)sklearn,spark的ml,當然還有自己實(shí)現的代碼。
三、web相關(guān)技術(shù)
大部分項目也都跑不了一個(gè)web的展示,因此web就很重要的,java的ssh,python的django都可以,這個(gè)看具體的項目組習慣了動(dòng)態(tài)數據應用。
四、其它
還有一些很常用的東西,個(gè)人感覺(jué)不完全算是大數據特定使用范圍動(dòng)態(tài)數據應用。反正我在做大數據項目的時(shí)候也都用到了。
比如說(shuō)數據存儲:redis,mysql動(dòng)態(tài)數據應用。
數據可視化:echart,d*js動(dòng)態(tài)數據應用。
圖數據庫:neo*j動(dòng)態(tài)數據應用。
再來(lái)說(shuō)說(shuō)大數據平臺的軟件或者工具:
1、 數據庫,大數據平臺類(lèi),星環(huán),做Hadoop生態(tài)系列的大數據平臺公司動(dòng)態(tài)數據應用。Hadoop是開(kāi)源的,星環(huán)主要做的是把Hadoop不穩定的部分優(yōu)化,功能細化,為企業(yè)提供Hadoop大數據引擎及數據庫工具。
2、 大數據存儲硬件類(lèi),浪潮,很老牌的IT公司,國資委控股,研究大數據方面的存儲,在國內比較領(lǐng)先動(dòng)態(tài)數據應用。
*、 云計算,云端大數據類(lèi),阿*,明星產(chǎn)品-阿里云,與亞馬遜AWS抗衡,做公有云、私有云、混合云動(dòng)態(tài)數據應用。實(shí)力不差,符合阿*的氣質(zhì),很有野心。
*、 數據應用方面這個(gè)有很多,比如帆軟旗下的FineReport報表系統和FineBI大數據分析平臺等動(dòng)態(tài)數據應用。
帆軟是商業(yè)智能和數據分析平臺提供商,從報表工具到商業(yè)智能,有十多年的數據應用的底子,在這個(gè)領(lǐng)域很成熟,目前處于快速成長(cháng)期,但是很低調,是一家有技術(shù)有實(shí)力而且對客戶(hù)很真誠的公司動(dòng)態(tài)數據應用。