融入大數(shù)據(jù)時(shí)代 你的基礎(chǔ)軟件平臺(tái)

支撐電信、金融、醫(yī)療、安全、電力等關(guān)鍵行業(yè)大數(shù)據(jù)應(yīng)用的基礎(chǔ)軟件平 臺(tái)將呈一體化形態(tài)，它以數(shù)據(jù)為中心，將操作系統(tǒng)、分布式存儲(chǔ)、數(shù)據(jù)庫(kù)等產(chǎn)品融合起來(lái)，對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化等全數(shù)據(jù)進(jìn)行高效存儲(chǔ)與管理，并對(duì)應(yīng)用 提供統(tǒng)一的數(shù)據(jù)服務(wù)支撐接口。大數(shù)據(jù)環(huán)境下的基礎(chǔ)軟件平臺(tái)很像一個(gè)“泛OS”，將傳統(tǒng)操作系統(tǒng)、存儲(chǔ)、數(shù)據(jù)庫(kù)等等產(chǎn)品和組件有機(jī)融合，做到存儲(chǔ)資源、計(jì)算 資源等有效管理和調(diào)度，同時(shí)為上層數(shù)據(jù)應(yīng)用提供統(tǒng)一、易用接口，實(shí)現(xiàn)數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、應(yīng)用等全周期的高效易用、安全可靠和易管理。

　 　國(guó)際上一體化融合的大數(shù)據(jù)處理平臺(tái)已經(jīng)成為主流趨勢(shì)。國(guó)際IT巨頭們?cè)诜e極發(fā)展以平臺(tái)為核心、面向新型應(yīng)用模式的一體化行業(yè)解決方案和生態(tài)系統(tǒng)。 2013年，EMC公司發(fā)布了自身的Apache Hadoop發(fā)行版—Pivotal HD，它將大規(guī)模并行數(shù)據(jù)庫(kù)技術(shù)與Apache Hadoop框架集成，同時(shí)發(fā)布了一個(gè)名為HAWQ的技術(shù)，將Greenplum分析型數(shù)據(jù)庫(kù)與Hadoop分布式架構(gòu)進(jìn)行緊密地融合，實(shí)現(xiàn)了HDFS上 SQL并行數(shù)據(jù)庫(kù)處理，提高了性能并使Hadoop平臺(tái)與SQL開(kāi)發(fā)者實(shí)現(xiàn)了接軌?；萜談t發(fā)布了大數(shù)據(jù)解決方案HAVEn分析平臺(tái)，該平臺(tái)是惠普大數(shù)據(jù)產(chǎn) 品的組合，它整合了Hadoop/HDFS、HP Autonomy語(yǔ)義處理引擎、HP Vertica列存數(shù)據(jù)庫(kù)、EntERPrise Security安全技術(shù)等形成大數(shù)據(jù)處理方案。

　　圍繞行業(yè)大數(shù)據(jù)應(yīng)用構(gòu)建大數(shù)據(jù)處理基礎(chǔ)軟件平臺(tái)的關(guān)鍵問(wèn)題是如何解決結(jié)構(gòu)化和非/半結(jié) 構(gòu)化不同類(lèi)型的數(shù)據(jù)融合，以及實(shí)現(xiàn)不同類(lèi)型數(shù)據(jù)處理模式的整合。單一的MPP數(shù)據(jù)庫(kù)或Hadoop產(chǎn)品一般很難滿足行業(yè)用戶(hù)對(duì)結(jié)構(gòu)化和非/半結(jié)構(gòu)化數(shù)據(jù)融 合的業(yè)務(wù)需求，這兩種方式的界限正在實(shí)際應(yīng)用部署被打破，市場(chǎng)上正逐步形成以全數(shù)據(jù)處理為核心，垂直整合操作系統(tǒng)、MPP數(shù)據(jù)庫(kù)、Hadoop、統(tǒng)一數(shù)據(jù) 服務(wù)的基礎(chǔ)軟件平臺(tái)產(chǎn)品。

　　在國(guó)內(nèi)，業(yè)界的主流思路是：用基于MPP架構(gòu)的新型數(shù)據(jù)庫(kù)集群(如EMC GreenPlum、南大通用GBase 8a、HP Vertica等)管理結(jié)構(gòu)化大數(shù)據(jù)，側(cè)重于行業(yè)大數(shù)據(jù)分析型應(yīng)用場(chǎng)景;用基于Hadoop的技術(shù)擴(kuò)展和封裝(如HBase數(shù)據(jù)庫(kù))管理非/半結(jié)構(gòu)化大數(shù) 據(jù)，側(cè)重于互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用場(chǎng)景。MPP集群與Hadoop產(chǎn)品混搭部署、相互融合，共同支撐大數(shù)據(jù)應(yīng)用。

　　MPP與Hadoop的應(yīng)用 融合是大數(shù)據(jù)處理基礎(chǔ)軟件平臺(tái)需要解決的一個(gè)核心技術(shù)問(wèn)題。為了讓平臺(tái)能夠更好地支撐行業(yè)大數(shù)據(jù)應(yīng)用，不改變用戶(hù)習(xí)慣的SQL這種更易于理解的、交互性更 好的訪問(wèn)接口，架構(gòu)需要以MPP數(shù)據(jù)庫(kù)及計(jì)算框架為核心，將MPP運(yùn)算調(diào)度引擎完全融入非關(guān)系型運(yùn)算調(diào)度框架，實(shí)現(xiàn)可以同時(shí)調(diào)度關(guān)系運(yùn)算和非關(guān)系運(yùn)算的調(diào) 度引擎，構(gòu)建統(tǒng)一的結(jié)構(gòu)化信息提取和數(shù)據(jù)類(lèi)型轉(zhuǎn)換框架，將非/半結(jié)構(gòu)化數(shù)據(jù)映射為關(guān)系模型，實(shí)現(xiàn)面向關(guān)系模型的全數(shù)據(jù)統(tǒng)一視圖，從而平滑的實(shí)現(xiàn)MPP數(shù)據(jù) 庫(kù)和Hadoop的統(tǒng)一調(diào)度和處理，為新型的基礎(chǔ)軟件平臺(tái)和上層應(yīng)用提供數(shù)據(jù)服務(wù)。

　　當(dāng)前，國(guó)家的大數(shù)據(jù)戰(zhàn)略、信息安全戰(zhàn)略，以及大數(shù)據(jù) 行業(yè)應(yīng)用引發(fā)了對(duì)國(guó)產(chǎn)大數(shù)據(jù)處理基礎(chǔ)軟件平臺(tái)的強(qiáng)勁需求。國(guó)產(chǎn)基礎(chǔ)軟件廠商應(yīng)協(xié)同作戰(zhàn)，抓緊市場(chǎng)與技術(shù)的雙重時(shí)機(jī)，發(fā)展國(guó)產(chǎn)化大數(shù)據(jù)處理基礎(chǔ)軟件平臺(tái)，并 在國(guó)計(jì)民生的大數(shù)據(jù)應(yīng)用系統(tǒng)中成為重要支撐。與此同時(shí)，在關(guān)鍵發(fā)展時(shí)間窗，國(guó)家應(yīng)及時(shí)給予大力支持和幫助，避免大數(shù)據(jù)領(lǐng)域基礎(chǔ)軟件平臺(tái)幾年后再次走上“國(guó) 產(chǎn)化”替代的老路。