動(dòng)態(tài)數據倉庫怎樣設計與應用？
??數據倉庫技術(shù)的每次演進(jìn)都以發(fā)掘企業(yè)數據中更多價(jià)值作為目標動(dòng)態(tài)數據應用。而近期流行的動(dòng)態(tài)數據倉庫技術(shù)，不僅在靈活性、可視化方面有了長(cháng)足進(jìn)步，還能夠對企業(yè)決策、合作伙伴及客戶(hù)服務(wù)提供更為強大的支持。
數據倉庫發(fā)展歷程
數據倉庫的發(fā)展歷史具體可以劃分為五個(gè)階段動(dòng)態(tài)數據應用。
??數據倉庫系統發(fā)展之初，其主要作用是為企業(yè)內部的某些部門(mén)提供一些固定的報表動(dòng)態(tài)數據應用。因此這一階段通產(chǎn)被成為“報表”階段。在該階段，數據倉庫的結構可以根據具體問(wèn)題進(jìn)行優(yōu)化，即使數據查詢(xún)人員要求訪(fǎng)問(wèn)的信息量極其巨大，處理這些資料的效率仍然可以很高。
當企業(yè)用戶(hù)的關(guān)注點(diǎn)從“發(fā)生了什么”轉向“為什么會(huì )發(fā)生”，數據倉庫進(jìn)入了“分析”階段動(dòng)態(tài)數據應用。
??在這一階段，決策者開(kāi)始對數據進(jìn)行分析，實(shí)質(zhì)上是在了解報表數據的真實(shí)涵義動(dòng)態(tài)數據應用。這就需要更詳細地對數據進(jìn)行多角度分析。為了解決數據查詢(xún)的瓶頸，出現了聯(lián)機分析處理（OLAP）環(huán)境。它可以使對數據進(jìn)行多角度分析的反應時(shí)間以秒或分鐘來(lái)計算。擁有了量化的數據支持后，企業(yè)對經(jīng)營(yíng)的動(dòng)態(tài)情況以及這種情況為什么發(fā)生都會(huì )有所體驗，接下來(lái)就要將業(yè)務(wù)信息用于預測了。
??數據倉庫也隨之進(jìn)入“預測”階段，即數據挖掘階段動(dòng)態(tài)數據應用。數據挖掘能夠預知企業(yè)即將發(fā)生的動(dòng)向，幫助管理者更為積極地管理和實(shí)施企業(yè)戰略。數據挖掘為用戶(hù)提供豐富的數據采集工具，以便利用歷史數據創(chuàng )建預測模型。
數據倉庫演進(jìn)的第*階段即是動(dòng)態(tài)數據倉庫動(dòng)態(tài)數據應用。第1到第*階段的數據倉庫技術(shù)都以支持企業(yè)內部戰略性決策為重點(diǎn)。
??而第*階段則側重在“戰術(shù)性”的決策支持，為“執行企業(yè)戰略的員工”提供支持動(dòng)態(tài)數據應用。我們將這一階段稱(chēng)為“營(yíng)運導向”階段。
動(dòng)態(tài)數據倉庫技術(shù)在企業(yè)環(huán)境成熟應用后，將引領(lǐng)企業(yè)“動(dòng)態(tài)性”階段動(dòng)態(tài)數據應用。伴隨著(zhù)動(dòng)態(tài)數據倉庫在決策支持領(lǐng)域所扮演的角色越來(lái)越重要，企業(yè)實(shí)現決策自動(dòng)化的積極性也在不斷提高。
??在人工操作效果不明顯時(shí)，為了尋求決策的有效性和連續性，企業(yè)會(huì )趨向于采取自動(dòng)決策方式動(dòng)態(tài)數據應用。
數據倉庫“動(dòng)”起來(lái)
“動(dòng)態(tài)數據倉庫”是一種創(chuàng )新理念，但其技術(shù)基礎和架構思想還是來(lái)自傳統數據倉庫技術(shù)動(dòng)態(tài)數據應用。關(guān)鍵的區別是動(dòng)態(tài)數據倉庫增加了“動(dòng)態(tài)”特性，與傳統數據倉庫相比，它具有如下特點(diǎn)：
1．動(dòng)態(tài)訪(fǎng)問(wèn)
動(dòng)態(tài)訪(fǎng)問(wèn)是指一線(xiàn)用戶(hù)可以動(dòng)態(tài)、或實(shí)時(shí)地訪(fǎng)問(wèn)所需要的信息動(dòng)態(tài)數據應用。
??傳統的數據倉庫用戶(hù)只針對高端管理層，而如果要實(shí)現大量客戶(hù)經(jīng)理和客戶(hù)代表同時(shí)訪(fǎng)問(wèn)，是一個(gè)很大的壓力動(dòng)態(tài)數據應用。動(dòng)態(tài)數據倉庫采用不同于傳統數據倉庫的技術(shù)手段，擴展了數據倉庫系統的用戶(hù)范圍，實(shí)現動(dòng)態(tài)訪(fǎng)問(wèn)。
2．動(dòng)態(tài)數據加載
傳統數據倉庫保存的是歷史的、相對靜止的、集成的企業(yè)數據動(dòng)態(tài)數據應用。
??其往往是先加載好數據，再去支撐業(yè)務(wù)查詢(xún)動(dòng)態(tài)數據應用。而動(dòng)態(tài)數據倉庫的數據加載卻可以在加載數據的同時(shí)，滿(mǎn)足用戶(hù)的查詢(xún)請求，而且動(dòng)態(tài)加載的負荷不影響用戶(hù)使用數據倉庫。不僅如此，動(dòng)態(tài)數據倉庫的數據也是準實(shí)時(shí)加載的，這樣就可以使用戶(hù)能夠訪(fǎng)問(wèn)幾乎和生產(chǎn)環(huán)境時(shí)效相當的數據。
*．動(dòng)態(tài)事件
傳統數據倉庫只是支持用戶(hù)對企業(yè)歷史數據的分析，或者經(jīng)過(guò)一些模型對未來(lái)的一些發(fā)展進(jìn)行預測動(dòng)態(tài)數據應用。它無(wú)法支持一線(xiàn)員工在遇到一些“動(dòng)態(tài)事件”（例如銀行柜臺向客戶(hù)推薦理財產(chǎn)品）時(shí)，進(jìn)行一些實(shí)時(shí)的業(yè)務(wù)操作。而動(dòng)態(tài)數據倉庫就可以支持一線(xiàn)員工在遇到這些“動(dòng)態(tài)事件”時(shí)，及時(shí)做出響應，成功抓住業(yè)務(wù)機會(huì )，從而大幅提升業(yè)績(jì)。
??因為，從事情發(fā)生到采取行動(dòng)的時(shí)間越短，成功銷(xiāo)售的命中率就越高，所獲的價(jià)值也就越高動(dòng)態(tài)數據應用。
*．動(dòng)態(tài)負載管理
傳統數據倉庫在負載管理方面，沒(méi)有什么特殊要求動(dòng)態(tài)數據應用。而動(dòng)態(tài)數據倉庫則包含策略動(dòng)態(tài)負載管理和操作動(dòng)態(tài)負載管理。其中，操作動(dòng)態(tài)負載管理一般是比較簡(jiǎn)單的訪(fǎng)問(wèn)，不需要看太多的信息；而策略動(dòng)態(tài)負載管理則需要實(shí)施復雜的數據挖掘。
*．動(dòng)態(tài)企業(yè)集成
傳統數據倉庫主要用來(lái)支持企業(yè)用戶(hù)對數據進(jìn)行分析動(dòng)態(tài)數據應用。而動(dòng)態(tài)數據倉庫則可以將企業(yè)所有系統都很好地整合在一起，形成一個(gè)閉環(huán)，從而實(shí)現流程的自動(dòng)化，而不是一個(gè)獨立的系統。
*．動(dòng)態(tài)可用性
因為動(dòng)態(tài)數據庫已經(jīng)不是一個(gè)純粹的后臺系統，而是業(yè)務(wù)運營(yíng)的一部分，因此對可靠性、穩定性的要求更為嚴格動(dòng)態(tài)數據應用。
動(dòng)態(tài)數據倉庫設計
前面提到，“動(dòng)態(tài)數據倉庫”在技術(shù)設施上采用得都是已有技術(shù)，而實(shí)現的難點(diǎn)在于“動(dòng)態(tài)”，即如何實(shí)現數據倉庫的“動(dòng)態(tài)”特性，這也是部署“動(dòng)態(tài)數據倉庫”系統的關(guān)鍵所在動(dòng)態(tài)數據應用。動(dòng)態(tài)數據倉庫中包含了傳統數據倉庫的各種元素，例如元數據管理、數據分發(fā)、對外服務(wù)、調度管理、代碼自動(dòng)化、數據質(zhì)量管理等。
要實(shí)現動(dòng)態(tài)數據倉庫中的動(dòng)態(tài)數據加載，有多個(gè)實(shí)施方案供用戶(hù)選擇動(dòng)態(tài)數據應用。目前，市場(chǎng)中存在多個(gè)接近實(shí)時(shí)的數據同步解決方案。例如，在專(zhuān)有工具方面，可以借助IBM WRS SQL復制和IBM WRS基于Q的復制實(shí)現；ETL工具包含Informatica PowerExchange、IBM DataStage加CDC組件；數據庫工具包括，甲骨文數據庫的復制技術(shù)、DB2基于CD/CCD的SQL復制，以及SQL Server的出版社訂閱復制技術(shù)；另外，數據捕獲器與消息中間件的集成可以提供動(dòng)態(tài)數據倉庫的客戶(hù)化集成解決方案。
上述方案基本上是基于現有的數據庫復制技術(shù)進(jìn)行動(dòng)態(tài)數據應用。除此之外，還有一些專(zhuān)業(yè)的數據同步軟件，例如GoldenGate就是進(jìn)行數據實(shí)時(shí)同步的一個(gè)非常好的工具。有報道稱(chēng)，美國領(lǐng)先衛星電視服務(wù)提供商DIRECTV就是采用GoldenGate和Teradata來(lái)部署動(dòng)態(tài)數據倉庫，并獲得成功的。
動(dòng)態(tài)數據倉庫的應用
現階段，動(dòng)態(tài)數據倉庫的實(shí)踐者主要為速遞服務(wù)公司和金融保險類(lèi)企業(yè)動(dòng)態(tài)數據應用。軟件解決方案方面，NCR teradata的ADW（Active Data Warehouse）、Sybase IQ能夠為企業(yè)的動(dòng)態(tài)數據倉庫應用提供比較好的支持。
??其中，Sybase IQ的特色在于采用了按列存儲的創(chuàng )新技術(shù)和專(zhuān)有的數據壓縮技術(shù)動(dòng)態(tài)數據應用。
系統上線(xiàn)后，該公司的速遞郵件實(shí)時(shí)動(dòng)態(tài)跟蹤查詢(xún)系統每天處理超過(guò)千萬(wàn)筆信息，全天郵件查詢(xún)量從上線(xiàn)之初的幾十萬(wàn)件次增加到了上百萬(wàn)件次，高峰訪(fǎng)問(wèn)時(shí)段可達到每小時(shí)十幾萬(wàn)件次動(dòng)態(tài)數據應用。
??借助動(dòng)態(tài)數據倉庫，該公司速遞郵件的收寄、投遞信息在處理完成幾分鐘內即可發(fā)送上網(wǎng)，而對于采用無(wú)線(xiàn)手持終端方式上傳的郵件狀態(tài)，可以在幾秒鐘內即體現出郵件的最新?tīng)顟B(tài)，大大提高了查詢(xún)的時(shí)效性，更好地滿(mǎn)足了用戶(hù)的需求動(dòng)態(tài)數據應用。
而在金融行業(yè)，現階段的動(dòng)態(tài)數據倉庫應用主要是主動(dòng)預防和管控某些業(yè)務(wù)風(fēng)險，而不是等到風(fēng)險發(fā)生后再報告動(dòng)態(tài)數據應用。
??該過(guò)程將原來(lái)的被動(dòng)管理轉化為現在的主動(dòng)防范動(dòng)態(tài)數據應用。而除了風(fēng)險控管，企業(yè)還可以通過(guò)對數據的分析和整理來(lái)判定自己的交易行為或客戶(hù)的交易行為是否符合法律法規的要求。