大連銀行
客戶需求
通過數(shù)據(jù)倉庫的建設(shè)，打破數(shù)據(jù)孤島、形成數(shù)據(jù)合力、建設(shè)數(shù)據(jù)質(zhì)量體系，支撐全行數(shù)據(jù)應(yīng)用。解決數(shù)據(jù)加載耗時越來越長，無法滿足目標(biāo)系統(tǒng)對數(shù)據(jù)的時效性要求；解決只能處理結(jié)構(gòu)化數(shù)據(jù)，無法滿足多樣化（半結(jié)構(gòu)、非結(jié)構(gòu)化）格式數(shù)據(jù)處理需求。
解決方案
基于大數(shù)據(jù)計算引擎進行信息統(tǒng)計，同時使用實時處理工具進行線上日志的實時解析比對及處理；實現(xiàn)大數(shù)據(jù)的批量處理和快速檢索，大大減少數(shù)據(jù)加載耗時，通過分布式計算避免I/O瓶頸，支持線性擴展，支持非結(jié)構(gòu)化數(shù)據(jù)的存儲和處理，對數(shù)據(jù)進行統(tǒng)一整合，實現(xiàn)多租戶管理；使用流程工具調(diào)用每天的批處理業(yè)務(wù)，提供穩(wěn)定高效的批處理性能，以及高并發(fā)，且支持全文索引下的毫秒級查詢。
應(yīng)用效果
數(shù)據(jù)倉庫從傳統(tǒng)Oracle庫遷移到大數(shù)據(jù)數(shù)倉后，并行入庫任務(wù)性能提升7.34倍，并行任務(wù)最多提升46.6倍；在核心存儲過程性能方面，總體核心作業(yè)性能提升了5.7倍；大數(shù)據(jù)量批處理性能從小時級降低到分鐘級甚至秒級；對內(nèi)數(shù)據(jù)倉庫將全行數(shù)據(jù)進行歸集并整合，為全行業(yè)務(wù)應(yīng)用提供數(shù)據(jù)服務(wù)；對外提供了涉及營銷與風(fēng)控的價值數(shù)據(jù)，比如客戶畫像、欺詐名單等。
