随着数字金融快速发展,金融业数据量爆发式增长,数据挖掘、分析、应用已逐步成为金融业务发展和管理决策的重要支撑手段,数据成为金融机构的核心资产。
数据仓库可对异构源数据进行有效集成,面向数据分析场景,支持全局信息共享和决策分析处理,充分释放数据价值, 助力构建数据要素市场。针对金融数据服务、存储、处理、质量和安全等不同维度的需求,金融数据仓库需提供适配的架构和技术,助力金融科技快速发展、金融业数字化转型深入推进。
01
《2022金融数据仓库发展报告》显示,银行业建设数据仓库占比最高,证券业和保险业相对较低,同时,银行业不同类型机构数据仓库建设情况也不相 同。国有大行、股份制银行、直辖市农商行及省联社基本都建设了数据仓库,占比达到 100%,而区域性城市商业银行则以数据集市应用为主。
不同类型金融机构使用我国主流数据仓库产品的情况也不相同。其中,银行业使用我国数据仓库产品的机构数量占比较高,国有大行数量占比达到 83.33%,其次是股份制商业银行和直辖市农商行、省联社,区域性城市商业银行使用我国数据仓库产品的机构数量占比较低。
通过调研全量的国有大行和股份制银行关于我国主流数据仓库产品使用情况,可以发现其使用最多的数据仓库产品是华为云 GaussDB(DWS),机构数量占比达到 38.89%,其次是南大通用 GBase 8a 和 阿里云 AnalyticDB,然后是阿里云 Maxcompute 和星环 ArgoDB,此外还 有2家机构采用自研自建模式建设数据仓库。
02
不同类型金融机构现有数据仓库应用过程中面临的主要痛点各不相同。其中国有大行更关注容量瓶颈问题;其他金融机构大都面临数据质量问题。
考虑实时分析、预测分析、数据量等因素,不同类型金融机构对数据仓库进一步发展的诉求不尽相同。
总体来看,由于金融机构实时分析场景和预测分析的需求增加、数据量激增和数据共享需求增加,以及对数据仓库性能要求不断提升,金融机构对数据仓库进一步发展的诉求主要集中在 T+0 分析、数智融合(AI)、 湖仓一体、存算分离及数据共享。
03
1、数据仓库典型设计架构
数据仓库总体上可以分为四层,分别是贴源数据层、整合模型层、汇总模型层、数据集市层,具体的分层设计应结合具体的业务实际。
贴源数据层主要职责是采集获取保留原始数 据,该层的数据应保留业务数据的原始样貌,不建议进行数据处理。
整合模型层是数据仓库的核心,按照业务特点建立抽象的数据主题模型,对所 有的业务数据进行有效的重组、整合、汇聚,构建稳定的数据底座。
汇总模型层是数据模型中的一个重要组成部分,主要是为了提高查询效率,减 少指标重复计算,对各类应用系统的共性指标标签进行统一加工,确保数出同源。
数据集市层是面向不同的业务应用,为满足多样化的数据使用需 求,进行数据个性化加工,并对外提供数据服务。
2、金融数据仓库典型技术架构
数据仓库平台整体分为采集层、存储计算层和应用层。
采集层主要是从交易系统、日志系统、消息系统以及第三方系统进 行数据采集。
存储计算层对采集的数据进行加工处理 , 并对应用层提供 数据消费服务。
应用层基于存储计算层的原始数据、中间数据和结果数据,为金融机构经营提供经营决策、风险管理和控制、监管合规等分析 应用以及数据展现。
04
根据金融数据仓库建设进程先后次序,大致可分为业务规划、实施 规划和运营规划共三个阶段推进。
业务规划要结合业务调研结果和同业实践,制定规划及实施优先级。并参考客 户管理、运营和绩效管理、 财务管理、风险管理、信息管理等五大模块,结合企业愿景、整体发展战略、业务发展规划以及实际监管要求制定业务目标。金融数据仓库的应用根据不同特点、不同使用范围、不同建设方法主要分为固定报表、应用系统、灵活查询及数据挖掘共四种模式。
实施建设规划包括技术架构、数据架构、数据模型、访问安全、系统容量以及数据治理等六个方面。
运营规划,建议包括环境建设规划、运维规划、系统灾备规 划及持续运营规划等四方面。
05
1、组织架构
金融数据仓库建设涉及到金融机构、服务供应商等众多参与单位,且涉及到金融机构不同业务部门,为保障项目进展实施顺利,建议在项目启 动之初任命职责明晰的项目组,可参考如下图的实施组织架构:
2、实施过程
基于金融数据仓库建设规划特性,数据仓库庞大的系统性实施需要遵照“整体规划、分步实施”的方式推进建设,在每个阶段中建议可采用迭代方式执行,每个迭代周期中又需要包含需求分析、系统设计、开发测试和上线维护等四个阶段:(1)需求分析阶段:通过资料研读、调研问卷、会议访谈等方式进 行业务和技术现状调研,详细了解需求范围、数据规范、数据分布等内 容,并基于样本数据进行数据探查。(2)系统设计阶段:进行数据仓库技术架构和模型设计。技术架构 设计涵盖数据交换、调度、ETL、网络和物理部署等内容。模型设计涵盖 基于通用行业模型进行主题模型、概念模型、逻辑模型和物理模型设计。(3)开发测试阶段:基于系统设计完成基础架构搭建和数据模型开发。(4)上线维护阶段:数据仓库投产及持续维护。
3、规范约束
数据仓库相关开发、测试、上线过程细节繁琐,为了让组织架构内各成员高效开展工作,保障项目实施质量,建议具体实施应涵盖下表所示的各项规范。

06
综合调研和研究,最终提出金融数据仓库的十大发展趋势。
本篇文章来源于微信公众号: 数字金融网