江苏龙网

  1. 首页 > 资讯 > 资讯 > >

金融|大数据技术打造金融“智能核心”

_原题为 大数据技术打造金融“智能核心”
沈捷
数字经济是浙江的“一号工程” 。 近年来 ， 随着科技的不断发展 ， 数字经济逐渐成为经济社会可持续发展的新引擎 。 面对这一趋势 ， 浙江省农信联社在大数据平台建设的基础上 ， 于2019年提出了以科技引领数字化转型的发展战略 。 一年多来 ， 浙江农信依托数字化转型积极探索前沿技术 ， 加快大数据、人工智能、云计算等技术应用布局 ， 推动线上线下融合发展 ， 金融科技对业务发展的支撑和服务能力得到跨越式发展 。 基于大数据平台 ， 浙江农信已建成20个系统及场景应用 ， 该平台正逐渐成为浙江农信金融科技名副其实的“智能核心” 。
金融科技应用中台：
更稳定、高效、包容
浙江农信大数据平台整合全域数据 ， 通过统一标准、口径和加工模式 ， 打造便捷共享的中台数据支撑体系 。 利用封装复杂的大数据处理技术 ， 将数据以服务API等方式提供服务应用 ， 有效提升开发效率 ， 降低开发难度 ， 实现了平台“三项”能力的有效提升 。
一是海量存储的能力 。 为了更好地匹配应用系统数据需求的多样性 ， 浙江农信大数据平台设计了准实时ODS数据集群和T+1数据集群两套集群 ， 独立处理不同时效的数据 ， 在数据的抽取、转换、加载处理和存储能力上更加灵活高效 ， 并能在存储尽量多明细数据的同时 ， 提供历史数据查询 。 浙江农信的历史交易数据庞大 ， 基于传统数据库的存储性能及存储成本已无法满足需求 。 相较于传统平台 ， 新平台扩容更加方便 ， 成本也进一步压缩 ， 通过大数据技术 ， 解决了数据处理的性能问题和海量数据的存储问题 ， 也实现了数据查询的高效率 ， 这既满足了新应用的海量数据需求 ， 又为传统系统的历史迁移打好了基础 。
二是处理复杂类型数据的能力 。 浙江农信大数据平台实现了支撑高并发下的非结构化数据处理、存储、检索 。 以此为前提 ， 浙江农信搭建了冠字号系统、数字影像平台等系统应用 ， 为非结构化数据提供了优异的存储和处理能力 ， 保证了长时间、高并发业务下稳定可靠的快速响应 。 如针对引入外部数据带来的数据结构格式不一、数据半结构化及非结构化等问题 ， 浙江农信通过大数据平台解析处理外部数据 ， 建立外部数据平台提供存储和查询的支持 ， 向应用系统提供统一、标准的外部数据查询服务 ， 满足业务部门个性化、定制化的外部数据使用需求 。 同时 ， 通过一站式对接行外多渠道、多类型的数据 ， 并进行统一维护管理 ， 也解决了数据复用度低、标准不一致的问题 ， 有效提升了外部数据使用的响应速度及能力 。 又如浙江农信利用大数据平台的非结构化数据存储检索能力建立了数字影像平台 ， 将原先散落分布在各个行社的影像数据进行集中存储 ， 在节省硬件成本的同时提升了数据的响应速度 ， 结合人脸识别技术对异常客户进行快速反应 ， 有效降低了冒充开户等欺诈风险 。
【金融|大数据技术打造金融“智能核心”】三是全平台数据统一管理、高效运作的能力 。 大数据平台通过数据统一管理 ， 为浙江农信提供了全面高效的数据资产管控环境 ， 实现了数据的集中、统一和共享 ， 为后续各应用系统的开发建设提供了充分的数据支撑保障 。 浙江农信利用Hadoop大数据平台的分布式存储、计算和分布式检索能力实现对新一代冠字号系统数据的快速处理和查询 ， 实现了每10分钟更新一次数据的突破；另外 ， 还实现了对多类型数据的统一管理、分布式存储在线扩展、低延时数据处理、实时流式数据处理和提供科学的数据挖掘算法等技术能力 ， 建立了统一的监控运维平台 。 该平台对各类型操作系统、服务器硬件等、各类型数据库、各应用层服务、自定义监控实现统一监控 ， 并与现有告警平台实现对接 ， 实现告警事件的快速触发 。
数据分析处理能力：
更快速、强大、智能
依托大数据平台建设 ， 浙江农信在平台IO吞吐量、并行计算能力、快速数据处理、精准数据分析方面取得了积极进展 ， 具备了进一步挖掘数据内含价值的能力 。 通过实现数据资源的快速处理和深度应用 ， 逐渐将数据打造成为提升自身核心竞争力、实现可持续发展的重要动力 。
一是强大的批处理能力 。 浙江农信利用大数据平台高效的数据处理能力和强大的并行计算能力 ， 将原先传统数据仓库需要2-3小时的核心ODS批量任务工作时间缩减到半小时以内 。 而之前受数据量庞大等问题的困扰而迟迟无法落地的CRM2.0、大信贷查询系统等系统应用 ， 在大数据平台的加持下都迎刃而解 。 如CRM2.0依托大数据平台强大的批处理能力解决了日终数据批处理效率低的问题 ， 实现了海量数据在线实时筛选、准实时客户资金流入提醒、核销贷款客户及关联人资金流入提醒 ， 有效提升客户经理精准营销和不良资产管理方面的效率 。
二是灵活、智能的数据整合分析及风险控制能力 。 面向重点业务 ， 浙江农信实施星型和雪花模型构建OLAP Cube ， 实现交互式分析以及自动化的报表应用构建 。 基于大数据平台开发管理会计自助分析系统、可视化报表系统等系统应用 ， 实现图形化OLAP CUBE的设计以及实例化应用 ， 并在维度管理、任务监控、CUBE生命周期管理、物化CUBE等方面 ， 与Inceptor紧密结合实现加速查询 。 如借助大数据平台中的OLAP引擎开发数据自助分析平台 ， 对数据多维分析过程中可能用到的度量进行预计算 ， 将计算好的结果保存成cube ， 供BI工具在查询时直接访问 。 把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询 ， 使OLAP能提供快速查询和高并发等服务能力 ， 解决了以往关系型数据库无法处理超大规模数据、难以水平扩展等问题 。 同时 ， 借助大数据实时流处理、智能决策引擎、设备指纹、机器学习建模等技术 ， 已经构建起了一套基于大数据分析的风险管理系统和实时风险监控系统——实时交易反欺诈系统 。 该系统已接入丰收互联手机银行客户端、大信贷平台等多个系统 ， 打造事前、事中、事后风险识别、分析和控制体系 ， 正逐步实现覆盖全渠道及业务的交易行为风控 。


推荐阅读


上一篇：特斯|特斯联成为2020年迪拜世博会官方首席合作伙伴

下一篇：防伪|新版5元纸币防伪新亮点！ 自主研发印钞技术你可知？