带你去看民生银行大数据体系架构设计( 四 )


典型案例平台目前对接了以下几方面的应用:
运营风险监控之可疑境外取现运营风险监控之可疑境外取现场景,通过机器学习方法分析已掌握的可疑取现行为特征,自动发现其中模式,从而更全面、更及时地发掘可疑取现账号 。经过头脑风暴,我们抽取了销卡 / 重开 / 换卡次数、开户机构、交易地域 / 时段 / 频率 / 金额、资金流入流出渠道 / 时间差、客户基本信息等特征,精确率从~65% 提升到了~90%,缓解了人工复核阶段的开销 。
零售风险申请反欺诈评分实验零售风险管理之申请 / 反欺诈评分实验探索 -- 结合信用风险和反欺诈两方面,建立统一的小微反欺诈评分模型 。期望通过机器学习平台系统的新机器学习算法和高维特征处理能力使我行小微申请反欺诈评分模型的效果有比较明显的提升和优化,提高对信用风险和欺诈风险的识别能力 。通过对数 TB 的征信、工商、设备和客户基本信息加以聚合分析,抽取了近千个特征字段,特征自动组合阶段又发现了数十个高效特征,再结合平台内置算法模型的 AUC 达到了 0.9,KS 值提升 20% 。
五、智能化实时推荐引擎平台背景及目标实时推荐引擎是我行大数据体系中面向应用场景建立的应用层面的通用智能引擎,该引擎将大数据基础平台的多种底层数据产出系统,包括标签系统、机器学习平台、大数据平台及实时数据平台,通过应用场景链接起来,构建了具备实时推荐能力的数据服务层 。实时推荐引擎的核心是实时数据处理体系以及机器学习推荐模型 。实时推荐引擎的建设,为精细化的客群经营、个性化客户服务提供了千人千面的支持,成为大数据能力落地、转化为效益的重要环节 。实时推荐建设的目标包括:

  1. 构建在线推荐系统,建设提供各场景的实时推荐服务的基础能力;
  2. 打通用户实时点击行为链路,将实时数据结合到在线推荐服务中;
  3. 打通机器学习平台模型推荐结果,将模型结果数据融合到在线推荐服务中;
  4. 抽象用户、产品数据模式,建设推荐层面规则引擎,支持业务策略灵活配置,并支持融合在线实时行为推荐结果以及机器学习批量模型结果等数据 。
系统架构从技术上实时推荐引擎分为数据加工体系和数据服务体系两部分,通过 redis 层来将两部分链接起来 。
数据加工上涉及到后端多平台上的数据加工,在通用类数据加工上,包括了通过数仓平台建立的集市层数据加工以及 DC 平台完成的行为和外部数据标签加工 。这部分加工的数据作为客户的属性数据,灌入到 Redis 中供引擎层快速查询和过滤使用 。同样在后端数据加工上,还涉及到算法层面的数据加工,通过机器学习平台完成客户购买预测,将基于批量持有信息的计算结果,通过 T-1 每日批量的模式推入 Reids 作为推荐结果集的数据来源之一 。对于用户实时点击的数据,通过 GD 的行为数据采集,推送到实时数据处理平台上,通过流式作业计算在线实时的相关性矩阵,将用户的实时行为通过协同过滤算法体现到推荐结果中去 。对于服务层,着重建设了核心的引擎(包括算法引擎和规则引擎),用户访问将触发引擎访问 Redis 对应模块的数据,通过业务策略以及在线的算法对各推荐结果备选集进行筛选和排序,最终给出最适合的结果 。
带你去看民生银行大数据体系架构设计

文章插图
 
图 10、实时推荐引擎
典型案例手机银行理财产品推荐当前手机银行上推荐的理财是基于客户资产、持仓以及在售理财产品信息,按照相应推荐规则计算得到,使用的数据维度少,灵活性较差 。因此为了进一步为了提升客户体验,在手机银行上实现个性化的理财推荐服务 。
财富圈资讯推荐以万德的新闻资讯数据为基础,依据客户在我行的产品购买,交易行为以及上线之后的浏览行为等信息,推荐符合客户投资、阅读偏好的新闻资讯,并且在推荐过程中对新闻的价值作出简要判断,以对客户形成简要的投资支持 。
六、数据开放平台背景及目标如何实现大数据价值转化是其中非常重要的课题,从当前数据应用的趋势来看,一是越来越看重数据的时效性,从数据分析到数据提供,都要求从离线走向在线;二是注重场景化,要求数据能够灵活和快速地适配各类应用场景 。为适应这样的趋势,大数据的服务层就必须设计相应的机制 。场景化数据开放平台从大数据服务的顶层设计出发,为统一服务出口,增强数据输出规范,对外使用上提供统一的 API 服务网关,提供服务流量的汇聚点,为数据服务模型服务的共享和迭代提供可能 。


推荐阅读