一、风险洞察平台介绍以Clickhouse+Flink实时计算+智能算法为核心架构搭建的风险洞察平台,建立了全面的、多层次的、立体的风险业务监控体系，已支撑欺诈风险、信用风险、企业风险、小微风险、洗钱风险、贷后催收等十余个风控核心场景的实时风险监测与风险预警，异常检测算法及时发现指标异常波动，基于根因策略快速做到风险归因分析并生成风险报告，接入MQ主题500+、数据模型6000+、实时预警4000+、风险监控看板1000+、异常检测模型10000+,大促时期分钟级消息处理量达3400w/min,日均消息处理量达百亿 二、风险洞察-遇到的技术挑战与解决方案技术难点与挑战风险洞察平台早期架构采用E
01背景和问题目前，模型开发的流程越来越规范化，通常可以分为业务分析、样本准备、特征工程、模型构建、模型评估及监控这几个步骤。其中，特征工程和模型构建在建模的整个流程中依然非常耗时，并且非常依赖于模型开发者对业务的理解及数据处理的能力。在目前实际业务场景下，面临的最大的一个问题是，如何快速地构建起一个质量相对不错的模型，以适应业务的快速发展。传统的风控建模周期较长，通常要20天左右的时间才能达到上线的要求。其中，特征工程的耗时在整个建模过程中会占到大约60%的时间，且这个过程的挑战就是人工提取特征的复杂性和高时间耗费性。自动化特征工程能够对必要而繁琐的工作进行自动化处理，从而优化机器学习模型的
01背景和问题目前，模型开发的流程越来越规范化，通常可以分为业务分析、样本准备、特征工程、模型构建、模型评估及监控这几个步骤。其中，特征工程和模型构建在建模的整个流程中依然非常耗时，并且非常依赖于模型开发者对业务的理解及数据处理的能力。在目前实际业务场景下，面临的最大的一个问题是，如何快速地构建起一个质量相对不错的模型，以适应业务的快速发展。传统的风控建模周期较长，通常要20天左右的时间才能达到上线的要求。其中，特征工程的耗时在整个建模过程中会占到大约60%的时间，且这个过程的挑战就是人工提取特征的复杂性和高时间耗费性。自动化特征工程能够对必要而繁琐的工作进行自动化处理，从而优化机器学习模型的
引言性能调优也是有迹可寻的，本文梳理了在实际开发过程中沉淀的通用性能优化策略，并且结合风控系统服务内使用场景，帮助读者理解性能调优相关可行策略，从而建立性能优化SOP概念，以后出现问题即可参照优化流程改造即可。性能优化策略时空转换刷过算法题目的都知道评分条件有：时间复杂度、空间复杂度，两样消耗都很小的话，评分越高，即优秀的算法。但在实际开发过程中，一般二者不可兼得。要么占用空间小运行时间长一点，要么追求效率则占用空间就多一点。我们要做的就是在特定的需求场景中，极力优化其中的一方，此时往往需要牺牲另一方来达到目的。空间换时间在当前业务场景下，追求的是极致性能，即响应速度要足够快，比如开屏页的打开
引言性能调优也是有迹可寻的，本文梳理了在实际开发过程中沉淀的通用性能优化策略，并且结合风控系统服务内使用场景，帮助读者理解性能调优相关可行策略，从而建立性能优化SOP概念，以后出现问题即可参照优化流程改造即可。性能优化策略时空转换刷过算法题目的都知道评分条件有：时间复杂度、空间复杂度，两样消耗都很小的话，评分越高，即优秀的算法。但在实际开发过程中，一般二者不可兼得。要么占用空间小运行时间长一点，要么追求效率则占用空间就多一点。我们要做的就是在特定的需求场景中，极力优化其中的一方，此时往往需要牺牲另一方来达到目的。空间换时间在当前业务场景下，追求的是极致性能，即响应速度要足够快，比如开屏页的打开
引言本篇主要聚焦介绍风控决策引擎中决策树编排能力的构建。决策引擎是风控的大脑，而决策树的编排能力和体验是构建大脑的手段，如何构建高效、丝滑、稳定可靠的决策树编排能力，是对风控决策引擎的一大挑战，本篇文章和大家分享一下过往构建心得。背景任何系统在初期构建肯定不是往“一步到位”的方向去构建的，只是架构设计者尽量向后期可扩展、可维护的方向去搭建。好的底层设计，不怕产品后期疯狂迭代，且改动调整方便。糟糕的“填鸭式”代码，可能在当时为了尽快实现了功能，最终也会逐步发展成“屎山”，维护成本越来越高，要么跑路，要么只能另起炉灶。MVP小步迭代1.0此阶段目标：最小化可行产品（MVP）；小布迭代，快速上线；一
引言本篇主要聚焦介绍风控决策引擎中决策树编排能力的构建。决策引擎是风控的大脑，而决策树的编排能力和体验是构建大脑的手段，如何构建高效、丝滑、稳定可靠的决策树编排能力，是对风控决策引擎的一大挑战，本篇文章和大家分享一下过往构建心得。背景任何系统在初期构建肯定不是往“一步到位”的方向去构建的，只是架构设计者尽量向后期可扩展、可维护的方向去搭建。好的底层设计，不怕产品后期疯狂迭代，且改动调整方便。糟糕的“填鸭式”代码，可能在当时为了尽快实现了功能，最终也会逐步发展成“屎山”，维护成本越来越高，要么跑路，要么只能另起炉灶。MVP小步迭代1.0此阶段目标：最小化可行产品（MVP）；小布迭代，快速上线；一
引言决策引擎服务是风控系统的大脑，承载着风控策略编排和计算的任务，对决策的时耗和精度有着严格的要求，本文以决策流执行路径实现方案为切入点，一窥风控决策引擎高效的原理。背景在上文风控决策引擎——决策流构建实战中详细介绍了风控决策引擎的发展历程，决策流的编排能力，满足了策略运营人员对当前风险场景下的防控策略足够灵活、高效的部署。“灵活”往往意味着不可控，从多年的开发经验中来看，产品的功能在既定的范围内，基本不会出现不可控的问题（除非是BUG）。像SQL查询语言，对数据分析人员来说非常的灵活，抽象的语法可以满足任何数据组装查询组装需求，但此时危机正在蔓延：随时可能出现一个慢查询导致性能问题！“灵活”
引言决策引擎服务是风控系统的大脑，承载着风控策略编排和计算的任务，对决策的时耗和精度有着严格的要求，本文以决策流执行路径实现方案为切入点，一窥风控决策引擎高效的原理。背景在上文风控决策引擎——决策流构建实战中详细介绍了风控决策引擎的发展历程，决策流的编排能力，满足了策略运营人员对当前风险场景下的防控策略足够灵活、高效的部署。“灵活”往往意味着不可控，从多年的开发经验中来看，产品的功能在既定的范围内，基本不会出现不可控的问题（除非是BUG）。像SQL查询语言，对数据分析人员来说非常的灵活，抽象的语法可以满足任何数据组装查询组装需求，但此时危机正在蔓延：随时可能出现一个慢查询导致性能问题！“灵活”
随着大数据时代的到来，互联网电商风控已经从无风控、人工抽取规则为主的简易规则模型发展到当前基于大数据的风控。与金融风控不同，互联网电商风控呈现出业务量大、防控面广、流程长等特点，对研判效率和响应时效性要求更高。另一方面，风控是不断对抗升级的过程，需要不断优化并挖掘非法用户的新特征，进而提高风控的成功率。图计算可以说是互联网电商风控的有力武器，不仅在复杂关系的存储和分析上优于关系型数据库，而且能够有效利用数据间关联关系和结构，提供更为精准可靠的决策依据。下面通过典型场景分析图计算如何赋能互联网电商风控。一、虚假账号注册1、场景现象：电商中存在着大量的虚假账号，在评论区通过传播虚假信息、发布垃圾评
