PB级复杂信息自动化处理 同盾指标计算平台——极溯
复杂信息、海量数据向我们展示了联系的复杂性和多样性，碎片化的字符之间相互连结、影响、作用和转化，能衍生出各种维度的数据指标，最终引导我们探究出隐藏在数字背后事物的本质和价值。
随着数字时代的发展，金融领域高并发、大数据、实时反馈的需求给智能决策系统提出了严峻的挑战。
传统实时指标计算的困境——快、准、稳不能兼得
每天上千万笔交易量、千亿的指标计算量、PB级数据规模， 在这些天文数字面前，留给系统的响应时间只有几毫秒。
如何在最快时间计算模型的结果，反馈精准的结果，并且在整个过程中保持系统的绝对稳定，长久以来这是一个近乎无解的问题。
多数企业采取了舍卒保车的模式，牺牲一部分性能去集中满足一个需求。比如很多企业追求处理的速度，在准确性上大打折扣；或者一味满足准确性在高并发处理能力上又束手无策；或者这两者都做到很好，却又无法保证系统的稳定。
在破题之前先查找一下病因。传统的实时指标计算方法底层逻辑一般是采用实时采集、异步计算的方式。换言之，就是采集、计算、查询三个环节是异步并行的，三者各司其职，无法有效协同。尽管这样的设计，可以从源头解决瞬时大数据吞吐量的问题，让性能大幅提升。但这种设计理念简直是“准确性”的噩梦，异步计算无法保证实时数据已经被计算，异步查询无法保证当前的计算结果实时被查获。同时，随着大数据的不断累积，计算能力会逐渐变得迟缓。尤其在金融机构复杂规则的面前， TPS不稳定几乎是难以避免。
准确性是实时指标计算的生命线，没有了准确性无论吞吐量的数据多么亮眼，都是毫无意义的。
严格来讲，快、准、稳三者其中一项为零，最终结果都是零，那么三者真的就无法兼得了吗？
同盾指标计算平台——极溯接下来再来看这一组数据
完成一笔交易全链路分析不超过200毫秒，日均可支撑线上几百亿数据量级的决策研判，单日指标计算处理量可达1200亿，每一秒可帮助互联网和金融机构拦截超3000起欺诈事件，满足业务每天1.5-2亿次的调用需求。
在500+个指标的场景下，计算准确度达99.99%以上，平均响应时间1ms以内，TPS超60万。
将这些数字串联在一起的，是一台低延迟、可扩展、高可靠的处理引擎，同盾科技自研的大数据极速处理平台——“极溯”。极溯，取自极往知来，追本溯源之意。
同盾极溯是如何实现了快、准、稳的统一？
快：PB级数据毫秒处理能力极溯创造性的将采集、计算与查询同步在一次原子操作中，通过可计算缓存、分时处理引擎等技术使采集到的数据到达即算出、算出即查得，用可计算缓存和特定的数据结构，结合具体业务场景，按照时间窗口分片的实时指标计算方式，从而在保证吞吐量的基础上得到较高的准确率。
极溯产品集群部署支持超高并发量的请求，每秒可处理高达百万级的计算任务，在处理TB级甚至是PB级的数据规模都能保证延时达到毫秒级别。毫秒级实时数据分析的能力，能够辅助企业做出更有价值的实时决策。
准：全流程打通大数据平台
极溯实现了与大数据平台的深度结合，与传统模式指标计算相比，可实时回溯历史数据计算指标值，在配置指标的过程中已在大数据平台创建了离线任务，当需要使用时便可实时生效。不仅有效利用历史数据，在深度结合大数据平台后，还能唤醒铺底数据，新增的指标去计算沉睡的数据，赋予数据更大的意义，更加接近真实环境。
同盾极溯能帮助企业构建数据完善的生态湖及标签体系，全流程的大数据风控能力，从底层设计就把客户的各个流程的业务需求都考虑在内。并以各类工具、技术、模型为底层支撑，辅以分析咨询，继而搭建自己的智能风控AI模型框架。
稳：确保7*24持续运行
极溯支持生产中心双活部署，同时也支持远程异地多活部署。数据前置、决策分析、模型运行、管理控制台、数据集市、离线测试等各个产品组件均可实现集群式部署，可确保全年7*24小时无间断的持续运行。
同时系统具备高拓展性，具有横向及纵向扩展能力，支持负载均衡模式、分容器化、布式、集中式等多种部署方案，能够根据业务需要以较为灵活的方式实现对性能的扩展。
更懂客户:继承同盾一万家客户场景理解能力
同盾累计服务超过一万家企业客户，涵盖22大类行业、118类细分领域客户，涉及到注册、登录、交易、支付、授信等100多种不同的场景。
强大的场景理解能力也都被极溯完整的继承下来，极溯将抽象的业务模型提炼成后台的指标模版，使得指标可配置化，使得极溯能提供私人订制般的解决方案。
结合数据计算、持久化、缓存三合一机制与简单高效的架构，可为企业节省大量设备与部署成本。大量规则一键上线，快速调整，规则指标均支持热部署实时生效，页面化配置方便企业通过简单的学习即可快速上手、灵活应用。
极溯应用广泛，几乎没有场景的局限，可以满足银行、支付、保险、信托、医疗、交通、通讯、物流、军工等需要数据分析实时计算场景。
此前，在与国内知名金融机构的合作过程中，极溯展现出强大的应用计算能力。
以国内某大型支付公司为例
该企业日交易量超千万笔，交易欺诈风险较高，传统策略指标加工方式无法满足日均千万笔处理，交易风险隐患较大。
为实时拦截可疑风险，降低损失。该支付公司使用同盾极溯平台对交易数据进行实时加工计算输出指标策略结果，实现交易场景风险全覆盖。最终完美实现了千万级的数据实时计算及指标加工，且系统响应时间稳定保持50ms以内，大幅降低支付风险。
目前同盾已经成功打造了以实时指标计算平台——极溯、决策引擎——天策、知识图谱、机器学习平台等技术为核心代表的产品集群，这将是同盾实现科技赋能的重要基础。
未来极溯将会把同盾近百种产品链路悉数打开，将实时计算和离线计算打通，成为一个全体系的指标平台，打造整个PaaS层的智能生态。
未来同盾会继续丰富产品密度，力争协助金融机构打造一个事前预警、事中监控和事后分析的闭环，通过主动预防，多维度场景监控，搭配立体化的技术工具和智能风险管理平台，形成从线上实时决策分析、离线模型训练部署、数据存储管理到智能模型应用的全面配套支持，实现“端到云”的智能风控及分析决策全流程解决方案。
随着数字时代的发展，金融领域高并发、大数据、实时反馈的需求给智能决策系统提出了严峻的挑战。
传统实时指标计算的困境——快、准、稳不能兼得
每天上千万笔交易量、千亿的指标计算量、PB级数据规模， 在这些天文数字面前，留给系统的响应时间只有几毫秒。
如何在最快时间计算模型的结果，反馈精准的结果，并且在整个过程中保持系统的绝对稳定，长久以来这是一个近乎无解的问题。
多数企业采取了舍卒保车的模式，牺牲一部分性能去集中满足一个需求。比如很多企业追求处理的速度，在准确性上大打折扣；或者一味满足准确性在高并发处理能力上又束手无策；或者这两者都做到很好，却又无法保证系统的稳定。
在破题之前先查找一下病因。传统的实时指标计算方法底层逻辑一般是采用实时采集、异步计算的方式。换言之，就是采集、计算、查询三个环节是异步并行的，三者各司其职，无法有效协同。尽管这样的设计，可以从源头解决瞬时大数据吞吐量的问题，让性能大幅提升。但这种设计理念简直是“准确性”的噩梦，异步计算无法保证实时数据已经被计算，异步查询无法保证当前的计算结果实时被查获。同时，随着大数据的不断累积，计算能力会逐渐变得迟缓。尤其在金融机构复杂规则的面前， TPS不稳定几乎是难以避免。
准确性是实时指标计算的生命线，没有了准确性无论吞吐量的数据多么亮眼，都是毫无意义的。
严格来讲，快、准、稳三者其中一项为零，最终结果都是零，那么三者真的就无法兼得了吗？
同盾指标计算平台——极溯接下来再来看这一组数据
完成一笔交易全链路分析不超过200毫秒，日均可支撑线上几百亿数据量级的决策研判，单日指标计算处理量可达1200亿，每一秒可帮助互联网和金融机构拦截超3000起欺诈事件，满足业务每天1.5-2亿次的调用需求。
在500+个指标的场景下，计算准确度达99.99%以上，平均响应时间1ms以内，TPS超60万。
将这些数字串联在一起的，是一台低延迟、可扩展、高可靠的处理引擎，同盾科技自研的大数据极速处理平台——“极溯”。极溯，取自极往知来，追本溯源之意。
同盾极溯是如何实现了快、准、稳的统一？
快：PB级数据毫秒处理能力极溯创造性的将采集、计算与查询同步在一次原子操作中，通过可计算缓存、分时处理引擎等技术使采集到的数据到达即算出、算出即查得，用可计算缓存和特定的数据结构，结合具体业务场景，按照时间窗口分片的实时指标计算方式，从而在保证吞吐量的基础上得到较高的准确率。
极溯产品集群部署支持超高并发量的请求，每秒可处理高达百万级的计算任务，在处理TB级甚至是PB级的数据规模都能保证延时达到毫秒级别。毫秒级实时数据分析的能力，能够辅助企业做出更有价值的实时决策。
准：全流程打通大数据平台
极溯实现了与大数据平台的深度结合，与传统模式指标计算相比，可实时回溯历史数据计算指标值，在配置指标的过程中已在大数据平台创建了离线任务，当需要使用时便可实时生效。不仅有效利用历史数据，在深度结合大数据平台后，还能唤醒铺底数据，新增的指标去计算沉睡的数据，赋予数据更大的意义，更加接近真实环境。
同盾极溯能帮助企业构建数据完善的生态湖及标签体系，全流程的大数据风控能力，从底层设计就把客户的各个流程的业务需求都考虑在内。并以各类工具、技术、模型为底层支撑，辅以分析咨询，继而搭建自己的智能风控AI模型框架。
稳：确保7*24持续运行
极溯支持生产中心双活部署，同时也支持远程异地多活部署。数据前置、决策分析、模型运行、管理控制台、数据集市、离线测试等各个产品组件均可实现集群式部署，可确保全年7*24小时无间断的持续运行。
同时系统具备高拓展性，具有横向及纵向扩展能力，支持负载均衡模式、分容器化、布式、集中式等多种部署方案，能够根据业务需要以较为灵活的方式实现对性能的扩展。
更懂客户:继承同盾一万家客户场景理解能力
同盾累计服务超过一万家企业客户，涵盖22大类行业、118类细分领域客户，涉及到注册、登录、交易、支付、授信等100多种不同的场景。
强大的场景理解能力也都被极溯完整的继承下来，极溯将抽象的业务模型提炼成后台的指标模版，使得指标可配置化，使得极溯能提供私人订制般的解决方案。
结合数据计算、持久化、缓存三合一机制与简单高效的架构，可为企业节省大量设备与部署成本。大量规则一键上线，快速调整，规则指标均支持热部署实时生效，页面化配置方便企业通过简单的学习即可快速上手、灵活应用。
极溯应用广泛，几乎没有场景的局限，可以满足银行、支付、保险、信托、医疗、交通、通讯、物流、军工等需要数据分析实时计算场景。
此前，在与国内知名金融机构的合作过程中，极溯展现出强大的应用计算能力。
以国内某大型支付公司为例
该企业日交易量超千万笔，交易欺诈风险较高，传统策略指标加工方式无法满足日均千万笔处理，交易风险隐患较大。
为实时拦截可疑风险，降低损失。该支付公司使用同盾极溯平台对交易数据进行实时加工计算输出指标策略结果，实现交易场景风险全覆盖。最终完美实现了千万级的数据实时计算及指标加工，且系统响应时间稳定保持50ms以内，大幅降低支付风险。
目前同盾已经成功打造了以实时指标计算平台——极溯、决策引擎——天策、知识图谱、机器学习平台等技术为核心代表的产品集群，这将是同盾实现科技赋能的重要基础。
未来极溯将会把同盾近百种产品链路悉数打开，将实时计算和离线计算打通，成为一个全体系的指标平台，打造整个PaaS层的智能生态。
未来同盾会继续丰富产品密度，力争协助金融机构打造一个事前预警、事中监控和事后分析的闭环，通过主动预防，多维度场景监控，搭配立体化的技术工具和智能风险管理平台，形成从线上实时决策分析、离线模型训练部署、数据存储管理到智能模型应用的全面配套支持，实现“端到云”的智能风控及分析决策全流程解决方案。
我要收藏
个赞
评论排行