太平金科自主研发流计算数据采集改进方案获发明专利

日期:  2020-06-19

为解决一线业务在高并发、高业务量的重大活动中,无法实时获取最新秒杀数据、无法实时监控系统压力等问题,太平金科攻关克难,自主研发了流计算数据采集改进解决方案。

方案采用Spark流计算产品对接RocketMQ消息队列产品,改进消息拉取模式,根据自身处理能力决定数据拉取频率及拉取增量因子,解决了消息推送模式中无法控制消费速度的问题;采用流计算,运用分布式微批计算模式实现数据实时计算,解决了传统单体计算时效低、延迟高的问题。

自2018年10月上线以来,方案已多次在赋能计划重要业务活动中发挥了重要作用,实现了通过业务大屏展示秒杀活动真实情况,通过监控实时反映系统运行压力状况等需求。

方案于2020年6月16日正式获得国家知识产权局授权(专利号:ZL2020103243744),为太平金科全年知识产权专利申报工作取得了良好开端。

太平金科将继续狠抓科技创新,深入研究人工智能、区块链、云计算、大数据、移动互联、语音识别等先进技术,不断提升自主研发能力,加大知识产权保护力度,在满足业务一线需求的同时持续积累自身技术能力。