封面图

Yita再度服务某省移动,推动大数据平台加速升级!

时间 2021/03/08 眼睛 21013


近日,某省移动公司大数据扩容改造项目上线,中兴飞流自研高速计算引擎Yita,具有海量、实时和智能的强大特性,有效解决公司在某些业务上的性能瓶颈,保障了安全、高效、稳定的大数据运营,为项目降本增效提供了技术支撑,也推动了中兴飞流Yita大数据在运营商领域的再度升级。

   


一、项目背景


公司采集用户信令数据,整合用户维度数据之后上传给移动公司总部,为旗下旅游板块提供业务分析。相比Yita计算引擎,某省移动大数据平台之前采用的IBM Streams引擎,但存在以下诸多问题:


1. 数据处理能力弱:业务处理后的数据缺失一半以上,且业务数总量无法实时统计上传给集团。


2. 维护难度大:需要使用SPL语言开发,任何改动调整需要IBM Streams引擎专业人员进行操作。


3. 扩容成本高:目前接收的数据只有4G信令的数据,后续5G信令推送之后,基于当前处理能力,扩容成本过高。

      

面对以上诸多问题,如何在软件侧实现平台能力提升,根源性解决处理性能瓶颈,是该省移动大数据项目的痛点需求。




   二、解决方案


1.解决方案:使用基于数据流的Yita大数据引擎


2.项目优势

①海量实时高吞吐,性能优越:使用Yita替代原有的IBM Streams解析平台,极大的提升了解析效率,Yita同时具备高吞吐、低时延的优优势特性。


②兼容hadoop生态:作为加速模块实现整体平台性能的提升。


③系统资源占用少,节省拥有成本,易于配置和编程。




   三、客户价值


为验证Yita引擎的处理性能,通过项目测试,Yita计算引擎在众多方面表现优异,尤其是在计算加速、数据解析能力、集群网络传输方面均有极大提升,特别是计算处理方面,相比于传统Spark Streaming引擎高达4倍的加速,为业务发展带来更多可能,也有效保障了大数据分析平台的实时性和准确性。


据估算,中兴飞流Yita计算引擎上线后,某省移动旅游板块的大数据平台业务性能将实现“质的”飞跃。


1.集群资源降低:目前Yita一共使用了Yarn平台11个container

2.轻松应对高峰期的数据处理,有效解决数据丢失:在原有数据量(3800万/分钟)的情况下,无数据丢失情况。

3.计算时延降低:解析后的数据上传到sftp服务端由之前的8分钟缩短到4分钟,数据将及时上传至集团公司。



本次某省移动Yita大数据平台的项目合作,助力运营商大数据平台的性能提升,推进“业务数据化”向“数据业务化”转变,提升数据治理能力,将有效解决运营商数据壁垒的困境。作为大数据行业的领导者,中兴飞流将继续依靠自身卓越的技术实力和行业洞察,推进数字化建设和运营商服务的紧密耦合,提供更多智慧解决方案和创新技术,为运营商探索出一条通向智慧时代的数字变革之路。


上一篇:热点聚焦:2021两会智能交通最强音 下一篇:探索智慧高速技术路径,中兴飞流助推高速智能化升级