·补有K2的液体钙——汤臣倍健钙DK,好吸收才事半功倍·暑假肠胃易出问题,lifespace益生菌帮你打造健康好“肠”态·首创性科研成果:北京宝枫生物神经酸改善HIE治疗效果·科学护肝攻略:集4重护肝植粹于一身的健安适不容错过·解锁身材管理新姿势:lifespace小蓝腰益生菌助你实现科学身材管理·如何科学降血脂?主打天然成分的舒百宁纳豆红曲胶囊了解下·昆腾中国赵丙涛:磁带是冷数据的最佳存储介质·如何增强免疫力?汤臣倍健蛋白粉好营养来“助攻”·Canalys调研:中国企业对于上云的需求仍然低迷·增幅超30% 华为上调2023手机出货量至4000万部·突破多项重点技术 浪潮发布全新算力网络操作系统·自我看衰?苹果大幅削减MR头显销售目标至15万台·华为云正式发布新一代自研分布式数据库GaussDB·全球第一家!三星QD-OLED获Pantone双色彩权威认证·测尿酸试纸怎么用·3999元起!折叠屏手机moto razr 40系列正式发布·贵!索尼推出TOUGH三防CFexpress Type A存储卡·华为正式发布智简全光联接战略及6款重磅新品·联发科董事长蔡明介:预计手机业务未来两年会增长·测尿酸试纸怎么用·腾讯云EdgeOne入选Gartner DDoS缓解方案市场指南·华为OceanStor Pacific分布式存储获IO500榜第一·小米发布2023年一季度财报:扭亏为盈,利润上涨·联想上一财年营收利润双双下滑 非PC收入占比近40%·佳能首款RF“饼干”镜头RF28mm F2.8 STM正式发布·索尼发布轻巧型全景声回音壁HT-S2000 售价2990元·用友董事长兼CEO王文京:全面数智商业创新时代到来·中兴TECS云平台连续三年获GlobalData Leader评级·内核数量为业界最高!Ampere发布192核ARM处理器·Gartner:腾讯云获CPaaS、CRM多个赛道国内第一
您现在的位置:首页 >> 新•资讯 >> 正文
基于流式计算的DPI数据处理方案及实践
发表时间:2018年8月9日 16:05 来源:《移动通信》2018年1月 责任编 辑:麒麟

【摘要】如何对海量的DPI数据进行实时的采集以及处理是运营商研究的热点,传统基于MapReduce的批处理模式难以满足流式计算实时性要求,因此首先介绍了流式处理相关概念,然后分析了目前流行的流式计算技术,提出一种基于流式计算的DPI数据处理方案,并应用在实际项目中,满足电信运营商对数据处理实时性的要求,最后通过实践总结了流式处理的应用场景。

【关键词】DPI;流式计算;数据处理

doi:10.3969/j.issn.1006-1010.2018.01.000 中图分类号:TN399 文献标志码:A 文章编号:1006-1010(2018)01-0000-00

引用格式:范家杰,田熙清. 基于流式计算的DPI数据处理方案及实践[J].移动通信, 2017,42(1): 00-00.

Scheme and Practice of DPI Data Processing Based on Stream Computing

FAN Jiajie, TIAN Xiqing

(Guangdong Research Institute of China Telecom Co., Ltd., Guangzhou 510630, China)

[Abstract] How to collect and process the massive DPI data in real time is the hotspot of telecom operators. The traditional batch mode MapReduce is difficult to meet the real-time requirements based on stream calculation, so this paper firstly introduces the related concepts of stream computing, and then analyzes the current popular streaming technology, presents a stream computing based on the DPI data processing program. This scheme is applied to practical projects to meet the requirements of telecom operators for real-time data processing. Finally, the application scenarios of streaming processing are summarized through practice.

[Key words] DPI; stream computing; data processing

1 引言

随着移动互联网的不断发展以及各类智能设备日益深入民众日常生活中,人类社会产生的数据量正在以指数级快速增长,人类已经正式迈入大数据时代[1]。如今,运营商能够获得的用户数据越来越丰富,通过DPI(Deep Packet Inspector,深度分组检测)分析技术,能够较好地识别网络上的流量类别、应用层上的应用种类等[2]。在这个“数据为王”的时代,如何充分利用这笔重要的战略资产已成为重中之重。

数据规模的快速增长给大数据分析处理带来了巨大的挑战,尤其是在通信行业,数据越发呈现出无限性、突发性和实时性等特征[3],传统的基于MapReduce的批处理模式难以满足数据实时性的要求,而能否在第一时间获得数据所蕴含的信息决定了数据的价值。因此,流式处理技术成为大数据技术研究的新热点[4]。流式处理能够针对数据的变化进行实时处理,能够在秒级获得处理结果,特别适合一些对时效性要求很高的场景。

[1]  [2]  [3]  [4]  [5]  [6]  [7]  
高层访谈
凌动智行史文勇:品智出行, 重新定义车辆对生活的价值和意义
众所周知,手机是基础的通讯工具,车是基础的交通或者出行工具,而发动机是传统车里面非常高的..
专访张启亮:勇担工业互联推手,服务百万设备上云
近日,在第二十二届中国国际软件博览会上,徐工信息总经理张启亮向《人民邮电》报记者讲述了工..
观点态度
云计算的第二个十年:三大运营商如何迎接?
2018年,我国云计算进入第二个十年。站在国家方队里三大运营商的云计算也进入了新的发展阶段。<..
国内手机市场半年报:头部格局定型 中小品牌陷入集体焦虑
2018年已过半,回看这半年, 头部品牌的吸附效应越来越明显,中小品牌正陷入到集体焦虑中。

..
移动互联
手机
智能设备
汽车科技
通信
IT
家电
办公打印
企业
滚动
相关新闻
关于我们 | 联系我们 | 友情链接 | 版权声明
新科技网络【京ICP备18031908号-1】
Copyright © 2018 Hnetn.com, All Right Reserved
版权所有 新科技网络
本站郑重声明:本站所载文章、数据仅供参考,使用前请核实,风险自负。