璺�鐞涖儲婀並2閻ㄥ嫭鎭担鎾绘寢閳ユ柡鈧梹鍫¢懛锝呪偓宥呬淮闁芥K閿涘苯銈介崥鍛婃暪閹靛秳绨ㄩ崡濠傚閸婏拷璺�閺嗘垵浜i懖鐘哄剭閺勬挸鍤梻顕€顣介敍瀹璱fespace閻╁﹦鏁撻懣灞藉簻娴g姵澧﹂柅鐘蹭淮鎼村嘲銈介垾婊嗗亖閳ユ繃鈧拷璺�妫f牕鍨遍幀褏顫栭惍鏃€鍨氶弸婊愮窗閸栨ぞ鍚€规繃鐏氶悽鐔哄⒖缁佺偟绮¢柊鍛婃暭閸犲嚗IE濞岃崵鏋熼弫鍫熺亯璺�缁夋垵顒熼幎銈堝€介弨鑽ゆ殣閿涙岸娉�4闁插秵濮㈤懖婵囶槻缁€涚艾娑撯偓闊偆娈戦崑銉ョ暔闁倷绗夌€瑰綊鏁婃潻锟�璺�鐟欙綁鏀i煬顐f綏缁狅紕鎮婇弬鏉啃崝鍖$窗lifespace鐏忓繗鎽戦懙鎵抄閻㈢喕寮婚崝鈺€缍樼€圭偟骞囩粔鎴濐劅闊偅娼楃粻锛勬倞璺�婵″倷缍嶇粔鎴濐劅闂勫秷顢呴懘鍌︾吹娑撶粯澧︽径鈺冨姧閹存劕鍨庨惃鍕灊閻ф儳鐣炵痪瀹犵湸缁俱垺娲搁懗璺烘抄娴滃棜袙娑擄拷璺�閺勫棜鍚樻稉顓炴禇鐠у吀绗濆☉娑崇窗绾句礁鐢弰顖氬枎閺佺増宓侀惃鍕付娴e啿鐡ㄩ崒銊ょ矙鐠愶拷璺�婵″倷缍嶆晶鐐插繁閸忓秶鏌呴崝娑崇吹濮广倛鍤曢崐宥呬淮閾斿娅х划澶娿偨閽€銉ュ悋閺夈儮鈧粌濮弨鐑┾偓锟�璺�Canalys鐠嬪啰鐖洪敍姘厬閸ユ垝绱掓稉姘嚠娴滃簼绗傛禍鎴犳畱闂団偓濮瑰倷绮涢悞鏈电秵鏉╋拷璺�婢х偛绠欑搾锟�30% 閸楀簼璐熸稉濠呯殶2023閹靛婧€閸戦缚鎻i柌蹇氬殾4000娑撳洭鍎�璺�缁愪胶鐗径姘躲€嶉柌宥囧仯閹垛偓閺堬拷 濞搭亝鐤嗛崣鎴濈閸忋劍鏌婄粻妤€濮忕純鎴犵捕閹垮秳缍旂化鑽ょ埠璺�閼奉亝鍨滈惇瀣€滈敍鐔诲閺嬫粌銇囬獮鍛閸戝粰R婢跺瓨妯夐柨鈧崬顔炬窗閺嶅洩鍤�15娑撳洤褰�璺�閸楀簼璐熸禍鎴烆劀瀵繐褰傜敮鍐╂煀娑撯偓娴狅綀鍤滈惍鏂垮瀻鐢啫绱¢弫鐗堝祦鎼存弸aussDB璺�閸忋劎鎮嗙粭顑跨鐎硅绱掓稉澶嬫ЕQD-OLED閼剧òantone閸欏矁澹婅ぐ鈺傛綀婵炰浇顓荤拠锟�璺�濞村缈遍柊姝岀槸缁惧憡鈧簼绠為悽锟�璺�3999閸忓啳鎹i敍浣瑰閸欑姴鐫嗛幍瀣簚moto razr 40缁鍨锝呯础閸欐垵绔�璺�鐠愮绱掔槐銏犲嚬閹恒劌鍤璗OUGH娑撳妲籆Fexpress Type A鐎涙ê鍋嶉崡锟�璺�閸楀簼璐熷锝呯础閸欐垵绔烽弲铏圭暆閸忋劌鍘滈懕鏃€甯撮幋妯兼殣閸欙拷6濞嗛箖鍣哥壕鍛煀閸濓拷璺�閼辨柨褰傜粔鎴f噣娴滃鏆遍拕鈩冩娴犲绱版0鍕吀閹靛婧€娑撴艾濮熼張顏呮降娑撱倕鍕炬导姘杻闂€锟�璺�濞村缈遍柊姝岀槸缁惧憡鈧簼绠為悽锟�璺�閼垫崘顔嗘禍鎱恉geOne閸忋儵鈧artner DDoS缂傛捁袙閺傝顢嶇敮鍌氭簚閹稿洤宕�璺�閸楀簼璐烵ceanStor Pacific閸掑棗绔峰蹇撶摠閸屻劏骞廔O500濮掓粎顑囨稉鈧�璺�鐏忓繒鑳岄崣鎴濈2023楠炵繝绔寸€涳絽瀹崇拹銏″Г閿涙碍澹勬禍蹇庤礋閻╁牞绱濋崚鈺傞紟娑撳﹥瀹�璺�閼辨梹鍏傛稉濠佺鐠愩垹鍕鹃拃銉︽暪閸掆晜榧庨崣灞藉蓟娑撳绮� 闂堟扛C閺€璺哄弳閸楃姵鐦潻锟�40%璺�娴e疇鍏樻#鏍儥RF閳ユ粓銈奸獮娴嬧偓婵嬫殔婢剁ⅵF28mm F2.8 STM濮濓絽绱¢崣鎴濈璺�缁便垹鍑归崣鎴濈鏉炶闃€閸ㄥ鍙忛弲顖氾紣閸ョ偤鐓舵竟涓燭-S2000 閸烆喕鐜�2990閸忥拷璺�閻€劌寮搁拋锝勭皑闂€鍨悑CEO閻滃鏋冩禍顒婄窗閸忋劑娼伴弫鐗堟閸熷棔绗熼崚娑欐煀閺冩湹鍞崚鐗堟降璺�娑擃厼鍙碩ECS娴滄垵閽╅崣鎷岀箾缂侇厺绗侀獮纾嬪箯GlobalData Leader鐠囧嫮楠�璺�閸愬懏鐗抽弫浼村櫤娑撹桨绗熼悾灞炬付妤傛﹫绱扐mpere閸欐垵绔�192閺嶇RM婢跺嫮鎮婇崳锟�璺�Gartner閿涙俺鍚樼拋顖欑隘閼剧áPaaS閵嗕竼RM婢舵矮閲滅挧娑壕閸ヨ棄鍞寸粭顑跨
您现在的位置:首页 >> 新•资讯 >> 正文
基于流式计算的DPI数据处理方案及实践
发表时间:2018年8月9日 16:05 来源:《移动通信》2018年1月 责任编 辑:麒麟

【摘要】如何对海量的DPI数据进行实时的采集以及处理是运营商研究的热点,传统基于MapReduce的批处理模式难以满足流式计算实时性要求,因此首先介绍了流式处理相关概念,然后分析了目前流行的流式计算技术,提出一种基于流式计算的DPI数据处理方案,并应用在实际项目中,满足电信运营商对数据处理实时性的要求,最后通过实践总结了流式处理的应用场景。

【关键词】DPI;流式计算;数据处理

doi:10.3969/j.issn.1006-1010.2018.01.000 中图分类号:TN399 文献标志码:A 文章编号:1006-1010(2018)01-0000-00

引用格式:范家杰,田熙清. 基于流式计算的DPI数据处理方案及实践[J].移动通信, 2017,42(1): 00-00.

Scheme and Practice of DPI Data Processing Based on Stream Computing

FAN Jiajie, TIAN Xiqing

(Guangdong Research Institute of China Telecom Co., Ltd., Guangzhou 510630, China)

[Abstract] How to collect and process the massive DPI data in real time is the hotspot of telecom operators. The traditional batch mode MapReduce is difficult to meet the real-time requirements based on stream calculation, so this paper firstly introduces the related concepts of stream computing, and then analyzes the current popular streaming technology, presents a stream computing based on the DPI data processing program. This scheme is applied to practical projects to meet the requirements of telecom operators for real-time data processing. Finally, the application scenarios of streaming processing are summarized through practice.

[Key words] DPI; stream computing; data processing

1 引言

随着移动互联网的不断发展以及各类智能设备日益深入民众日常生活中,人类社会产生的数据量正在以指数级快速增长,人类已经正式迈入大数据时代[1]。如今,运营商能够获得的用户数据越来越丰富,通过DPI(Deep Packet Inspector,深度分组检测)分析技术,能够较好地识别网络上的流量类别、应用层上的应用种类等[2]。在这个“数据为王”的时代,如何充分利用这笔重要的战略资产已成为重中之重。

数据规模的快速增长给大数据分析处理带来了巨大的挑战,尤其是在通信行业,数据越发呈现出无限性、突发性和实时性等特征[3],传统的基于MapReduce的批处理模式难以满足数据实时性的要求,而能否在第一时间获得数据所蕴含的信息决定了数据的价值。因此,流式处理技术成为大数据技术研究的新热点[4]。流式处理能够针对数据的变化进行实时处理,能够在秒级获得处理结果,特别适合一些对时效性要求很高的场景。

[1]  [2]  [3]  [4]  [5]  [6]  [7]  
高层访谈
凌动智行史文勇:品智出行, 重新定义车辆对生活的价值和意义
众所周知,手机是基础的通讯工具,车是基础的交通或者出行工具,而发动机是传统车里面非常高的..
专访张启亮:勇担工业互联推手,服务百万设备上云
近日,在第二十二届中国国际软件博览会上,徐工信息总经理张启亮向《人民邮电》报记者讲述了工..
观点态度
云计算的第二个十年:三大运营商如何迎接?
2018年,我国云计算进入第二个十年。站在国家方队里三大运营商的云计算也进入了新的发展阶段。<..
国内手机市场半年报:头部格局定型 中小品牌陷入集体焦虑
2018年已过半,回看这半年, 头部品牌的吸附效应越来越明显,中小品牌正陷入到集体焦虑中。

..
移动互联
手机
智能设备
汽车科技
通信
IT
家电
办公打印
企业
滚动
相关新闻
关于我们 | 联系我们 | 友情链接 | 版权声明
新科技网络【京ICP备18031908号-1】
Copyright © 2018 Hnetn.com, All Right Reserved
版权所有 新科技网络
本站郑重声明:本站所载文章、数据仅供参考,使用前请核实,风险自负。