您现在的位置:首页 >> 滚动 >> 正文
金融行业数据复杂 成本高 难获取 看路孚特如何打破困局
发表时间:2019年11月27日 14:40 来源:新科技 责任编 辑:U

  在数据分发上,RDP 统一了流式处理、批量处理和基于请求的数据提供方式。对于流式数据的访问,董玉栋提到,这类数据即时性很重要,RDP 通过在中间做多层缓存将数据持续且高速地推送给客户。批量数据请求分为“定制批量请求”和“随机批量请求”两种情况。对于定制批量请求,RDP 按照约定时间定时打包推送给用户;对于随机批量请求,则采用异步打包,然后将数据提取位置发送给用户的方式处理。

  对于面向搜索的数据,董玉栋介绍:“这类访问基本都是同步请求,实时访问我们的数据库返回给客户。有时候用户基于搜索的数据量特别大,RDP 系统会进行职能预测,自动将这一类请求转变成随机批量数据请求来处理。”

  那么,如何应对诸如跨洋实时交易这类对时效性要求非常高的超低时延数据访问?

  赵仪解释:“跨洋实时交易本身存在地理位置上的时延,再加上系统带来的时延,通过云服务访问无法满足超低时延的需求。即便是快到 70ms 的时延,对于实时交易来讲,也是一种延迟。”路孚特的做法是在全球部署数据中心,以此提高时效性。此外,目前公有云还无法提供具有超高时效性的数据,因此,比较合适的做法是将数据通过专线直接部署到用户所在地。

  元数据驱动的价值与挑战

  从简单的库表到整个数据平台,再到服务管理,元数据管理的范围正在扩大,不断突破传统管理的范畴,并在大数据治理中发挥着关键作用。而 RDP 的整个系统便是由元数据驱动的。

  简单来讲,元数据是对数据本身进行描述的数据,如描述数据的格式、映射关系、语义、权限等。元数据管理具有以下三方面的价值:

  可以为数据管理提供统一的视图,方便数据交互共享;

  实现数据自动关联分析,为数据分析、问题定位等提供支撑;

  便于建立数据标准,统一交换、存储、应用口径,减少共享壁垒,降低应用出错几率,提升质量。

  在大数据时代,数据的容量、多样性等在持续扩充,元数据管理也面临着挑战。目前,元数据仍然没有统一的标准,如何用一套统一的语义去描述种类繁多的金融数据间的特征,并且真正和数据管理系统 / 微服务之间紧密集成而不是割裂的存在,是行业中普遍存在的问题。

  企业首先需要集中化管理元数据,由一个专门且人数较少的架构师团队定义元数据,并进行统一管理。其次,研发团队要让软件能够支持元数据体系,并与之融为一体,而非割裂存在。最后,不仅内部的系统要实现元数据驱动,系统间的相互访问以及对外开放也需要遵循同一套体系。

  随着元数据驱动的数据管理、API 访问和增值业务能力的增加,元数据实质上已经成为了更高级别抽象的代码,这就带来了一个难题:如何进行数据的生命周期管理。确切地说,这类复杂的问题没有单一的解决方案,必须从系统级架构、可重用的代码和服务、DevOps 和自动化测试、代码安全扫描等多个方面来解决问题。

  对此,陈强分享了以下几点经验:

  (1)如何在权限管理系统中定义“谁”可以“管理”哪些“元数据”?可以把整个系统中的“谁”、“管理(行为)”、“元数据”这些业务概念也都元数据化,由统一的身份及权限系统通过共享服务进行统一管理。

  (2)对于可以在线修改并实时生效的元数据,尤其是决定数据存储和表现形式的元数据,如何保证由其驱动的数据系统的健壮性、稳定性和可控性?首先,在线元数据的修改和发布是独立的异步流程,可由相应的权限进行控制;其次,对元数据的前后变化进行快照,并以版本号作为快照的唯一标识符,在发布和回滚元数据版本时可以明确地识别具体的快照内容;最后,发布和回滚的过程中,可以根据业务特点,根据需要辅以各种在线的自动化功能测试和发布策略。

  (3)某些业务及技术实现的复杂度导致一些元数据的修改无法真正进行热加载和实时生效,或者实现热加载 / 部署的代价过高,但仍然需要业务管理专家而非研发人员控制和实施元数据修改的部署。RDP 在应用中会尽量利用公有云的弹性,对版本化后的元数据进行修改,并进行 CI/CD 持续集成和自动化测试,同时辅助以蓝 / 绿部署策略。这样,元数据的版本控制与代码的版本控制流程及部署策略就可以非常接近。不同的是,元数据的修改是通过易于使用的控制界面,主要由业务专家进行管理。在这背后,路孚特所有由业务专家使用的功能都会经过充分的测试,确保界面上可以操作的功能是健壮有效的。

  随着数据量的增长,RDP 如何平衡性能与成本?

  随着大数据的发展,数据平台难免要面对数据或作业爆发式增长所带来的挑战。RDP 的用户量和数据量每年都会大幅增长,相应的成本投资增长不容小觑。在这种数据量和计算量不断增长的情况下,如何去平衡性能和成本?赵仪表示,这一问题的核心在于每个用户计算成本的控制,即如何保证每个用户计算成本不随用户数量和数据量的增加而显着增加。RDP 在控制成本方面可借鉴的方法有:

[1]  [2]  [3]  
高层访谈
华为中国区杨涛:发挥网络长板,做实云网融合
随着5G和AI的快速发展,基于万物智联的垂直行业智能化逐渐向各行各业渗透。这将催生数万亿的蓝..
雷军:AI+IoT是小米核心战略 AI模块将装进每个物联网设备
11月28日,MIDC 2018小米AIoT开发者大会在北京召开。在本次大会上,雷军表示“AI+IoT”将成为..
观点态度
5G毫米波网速优势显现,少了高速路的5G不完整
随着5G网络目前在全球各地的开通,5G毫米波在峰值速率上已经展现出了巨大优势。同时,工信部在..
手机厂商这半年:互怼变日常,多品牌成突围关键
2019年的手机行业,可以说是非常热闹的,仅仅上半年,“华米OV”的隔空互怼便开始频繁上演。
移动互联
手机
智能设备
汽车科技
通信
IT
家电
办公打印
企业
滚动
相关新闻
关于我们 | 联系我们 | 友情链接 | 版权声明
新科技网络【京ICP备18031908号-1】
Copyright © 2018 Hnetn.com, All Right Reserved
版权所有 新科技网络
本站郑重声明:本站所载文章、数据仅供参考,使用前请核实,风险自负。