近期,在火山引擎云产品发布会上,边缘计算产品负责人沈建发在「新云·预见趋“视”」分论坛分享了“云原生新边缘-火山引擎边缘计算最佳实践”的主题演讲,介绍了火山引擎边缘计算在字节跳动的场景实践以及沉淀的边缘计算云平台相关技术与解决方案,并提出了边缘计算新定义。
沈建发认为:边缘计算是指“用户到云中心之间所有的算力层”,包含现场边缘、近场边缘、云边缘三层。而云原生具备的松耦合理念、弹性、共享、自治、按需服务等特点,使 “云原生新边缘”能够在应用资源上融合多种异构算力,在应用管理上支持更加灵活的编排调度,在应用服务上实现云边端一致的用户体验。
互联网时代数据的爆发式增长、5G 普及应用带来的业务场景移动化、“直播+”与实时音视频等边缘刚需场景的涌现,无一不在加速边缘计算的繁荣发展。作为新型基础设施,边缘计算在解决业务应用面临的低时延、大带宽、高并发、分布式部署上具备显著优势,越来越多的企业开始考虑将边缘计算纳入到应用架构的整体规划之中。字节跳动也不例外。
字节跳动的业务发展需求
从 2017 年起,字节跳动陆续推出多款热门应用,如早期的今日头条,到后来的抖音、住小帮等,应用形态也从图文、点播逐步走向更加实时的直播、实时音视频、AR/VR。与此同时,业务对资源需求以及边缘形态也随之不断革新。
● 早期,主要通过物理机在边缘层构建内容分发网络,实现应用图文内容的高效分发和缓存;
● 当前,随着视频直播、实时音视频业务的用户覆盖更加广泛,单一的分发计算已经无法满足业务对边缘推拉流、转码、合流等多种业务的不同算力诉求;
● 未来,AR/VR、3D 视觉应用将越来越多,就近渲染、网络、高性能算力也将成为业务发展的重要基础能力。
● 另外,更加弹性的算力资源和更高效的全网一键部署能力开始成为新的需求。
随着字节跳动整体业务体量迅速增长,如何保障所有终端用户实时、一致性的体验,是字节业务应用当时面临的主要问题之一。面对多样化资源和算力需求,字节跳动在原有的基础架构上进行升级,重新定义了边缘计算,并构建了新一代边缘计算云平台。
“新”边缘计算
火山引擎边缘计算:用户到云中心的所有边缘算力层
火山引擎将边缘计算定义为:从用户到云中心之间所有的算力层,包含:现场边缘、近场边缘、云边缘三层。
● 首先,“现场边缘”,主要位于用户现场或用户自己的机房,覆盖 1~5ms 时延范围,可以将云中心训练好的模型算法和能力下沉到用户的现场侧,满足超低时延的计算和网络能力。现场边缘主要应用于 AIoT、边缘时序数据等实时性业务的典型场景。
● 其次,“近场边缘”,主要位于全国二三四线城市或城区节点,覆盖 5~20ms 时延范围。目前近场边缘主要在 CDN、视频直播、实时音视频、视频监控和图像处理等常见业务场景落地。
● 最后,“云边缘”,位于区域中心城市、提供多线及 BGP 汇聚节点,覆盖 20-40ms 时延范围,可以跟中心云实现高效连接,为“现场边缘和近场边缘”提供汇聚能力等。目前云边缘在 CDN 合并回源、视频直播的 L2 层转发、离线渲染业务、数据并发处理业务等场景有广泛应用。
然而,在当前的多层算力结构下,如何保证海量异构终端无缝连接、中心能力有效下沉、云边端体验一致以及边缘节点的自治和全域资源的合理调度?为此,火山引擎边缘计算团队选择了云原生架构。
面向云、边、端混合部署的云原生架构
云原生架构主要是面向云、边、端混合部署的原生架构,其最大的优势在于以更加松耦合的理念,在应用资源上融合不同的异构算力,在应用管理上支持更加灵活的编排调度,在应用服务上支持云边端一致的用户体验。同时,通过云原生可以打通从设计、开发、集成、测试、发布、部署、运维、监控的产品全生命周期链路。
在云原生的架构下,终端应用可以实现更轻量的应用形态和更友好的硬件支持,边缘计算则提供更实时的服务响应和更精准的用户覆盖,而中心云计算则能够实现更高效的数据聚合和更敏捷的业务架构,最终达到云、边、端三位一体,协同一致的目标。
新一代边缘计算云平台
通过采用云原生架构,火山引擎边缘计算构建了新一代边缘计算云平台。边缘计算云平台整体采用一横 N 纵的结构,一横是指基于边缘计算基础设施打造的云原生边缘平台,N 纵指具象化的服务能力,如边缘虚机、边缘容器、边缘网络、边缘函数和边缘渲染等。
● 首先,在基础设施层,根据边缘算力的分布层级优选全国各省市丰富的边缘资源和运营商网络,并按地理位置部署优质的单线、多线和 BGP 的节点,结合多种架构的硬件设备,如:X86、ARM 服务器、智能网卡、GPU 等算力和网络资源,打造面向异构算力的边缘基础设施底座。
● 其次,在平台层,基于边缘基础设施底座,火山引擎边缘计算自研了云原生边缘平台,以面向边缘云原生的操作系统为核心,提供边缘自治管理、核心系统组件管理以及大规模部署的镜像服务能力。
● 第三,在资源服务层,边缘计算团队将云原生边缘平台模块化,通过自研网络组件提供多种功能,由此形成边缘计算资源服务层,可以按需提供不同的边缘能力,如:虚机、容器、网络、函数、渲染等一系列服务。
● 最后,边缘计算云平台配合云边管理和数据管理模式,实现业务的全域智能调度、实时数据大屏,满足内容分发、视频直播、实时音视频、云游戏等多个场景应用。
目前新一代边缘计算云平台已在字节跳动支持多个场景的业务实践。
火山引擎边缘计算最佳实践
视频直播
首先,视频直播场景。
在视频直播场景中,边缘节点可以帮助业务实现直播流的就近分发和就近访问,确保直播的低时延,降低中心带宽压力。同时,边缘节点能够支持实时弹幕的边缘分发,在靠近观众侧实现高效拉流,提升主播、观众双向的直播体验。
基于高质量的画面诉求,低时延的转码也是直播场景中的关键因素,丰富、高性能的边缘算力能够满足直播中不同业务的多样化算力资源需求。此外,边缘计算云平台具备的 VF 直通功能可以减少虚拟化对网卡转发能力的损耗,IPv4/ IPv6 双栈、负载均衡、镜像预热等能满足直播业务所需的主要功能和快速全域部署的能力,真正为用户提供高清、流畅的直播互动和观看体验。
实时音视频
第二,实时音视频场景。
随着视频会议、在线教育等场景的普及,端到端之间实时互动的要求要越来越高。实时音视频可以借助边缘节点实现业务的就近接入,保证节点间低时延互联互通,提供高速稳定的实时音视频通信优质链路。同时,边缘算力的弹性扩容能力能保障业务量突增时,视频会议中长会话的通信质量,而边缘计算 GPU 实例还可以满足实时音视频中的渲染需求。
在功能上,高性能负载均衡可以支持实时音视频在边缘节点内高效东西转发,打通东西向流量。此外,多线、IPv4/ IPv6 双栈等也为实时音视频提供完整的能力保障,满足多人连麦、多人视频会议的低时延需求。
边缘渲染
第三,边缘渲染场景。
在边缘渲染场景中,如常见的直播特效、家装应用涉及的 3D 特效和 VR 看房等,在内容制作环节往往有大量的工程数据需要处理。边缘计算可以基于设计师所在地理位置就近提供服务,缩短工程数据传输距离,有效降低网络时延,提高业务渲染的实时性。
同时,通过全域节点的边缘算力资源和智能调度,能满足关键渲染任务的灵活切片,实现多节点并行渲染,提升渲染效率。
云游戏
第四,云游戏场景。
云游戏场景中,用户对时延更加敏感。区别于端游、页游、手游和主机游戏,云游戏的游戏资源、运行、渲染都需要在云端完成,相当于用户在云端玩游戏。
云游戏业务依托全域覆盖的边缘异构算力,基于用户地理位置的亲和性,通过边缘智能就近调度,实现游戏指令毫秒级交互。同时,结合高密度的 ARM 集群、GPU 算力、弹性扩缩容、资源隔离等功能,支持多个云游戏实例并发运行,为终端用户提供无设备限制、稳定、高品质、超低时延的游戏体验。
边缘函数
最后,边缘函数场景。
常见的边缘函数场景如:浏览器性能优化、页面个性化内容的生成、A/B 测试和边缘鉴权的处理等,为了降低程序部署和批量发布的时间、成本以及用户的编程门槛,边缘函数支持 JavaScript 调用浏览器运行时 API,可快速编写代码或调用通用模板,实现一键式全球下发部署。
同时,边缘函数能够快速响应客户的 Http 请求,就近调度到边缘节点执行,整个启动时间可控制在 3-5ms;还能够配合 CDN 实现如:鉴权、边缘定制应用等服务;以及源站拨压测的探针,如 A/B 测试等;实现业务的快速分析和决策。
另外,当节点的客户端请求数量激增时,平台还支持将请求有序调度至周边充足的计算节点处理,实现快速、高效的扩容和调度的自动化管理,并通过提供更细粒度的弹性资源,实现多租户函数工作流环境隔离。
新品首发:火山引擎边缘计算节点服务
经过字节跳动的多个场景实践,边缘计算云平台解决方案逐步完善,并对外发布了第一款产品——边缘计算节点。通过长期打磨,边缘计算节点也在资源、产品、性能和服务等多方面有所沉淀。
● 节点丰富:基于覆盖全国各省市和运营商的边缘节点,提供更低时延、更高性能、稳定可靠的计算资源,实现业务应用更靠近用户侧的部署和服务;同时,边缘计算节点还具备超大规模分布式算力单元,能够提供单线、多线、BGP 等多种网络形态,满足不同场景的业务诉求。
● 功能完备:支持 VPC 私有网络、弹性公网 IP、高性能负载均衡、防火墙、IPv4/IPv6 双栈等多种特性,提供开关自定义限速、VF 直通功能等满足业务的按需、弹性使用体验 。另外,边缘计算节点的一键开通、镜像预热、自定义云报警、一键分发等特性功能,有助于帮助业务减少部署和运维成本。
● 极致性能:在硬件上,边缘计算节点优选新一代至强系列铂金处理器,100G/25G 智能网卡,提供高效计算和网络转化能力;同时采用 SPDK 技术优化磁盘 IO,并提供 NVMe SSD 高效云盘和本地盘;边缘计算团队自研的高性能网络套件,目前也已实现边缘单实例 PPS 超 500W 的优异性能。
● 优质服务:在服务上,火山引擎边缘计算还沉淀了大型流量业务保障体系,如:2021 央视春晚抖音红包/818 抖音新潮好物节等,边缘计算云平台经过大规模、海量业务的流量考验,形成了先进的自动化运维能力和完善的监控和服务体系,为业务保驾护航。
目前,边缘计算节点服务已正式发布,并在 CDN、视频直播、实时音视频、云游戏、AR/VR 等多个场景落地。未来,火山引擎边缘计算将陆续开放更多产品能力,也希望携手各界合作伙伴一起,在智慧城市、工业互联网、智慧交通、影视等行业探索更多可能性,共创边缘新生态。