美团云创新助力发展 做企业的专属“工程师”
发表时间:2016年1月22日 13:26 来源:新科技
1月16日,互联网技术开放日(ITA)第二期活动在中关村拉开帷幕。在主题为“构建高可用云服务的核心技术实践”的活动中,国内云平台构建的多位顶级技术专家均出席分享了实践经验。其中,来自美团云的李慧霸教授现场通过详解美团自研云平台各层的核心技术,揭示了新美大平稳运营背后的秘密。
作为领先的O2O电商云和大数据解决方案提供商,美团云从诞生至今,不仅承载了美团的所有业务,更以自身不断演进的技术创新,为众多初创企业服务,2015年,美团云还入选了TOP100年度技术创新案例。
那么,令人好奇的是,美团云平台架构究竟是如何同时稳定地支撑起私有云和公有云服务,并成为服务众多企业的专属“工程师”呢?
服务从基础做起
美团云平台的基本结构大致如下,首先云可以分为不同的region,比如北京、上海、广州这样的区域。在一个区域里面可能有不同的 zone,每个Zone有不同的Cluster,集群下面是Host,即物理机。美团云的底层虚拟化使用了KVM,而从Host到Region都是自己研发的服务组件。除了用户认证使用keystone,映像管理使用glance以外,美团云在其他方面都没有使用Openstack。随着私有云业务规模的扩张和公有云服务产品线的日益丰富,美团自研云平台的优势很快体现出来,在可扩展性、运维监控、稳定性方面,都为美团云的发展打下了坚实的基础。
目前,美团云除了能够交付虚拟机,还能够交付物理机。其平台大大致的分布,是最底下是物理层,包括机房、服务器、交换机等硬件。存储方面为本地存储和分布式存储。分布式存储就是分布式块存储/Paas的对象存储。网络层面分为内网隔离和外网的负载均衡。最后对象存储对接了CDN的服务。
(图2:美团云平台功能架构)
良好的功能架构和坚实的基础,让美团云在2015年出现质的飞跃。
此前,美团云内网使用的是千兆的单根网线,但从2015年起,美团云新建设所有机房里面,均采用了双万兆链路,接到不同的交换机上。 同时,介入交换机和核心交换机用了40GE的4根网线。 最大程度地确保了网络的可靠性。与此同时,美团云建设了跨机房地BGP网络,通过BGP路由宣告IP地址的所在地,显著提高了机房网络的稳定性。
此外,在互联网接入方面,美团云还做了很多软件层面的研发工作,软硬件的结合,让美团云的网络可靠性和效率在2015年有了一个质的提升。
稳定来自于创新
事实上,在2015年之前,美团云在存储方面就只有本地存储,且使用的是RAID10模式,这个模式最大的好处一个是技术上非常简单很容易实现,另一个是性能相对比较好。但同时也存在很多问题,比如虚拟机迁移很困难等,所以在综合考量后,美团云研发并上线了一个分布式存储模块。
其主要的设计理念与出发点,是保证技术的稳定可靠和高性能。“现在万兆网络普及了,我们要发挥万兆网络和自带硬盘的潜力,同时尽可能降低研发人力物力的投入”,李慧霸表示。
他透露,在这个自研的存储模块中,美团云采用了一个系统架构,这种架构其实有很多成功案例,最著名的是google的GFS还有Hadoop的HFS。系统架构具体包括:master-client-server三个部分。
其中,master又包括三个部分,即Redis用来存放持续性变化的数据,Mysql负责存放需要持久化的数据,Manager负责集群的管理和修复。而对卷的存储结构,包括Chunk Replicate三副本的功能模块,在这个基础之上,美团云又添加了Stripe的模块,然后可以在这个基础之上加一个客户端的缓存,通过使用高速的存储设备,把最常用的数据缓存到本地,加快读写的速度。
在随后的测试环境中,自研美团云的存储性能得到了验证:在吞吐率接近网络线速的情况下,CPU占用率还是比较低的。在IOPS测试里边,美团云很容易可以达到SSD的水平。相比于开源方案Ceph,美团云自研云存储的服务端效率是ceph的43倍,客户端效率是ceph的21倍效率。而在最后的延迟测试中,平均值是0.16毫秒,标准差是0.05,整个测试结果是令人满意的。
2016年,美团云已经在做的工作包括几个方面:一个是Docker,美团云会把Docker和VM做一个融合。由于美团云同时支持美团私有云的业务和公有云服务,因此Docker需要兼顾这两个方面。私有云层面,用Docker代替VM。公有云层面,由用户自由选择在VM里部署 Docker应用。
另一个是存储,随着分布式存储的发展,云平台本身本地存储会逐渐减少,更多迁移到分布式存储上面。最后一个是VPC的虚拟私有云业务,目前也在加紧开发中。值得一提的是,美团云在对象存储方面,使用了Swift的开源方案,并建立了专门的团队,为的是给企业提供更好的服务。
相关文章