存储
Kubernetes 可支持基于 CPU 和内存资源的计划工作负载,并具有节点亲合性、Pod 亲和性和反亲合性。这对于无状态工作负载非常有效。而对于有状态工作负载,数据持久的存放在哪里合适?该怎么实现?传统的关系型数据库如何适应云原生?大数据的处理呢?传统架构下的集群文件系统如何向现代分布式文件系统转向?如果读者你带着这些问题的话,那么本次大会关于 Kubernetes 存储方面的经验分享可能就是你最最需要的内容。
Jiten Vaidya – PlanetScale CEO
Vitess,这是一款关系型数据库 MySQL 在云原生下的实现,由 Google 开发,用于 YouTube 等重要产品,现在为 CNCF 下重要的孵化项目,在这个主题下有两个分享,分别是来自京东的 xuhaihua,他将为大家带来京东这两年是如何实现 Vitess 的,从经济成本、技术实现、运营问题等各个环节,全方位的介绍一款开源项目如何在大型电商网站的利用和发展的。另外一个关于该主题的分享则来自 PlanetScale 公司,也是该公司的一号人物 - 首席执行官 Jiten Vaidya 为大家进行分享,他将为各位介绍数据库规划失败的案例。Jiten 将在现场进行演示,向大家展示如何使用 Vitess 设计高可用性,从而能够提前防备、避免灾难,并从灾难性故障中恢复。
Xiaoyu Yao – Cloudera 首席软件工程师
Sammi Chen – 腾讯云 软件工程师
大数据,重数据的业务,使用 Kubernetes 来处理,尽管提高了调度和计算,但是数据的存储和转移着实让人头疼,本次会议的分享在这方面的内容也有两块,首先是由 Cloudera 的 Xiaoyu Yao 和腾讯的 Sammi Chen 合作演讲的一个话题:“利用数据位置,从而实现在云原生环境中拥抱大数据工作负载“,二位将会比较 Kubernetes 主流容器挂载存储的数据位置支持。然后会介绍 Apache Hadoop Ozone 的网络拓扑支持,以及如何通过 Ozone CSI 插件将其用作位置感知容器挂载存储,以实现更出色的工作负载调度。最后是使用在 K8s 上运行的 Spark 来演示使用 Apache Hadoop Ozone 进行数据位置感知调度的好处。第二个关于和大数据处理分享的两位工程师均来自腾讯,他们分别是 Apache 成员堵俊平和他的同事 Yi Chen ,带来的主题是和 Hadoop HDFS 相关,具体内容是介绍腾讯云使用的 CSI 兼容 HDFS 插件的设计和架构。然后介绍,分享大数据工作负载 Spark 在 K8s 上运行时如何使用 HDFS CSI 插件访问 HDFS 数据的最佳实践和经验。最后,则介绍使用 TPC-DS 基准套件对 K8s 上运行的 Spark(支持HDFS)和在 YARN 运行的 Spark(支持 HDFS)之间的性能进行比较分析。
Jeff Layton – Red Hat 首席软件工程师