【新科技讯】在过去几年,我们看到疫情加速了全球数字化的成长,数据技术也变成了一个热门的赛道。数据技术本身在过去的两三年里面,最重要的是受到了三种外部形态:开源、云计算、人工智能地重塑。
开源数据技术在过去几年快速兴起,形成了很多细分赛道,而云计算由1.0的资源型现在走向了2.0,尤其进入了多元的型态,如多云云原生数仓的出现;另外人工智能逐步加入到数据价值的发现中,与数据技术融合形成新的数据智能平台。
分布式数据库仍然是比较热门技术,逐步走向了云原生,已经开始在多云环境提供全托管服务;此外,大数据技术还在不断向前发展,尤其是在实时性技术方面不断的向前演进。再有就是数据湖、数据仓库两种技术融合的趋势,多模数据化也在不断发展。
总之,数据技术已经成为了企业软件最黄金的一个赛道,在此,我提醒大家特别关注“数据库”这个赛道。
今天的数据库已经不是单机版的,或者是第一代云数据库RDS(关系型数据库)形态,而数据库如今已经升华一个新的黄金时代,数据库与分布式技术、云计算,尤其是云原生技术的融合,产生了一个新的物种。其与20年前应用于信息化时代的数据库不同,此前的数据库多用来做记录和统计,是OLTP核心交易系统,如银行的核心交易,电信营业系统、BOSS系统等,这些都是以记录交易和统计业务为主的。
数字化时代,业务从稳态进入到敏态,数据需求就由被动存储、统计进入到数据驱动,对于实时性、实效性的业务追求。此前,用户大多采用各种ETL工具、Hadoop集群、消息队列,以及分库分表,如此,客户往往会三个以上的数据库类型,4个以上数据工具,技术应用非常复杂。
对此,新一代的数据库应运而生,尤以分布式数据库走向云原生为代表,如果说,此前的数据库应用以OLTP为主,如今,新的数据库就上升到处理OLAP为主;之前离线的速仓,第二天才能看到分析的结果,到现在,要以分钟甚至以秒为单位得到结果,实时反馈,这些都使得数据库技术进入到了一个新的以实时应用为主的简化和融合的应用。
那么简化的意思,就是要把交易系统、分析系统一体化,为此产生了融合的需求,最有代表性的就是HTAP(Hybrid Transaction / Analytical Processing,混合事务分析处理))技术,也就是在同一个数据库里,能够既处理交易(OLTP),又能够做实时的分析(OLAP),对于所有的互联网企业,对于做数字化的企业都是一个必备的需求。在数字化的时代,它借助开源不断迭代;借助云原生、新一代的技术资源的调度以及与人工智能的融合,已经变成了一个具备在PB级别处理的新产品。