关于大数据发展趋势的思考与总结

现代企业的大数据平台大多是基于 Hadoop 构建的”一存多算”的多元化架构,以 HDFS 为统一存储,通过 Spark、HBase、Flink、Presto 等多种计算引擎满足不同场景的处理需求。
如今,高弹性和可扩展的计算与存储俨然已经非常成熟了,未来云原生、一体化将是大数据的技术发展趋势,并且依附于小程序IoT等业务载体,以 Saas 带动 IaaS 必将成为大势所趋。

云原生

上云已经成为企业数字化的共识,上云之后如何用好云是当前大家的重点讨论和思考,如果仍然按照过去线下机房的模式去部署和使用大数据,不仅无法获得云计算的红利,甚至在成本效率上可能面临诸多不适。所以,以”存储计算分离+弹性Serverless”为代表的云原生大数据架构,实现存储的计算伸缩、资源弹性按需使用,大幅提升资源利用率、系统运维灵活性,成为接下来的主要趋势。在阿里云平台,以 Lindorm (兼容HDFS、HBase等多摸的 Serverless 存储) + DLA (提供 Spark、Presto等多模态的 Serverless 计算)向企业提供了云原生的大数据最佳实践。

一体化

开源大数据技术在经过十多年的快速发展,在采集、存储、计算、调度、管理等各个方面的整体版图已经相当完善,同时面向各个场景的存储计算引擎也呈现百花齐放的景象,但这也加大了用户的使用门槛和维护复杂度,多种系统的一体化也越来越成为下一个大的发展趋势,比如多种模型数据库的一体化、大数据与数据库的一体化、批计算与流计算的一体化、数据湖与数据仓库的一体化等,这些技术上的整合,可以帮助企业更加经济高效的用好数据。

  • 结果的批流一体
    用户不需要关心批或者流,在用户提交查询的时候得到的结果就是截止那一刻的统计结果。

  • 存储的批流一体:统计场景
    如 Hologres
    高性能的实时/批量 append 和 update 的能力,读写互不影响,比如目前比较火的数据湖的概念
    增量订阅读取、批量读取的能力,类似 Apache Pulsar
    和 OLAP 引擎(impala、presto、clickhouse)对接的能力,列式存储具备较强 SCAN 和 filter 的能力

  • 计算引擎的批流一体
    一套代码搞定批流统计场景,降低开发运维成本

SaaS 带动 IaaS

与美国相比,中国的云计算市场是”本末倒置”的。美国是以 SaaS 为主,中国现在还是以 IaaS 为主,处于大建数据中心阶段。

但数据中心里躺着的那些服务器是需要用户买单的,而 SaaS 应用是消耗这些服务器的不二法门。用 SaaS 带动 IaaS,是主流云厂商非常重要的竞争策略。阿里云力推的”云钉一体”就是一个典型案例,可以预见,腾讯云、华为云都将走这一条路。

要有足够繁荣的生态,才能消耗那些躺在数据中心里的上百万台云服务器。不然,服务器利用率上不去,盲目上规模无异于自杀。

虽然业内对阿里云+钉钉、腾讯云+企业微信的组合介绍已经很多了,但他们的手里还有第二张王牌。支付宝是阿里云手里的第二张王牌,微信是腾讯云手里的第二张王牌。

在 PC 时代,大一点的企业以及政府、学校等机构都有一个官方网站,是这些机构对外进行品牌展示、办理业务的窗口。在移动互联网时代,手机替换了电脑。人们越来越多用手机来了解信息和办理业务,网页端的官方网站日渐式微。

随着 5G 网络的建设普及,小程序将成为 PC 时代”官网”一样的存在。并且,小程序的互动性、及时性会更强。大量的企业和政府单位,将通过小程序的方式来进行信息传递、业务办理,并与用户进行直接、实时的沟通。

一旦小程序更多地承载业务场景,那其承载的信息流和业务流将出现指数级增长,这需要消耗大量的计算、网络资源,也将成为消耗云计算的关键渠道。

届时,得小程序者得云计算天下。

谁会是小程序的赢家,第一是微信,第二是支付宝。百度、华为、字节跳动都得靠边站,UCloud、青云这些云计算小巨头更没戏,而支付宝将成为政府服务的主要渠道,越来越多的政府事务将会可以通过支付宝办理。

通过手机办理政府业务,将成为大势所趋。并且,没必要每个政府部门都开发一款 App。比如个人所得税 APP,一年也就用一两次。像这类应用,本身业务场景不复杂,通过小程序来实现完全可以。随着 5G 网络的成熟,小程序的流畅度会进一步提升,能够承载的业务场景也会更多。

支付宝很可能会垄断政府对外业务,随之而来的,阿里云则可能会垄断政务云市场。政府不仅要关注内部系统,更重要的是要与公民进行交互,而这需要一个国民级的 APP 来进行承载。
这个国民级 APP,主要是支付宝,其次是微信。

前端通过支付宝来作为政府服务窗口,后端通过阿里云承载政务云系统,并且实现不同政府部门业务系统和数据的打通,将是未来的发展趋势。因此,阿里云在政务云的市场份额会进一步扩大,这对 UCloud 这样的小巨头而言不是个好消息。

另一方面,微信小程序的发展空间则更大,并且不局限于政务领域。将来,大部分企业对外服务的主阵地都将由官网转移到微信小程序上。与之配套的,腾讯云很可能会成为最大的赢家。

以这个角度来看,阿里云可以通过钉钉+支付宝来构建应用生态,腾讯云可以借助微信+企业微信来构建应用生态,以 SaaS 带动 IaaS 消耗。这是横跨C端和B端的顶级巨头玩法,UCloud完全没有可能建立这样的生态系统。未来,UCloud面临阿里云、腾讯云的生态战压力会越来越大。

参考资料

阿里为什么要做多模数据库?
小程序生态之路:阿里向左,腾讯向右 – 行业深度战略分析报告
UCloud,创业公司死磕公有云的悲壮