选设备-机械设备网 发布时间:2019-01-11 11:56
如果这不是因为阿里新年消费的第一个大单,更多人知道Flink或许还会晚一点。据欧洲外媒Deutsche Startups报道,阿里巴巴集团以1.033亿美元(9000万欧元)的价格收购了总部位于柏林的初创公司Data Artisans。此消息之后得到了多家媒体从阿里处的证实。
由于Data Artisans拥有着一种代表当今大数据流处理引擎的前沿技术,让阿里这一收购举动引起了相关业界不小的反响。尤其是,在阿里集团刚刚进行一次大规模组织架构调整后,需要依靠更加智能化的云计算技术融合到阿里系更为多元化的发展格局中,收购Data Artisans不失为面向新战略的一次有力布局。
阿里的Flink血液不熟悉的Data Artisans的读者,会很容易错过那些因标题为“阿里巴巴收购德国数据公司”这种平淡表述下的很多信息。即使那约1亿美元的收购额表述,在有着近4000多亿美元体量的的阿里卖卖卖的历程中,对比之前收购饿了么的95亿美元、36.7亿美元拿下优酷土豆等等,也实在是难入法眼。
但其实,Data Artisans手里握着一项当今大数据流处理引擎为数不多的前沿技术,叫做Flink。Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。企业依托Flink技术体系建立的大数据流处理引擎解决方案,可以更合理更快速地获得计算结果投入到企业决策。Data Artisans在2015年初将Flink贡献给Apache社区并成为该社区的顶级项目,Data Artisans此后持有多个并行流的data Artisans Platform成为Flink的商业版本。
据DataArtisans官网介绍,其dA平台由Apache Flink和dAApplication Manager组成,“包括与容器编排、持续集成/持续交付(CI/CD)、日志记录、度量指标和状态存储整合的随时可用的功能,为公司客户提供了单一视图,以便了解所有的数据流处理应用。”其客户包括阿里巴巴、荷兰国际集团(ING)、Netflix、优步、Lyft、、eBay、yelp、华为和Capital One等。
在DataArtisans的客户名单里我们轻而易举的发现了阿里,其中他每年双十一时让我们在阿里总部盯着的那个大屏幕上显示实时成交数字,其背后就是依赖Flink技术。那块屏幕显示的数字,需要通过巨大的网络流量汇总各个地方的报表、数据库等的数据,并需要在毫秒级别的时间延迟之内进行计算,并将计算结果汇总为单一的视图,即我们可以通过一块屏幕观察到的结果,这样的技术实现正是大数据流处理引擎技术在当今成为AI时代顶梁柱的核心原因。
如果说Flink建立的技术体系对AI时代是强需求,对阿里就是核心需求。为此,阿里在Flink引入内部团队后打造了Blink。据透露,目前阿里巴巴所有的业务,包括阿里巴巴所有子公司都采用了基于Flink搭建的实时计算平台。另外,阿里巴巴集团副总裁周靖人之前宣布,阿里巴巴内部 Flink 版本 Blink 将于 2019 年 1 月正式开源,这就意味着阿里未来将会主要以Blink的身份来投入Flink 的社区贡献了。
阿里巴巴集团副总裁周靖人
可以说,一路下来,对Flink的投入,阿里已经证明了自己在大数据计算领域的战略眼光。
首先,阿里较早地看到了业务发展需要在大数据时代里需求解决方案。有着十年服务中国企业云计算从业历史的阿里,已经在第一线看到了大数据量爆发带给企业的业务压力,需要有高吞吐、低延迟的大数据计算解决方案服务自己的大规模数据业务场景。早在2004的时候,谷歌自己就放弃了自己创立的大数据离线计算鼻祖,PB规模数据同时计算是MapReduce难以逾越的瓶颈。此后Spark发展至今,用批处理方式将大数据计算带入分钟级的反应延迟。如今,流式主导的分布式计算正在主导大数据计算引擎将企业带入近乎实时数据环境。为此,阿里巴巴计算平台事业部资深技术专家莫问在云栖大会上指出,2014年Flink凭借高吞吐、低延迟等其它高级功能而在开源大数据引擎界展露头角,在2015年则将Flink引入团队研发,期望将来可服务于自己的超大规模数据业务场景。
第二,阿里认识到Flink的开源技术基因与自己业务融合的落地空间。作为Apache的顶级大数据流式计算引擎,Flink并不孤独。这两年谷歌支持的Beam、DataTorrent支持Apache Apex都成了开源在这领域里的佼佼者。同时,来自twitter的Storm、LinkedIn的Samza也凭借独特的优势各领风骚。对此,阿里看到了其可以在Flink上发展的“非共识”空间,莫问认为用户需要有一套统一的大数据引擎技术,只需要根据自己的业务逻辑开发一套代码,在各种不同的场景下,不管是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持。“这就是阿里选择Flink的背景和初衷。”莫问表示。
展览现场 志愿者在为观众导览。 ■ 深圳特区报记者 尹春芳/文 胡蕾/图 深圳的春节,文化艺术活动精彩纷呈。尤为引人注目的是三年一度的中国设计大展及公共艺术专题展不会打烊,