-
简要分析Kafka Stream有意思的点(简要分析作品《人间喜剧》)
kafka历史背景 Kafka是2010年Kafka是Linkedin于2010年12月份开源的消息系统,我接触的不算早,大概14年的时候,可以看看我们14年写的文章《高速总线kafka介绍》。 消息...
-
KSQL,用于Apache Kafka的流数据SQL引擎(KQL是什么意思)
Apache Kafka是一个分布式的、分区的、多复本的日志提交服务,使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。Kafka最初是由LinkedIn开发,并于2011年初开源,目标是为实时...
-
批处理ETL已死,Kafka才是数据处理的未来?
在 QCon 旧金山会议上,Neha Narkhede 做了“ETL 已死,而实时流长存”的演讲,并讨论了企业级数据处理领域所面临的挑战。该演讲的核心前提是开源的 Apache Kafka 流处理平台...
-
Kafka Connect如何实现同步RDS binlog数据?(kafka消息丢失)
1. 背景 在我们的业务开发中,往往会碰到下面这个场景: 业务更新数据写到数据库中业务更新数据需要实时传递给下游依赖处理 所以传统的处理架构可能会这样: 但这个架构也存在着不少弊端:我们需要在项目中维...
-
Apache Kafka在大型应用中的20项优秀实践 译文(apache ii评分表)
【.com快译】Apache Kafka是一款流行的分布式数据流平台,它已经广泛地被诸如New Relic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的、高吞吐量的...
-
4年!我对OpenStack运维架构的总结(openstack心得体会)
前言 应北极熊之邀,写点东西。思来想去云计算范畴实在广泛,自然就聊点最近话题异常火热,让广大云计算从业者爱之深、痛之切,想说一声爱你,不容易的OpenStack吧。 这里,仅从技术角度出发,谈谈Ope...
-
暴风雨来临:为了阻止云巨头,一些开源软件公司开始限制开源许可
在开源软件领域爆发了一场激烈的辩论,这场辩论让创业公司与云计算巨头展开了激烈的竞争。 最令人感到担忧的是,软件公司正在采用新的授权条款,以阻止它们认为的来自云提供商的不公平竞争,尤其是来自亚马逊网络服...
-
为什么你需要开源分布式流存储Pravega?(为什么要做分布式存储)
工业物联网,车联网和实时欺诈风控的需求正在飞速的发展。越来越多的企业新应用,需要的是快速响应客户需求,并同时学习和适应不断变化的行为模式。同时随着 5G 网络、容器云、高性能存储硬件水平的不断提高,让...
-
阿里毕玄:开发者生态,未来云的胜负手?
过去一年云厂商在开发者生态上的争夺开始变得激烈,为什么会出现这样的现象呢,是不是开发者生态,已经成为了云这场战争的胜负手呢?这篇文章就来探讨下这个话题。 事件 我们先看看在过去一年发生的几起重要的开发...
-
从“吸血鬼”AWS说起,开源如何破局?
过去十年间,从Linux和MySQL到Kubernetes、Spark、PrestoMongoDB,开源一直是云创新的支柱。但从最近的发展来看,开源的商业模式似乎蒙上了一层阴影。 开源生态若想繁荣,其...