可视化的kafka管理工具 Kafka升级

如何在kafka-python和confluent-kafka Python之间做出选择:《狂野西部》中的kafka Python是最受欢迎的kafkapython客户端。kafka原理分析作为典型的消息中间件产品，kafka系统仍然由生产者、代理人和消费者组成，另外，Kafka并不支持Java的“标准消息传递”协议，所以如果应用场景必须使用这些标准，你就只能和Kafka说再见了。

作者| Norman Coretech译者| Meniscus，编辑|出品屠敏| CSDN (ID: CSDN新闻)以下是翻译:有些人可能没有听说过Kafka，这是一个非常复杂的分布式软件，可以协调多台计算机之间的数据传输。更具体地说，软件的功能是将数据“扁平化”，然后将数据从一个地方快速移动到另一个地方。一般来说，如果你有大量的数据需要快速处理并发送到其他地方，那么你可以考虑卡夫卡。

很多处理汇总数据的公司(比如脸书、推特等社交网络数据，每晚需要处理大量恒星运动的天文学家，或者需要快速了解车辆周边环境数据的自动驾驶车辆公司等等。)正在使用Kafka移动任何地方产生的数据(即用户通过键盘输入的数据，通过望远镜读取的数据，通过车辆遥测技术读取的数据等。)到下游工序进行处理和分析。

在分享之前，我们先来回顾一下Kafka参数的设置方法，尤其是经纪人端的参数。在Kafka安装目录的config路径下，有一个server.properties文件。通常，我们会指定这个文件的路径来启动代理。如果我们要在代理端设置任何参数，就必须在这个文件中显式添加一个对应的配置行，然后启动代理进程，使参数生效。

当我们以后需要更改任何参数时，我们必须重新启动代理。但是生产环境中的服务器怎么能随意重启呢？所以目前修改经纪人端参数是一个非常痛苦的过程。基于这个痛点，社区在1.1.0版本正式引入了DynamicBrokerConfigs。所谓动态是指修改参数值后，无需重启Broker即可立即生效，而之前在server.properties中配置的参数称为静态配置。

1。创建一个需要增加备份因素主题列表的文件。文件格式为json格式。2.使用kafka提供的工具获得上面主题的分布，并将它们重定向到文件。3.修改ressgintopic.conf文件，手动分配新添加的分区备份因子。4.通过下面的命令bin/Kafkarassignpartitions执行备份因子扩展过程。shzookeeberLocalHost: 2181重新分配JSON。

卡夫卡有什么明显的缺点。如果回到几年前的Kafka，0.8版本，也许我们可以说它缺少了一些功能，比如认证、SSL端到端加密、相对易用的管理和操作工具等。比起现役MQ1历史上积累的工具，差多了。不过最新版本的卡夫卡弥补了这些问题，各种功能工具也逐渐完备。如果说卡夫卡有什么缺点的话，那可能就是操作维护略显复杂。你可能需要安装很多组件，调整一些操作系统参数来调整Kafka。

对于一些一致性的控制，卡夫卡选择在底层暴露一些细节，让集成的开发者来控制。不能拆包。对于小团队来说，这样的运维成本有些高。但是对于一个高性能的系统来说，这些工作是理所当然的。另外，Kafka并不支持Java的“标准消息传递”协议，所以如果应用场景必须使用这些标准，你就只能和Kafka说再见了。但是在这里，我不得不吐出来。

kafkapython:狂野西部kafkapython是最受欢迎的kafkapython客户端。我们在过去使用它时从未出现过任何问题，我也在我的书《敏捷数据科学2.0》中使用过它。然而，在这个最近的项目中，它有一个严重的问题。我们发现，当KafkaConsumer和Consumer习惯于以文档化的方式从消息队列中获取消息时，消费者携带的最终到达主题的消息通常会丢失。

kafka0.11.0.x引入了新的消息格式版本和线路协议。通过遵循以下滚动升级计划，可以在不停止服务的情况下完成升级。从0.10.2版本开始，Java客户端(生产者和消费者)可以与旧版本通信，而0.11.0客户端只能与0.10.0之后的版本通信。如果现有集群的代理版本低于0.10.0，则在升级客户端之前，必须升级kafka集群中的所有代理。

作为典型的消息中间件产品，kafka系统仍然由生产者、代理人和消费者组成。下面简单介绍一下kafka中涉及到的几个常用概念和组件:当consumergroup的状态发生变化时(如消费者失效、增加或减少消费者成员等，)或者消费群体的话题状态发生变化(比如增加一个分区，改变消费的话题)，kafka cluster会自动调整并重新分配消费者消费的分区，这个过程叫做rebalance。