江苏龙网

  1. 主页 > 生活百科 > >

数据仓库、数据湖、湖仓一体，究竟有什么区别？(12)

数据仓库


 

  • 集中分析：将来自多个Kafka集群的数据聚合到一个地方，以进行组织范围的分析
  • 云迁移：可以使用kafka完成本地应用与云之间的数据迁移
 
我们可以利用Confluent Replicator从Confluent Control Center或CLI工具配置管理所有这些方案的复制 。
（3）Confluent Auto Data Balancer（解决负载均衡），随着集群的增长，topic和partition以不同的速度增长，随着时间的推移，添加和删除会导致跨数据中心资源的工作负载不平衡 。有一些brokers是空闲的（数据倾斜），而其他brokers则对大量或多个partitions负载，从而减慢了消息传递的速度 。当执行时，Confluent Auto Data Balancer会监控您的群集中的broker数量，partition大小，partition数量以及群集中的broker数量 。它允许我们转移数据以在整个群集中创建均匀的工作负载，同时限制重新平衡流量，以最大限度地减少重新平衡时对生产工作负载的影响 。
（4）Confluent JMS Client，Confluent Platform包含适用于Kafka的JMS兼容客户端 。通过用Kafka替换旧的JMS消息代理，现有的应用程序可以与我们的现代流式平台集成，而无需重新编写应用程序 。
（5）Confluent Security Plugins，目前，有一个可用于Confluent REST Proxy的插件，它有助于验证传入的请求并将经过身份验证传到kafka请求 。
Kafka Brokers(开源） 。构成Kafka的消息，数据持久性和存储层 。
Kafka Java Clients(开源) 。Java 库，写消息到kafka 或者从kafka 读消息 。
Kafka Streams（开源） 。Kafka Streams是一个库使kafka转换成功能齐全的流处理系统 。
Kafka Connect（开源） 。一种可扩展的和可靠的连接Kafka框架与外部系统（如数据库，键值存储，搜索索引和文件系统）的框架 。
除了Kafka以外， Confluent Platform 包括更多的工具和服务，使构建和管理数据流平台更加容易 。
Confluent Control Center（闭源） 。管理和监控Kafka最全面的GUI驱动系统 。
Confluent Kafka Connectors（开源） 。连接SQL数据库/Hadoop/Hive
Confluent Kafka Clients（开源） 。对于其他编程语言，包括C/C++,Python
Confluent Kafka REST Proxy（开源） 。允许一些系统通过HTTP和kafka之间发送和接收消息 。
Confluent Schema Registry（开源） 。帮助确定每一个应用使用正确的schema当写数据或者读数据到kafka中 。
总的来说，Confluent Platform平台的组件给你的团队朝着建立统一而灵活的方式建立一个企业范围的数据流平台 。




推荐阅读


上一篇：五岁叛逆期的孩子怎么去引导他们 五岁叛逆期的孩子怎么去引导

下一篇：Linux服务器上监控网络带宽的18个常用命令和工具