kafka不会对每个消息都做压缩 , 而是对一批消息压缩 , 然后将数据统一发送 。 将所有的消息变为一个批量文件 , 然后直接丢给消费者 。
综上所述 , kafka通过MMFile技术快速将数据顺序写入磁盘 , 在读取时通过零拷贝技术快速读取 , 然后通过批量数据压缩将数据传输到消费者 。 这就是kafka快的秘诀 。 然而鱼与熊掌不可兼得 , 速度和可靠性不可能同时满足 , 需要根据实际业务情况在二者之间作出取舍 。 例如当用kafka做日志聚合和网站用户行为分析时速度要比可靠性重要 , 而在某些消息不允许丢失的场景 , 可靠性可能是首选 。
推荐阅读
-
小李车评李建红:一个技术懒惰,马自达和三菱,谁先离开中国市场?,一个坚持技术
-
新民晚报|特朗普和拜登因为费城冲突又怼上了,美媒:今年已有804人被警察枪杀
-
人力资源和社会保障部|最暴躁的游戏职业,一言不合就发狂,被叫雷神版“超级赛亚人”
-
华为畅享Z评测:“人人都能用5G”的梦想更近了一步
-
体坛焦点|颜值不逊惠若琪,扣高3米1,郎平再洗牌?女排00后美女主攻崛起
-
『婺源』中国十大最美古村落,去过2个算及格,全去过的太牛了!
-
「赖粮食作为」农民未来养殖什么动物比较好?专家:养殖牛羊,鸡是大趋势少养猪
-
-
悠长假期宠物商店在哪里,悠长假期畜牧业熟练度怎么提升
-
-
-
美艳|此花比玫瑰还漂亮,美艳到我,花开密密麻麻,花朵硕大,十分壮观
-
-
-
星娱乐资讯|一共七部,你们都追过吗??,85花旦们的高分电视剧作品
-
-
双子座|10月,人已走,梦已碎,痴情成灰,3星座爱到尽头,此生再无泪
-
七旬老太腹痛腹胀没在意,没想到......西安医生提醒
-
建院94年来首次举办“灯会”,首次在晚间免费对预约公众开放故宫
-