作者简介Pin，关注 RPC、Service Mesh、Serverless 等云原生技术。一、背景随着上云项目的不断推进，大量的应用需要部署到 aws 上，其中有很多应用都依赖延迟队列的功能。而在 aws 上，我们选择以 Kafka 作为消息队列，但是 Kafka 本身不支持延迟队列，这就需要思考如何基于 Kafka 来实现延迟队列。二、需求统计了一下所有
......
90
0
0
2024-01-16
前言在介绍Producer端原理之前，大家先对其整体架构有一个大致的了解，图示如下所示：这个图看不懂没有关系，我们会在介绍Producer端原理时一一介绍每个部分的含义及其所复杂的功能。Main Thread（主线程）在Main Thread中，一共分为四个步骤，分别是：KafkaProducer（Kafka生产端）、Interceptor（拦截器）、Ser
......
119
0
0
2024-01-11
本篇要点介绍kafka的特性、概念、API及专业术语。介绍Windows环境下kafka的安装配置，启动测试。Java客户端连接kafka的案例演示。Kafka介绍Apache Kafka 是一个分布式流处理平台：distributed streaming platform。作为流处理平台的三种特性可发布和订阅消息（流），这与消息队列或企业消息系统类似。以容
......
119
0
0
2024-01-08
消息中间件能做什么消息中间件主要解决的就是分布式系统之间消息传递的问题，它能够屏蔽各种平台以及协议之间的特性，实现应用程序之间的协同。举个非常简单的例子，就拿一个电商平台的注册功能来简单分析下，用户注册这一个服务，不单单只是insert一条数据到数据库里面就完事了，还需要发送激活邮件、发送新人红包或者积分、发送营销短信等一系列操作。假如说这里面的每一个操作，
......
173
0
0
2023-09-01
一、资料文档二、开发语言三、支持的协议四、消息存储五、消息事务六、 负载均衡 七、集群方式八、管理界面九、可用性十、消息重复十一、吞吐量TPS十二、订阅形式和消息分发十三、顺序消息十四、消息确认十五、消息回溯十六、消息重试十七、并发度本文将从，Kafka、 rabbitmq 、ZeroMQ、RocketMQ、ActiveMQ 17 个方面综合对比作为消息队列
......
223
0
0
2023-08-29
目录概述环境准备Docker & Docker-ComposeLinux服务器步骤一：部署到开发环境上docker-compose.yml文件编写运行启动脚本（拓展）容器可视化页面（拓展）Kafka可视化页面用脚本命令进行测试整合Spring Boot应用步骤二：部署到生产环境上docker-compose.ymldocker-compose配置文件
......
456
0
0
2023-07-20
目录1. Kafka介绍1.1 Kafka是什么1.2 Kafka的特点1.3 常用的场景1.4 Kafka中包含以下基础概念1.5 消息1.6 消息格式2. Kafka深层介绍2.1 架构介绍2.2 ⼯作流程2.3 选择partition的原则2.4 ACK应答机制2.5 Topic和数据⽇志2.6 Partition结构2.7 消费数据3. 操作Kafk
......
294
0
0
2023-06-28
Dubbo远程调用的性能问题Dubbo调用在微服务项目中普遍存在 这些Dubbo调用都是同步的 “同步”指:A(消费者)调用B(生产者)的服务A在发起调用后,在B返回之前只能等待 直到B返回结果后A才能运行 订单减库Dubbo消费者发送调用后进入阻塞状态,这个状态表示改线程仍占用内存资源,但是什么动作都不做 如果生产者运行耗时较久,消费者就一直等待,如果消
......
270
0
0
2023-06-13
目录说明@KafkaListener详解id 监听器的idgroupId 消费组名errorHandler 异常处理containerFactory 监听器工厂properties 配置其他属性@KafkaListener使用设置入参验证器扩展：Spring for Apache Kafka @KafkaListener使用及注意事项说明从2.2.4版开始，
......
528
0
0
2023-03-27
目录kafka是什么？应用场景kafka是什么？Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理
......
296
0
0
2023-03-06
前言一直没机会做spring生态圈的框架，公司选择的是一些小众的微服务，鉴于此考虑，丰富自己的技术栈，花了两天时间从网上各网站上学习了springboot一些基础知识。 本章只介绍springboot微服务集成kafka，跟rabbitmq用法相同，作为一个消息中间件收发消息使用，本章仅介绍集成后的基础用法，研究不深，请各位谅解。环境准备IntelliJ I
......
341
0
0
2023-03-03
目录操作Kafkasarama下载及安装注意事项连接 kafka 发送消息连接 kafka 消费消息操作Etcd安装put和get操作watch操作安装报错：操作KafkaKafka 是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展等特点。本文介绍了如何使用 Go 语言发送和接收
......
214
0
0
2023-01-31
文章目录1、安装zookeeper2、安装kafka3、安装kafka-map（可选）1、安装zookeeper docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
参数说明：docker run：启动container–name：容器命名–restart=always
......
271
0
0
2023-01-29
一、介绍在上篇文章中，我们详细的介绍了 kafka 的架构模型，在集群环境中，kafka 可以通过设置分区数来加快数据的消费速度。光知道理论还不行，我们得真真切切的实践起来才行！下面，我将结合生产环境的真实案例，以SpringBoot技术框架为基础，向大家介绍 kafka 的使用以及如何实现数据高吞吐！二、程序实践最近，公司大数据团队每天凌晨会将客户的订单数
......
361
0
0
2022-12-31
一、认识kafka面试官提问：什么是 Kafka ？用来干嘛的？官方定义如下：Kafka is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in
......
292
0
0
2022-12-29