消息队列
为什么使用消息队列其实就是问问你消息队列都有哪些使用场景，然后你项目里具体是什么场景，说说你在这个场景里用消息队列是什么？面试官问你这个问题，期望的一个回答是说，你们公司有个什么业务场景，这个业务场景有个什么技术挑战，如果不用 MQ 可能会很麻烦，但是你现在用了 MQ 之后...
2024-01-10
消息队列介绍
1.为什么要使用消息队列先说一下消息队列常见的使用场景吧，其实场景有很多，但是比较核心的有 3 个：解耦、异步、削峰。解耦看这么个场景。A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负责人几乎崩溃…在这个场景中...
2024-01-10
总结：消息队列
一、为什么要使用消息队列？1、 削峰当有大并发产生的时候，数据会堆积在MQ中，消费端保持平稳的消费能力，不会给后端服务造成太大压力；2、解耦传统模式: 传统模式的缺点：系统间耦合性太强，如上图所示，系统A在代码中直接调用系统B和系统C的代码，如果将来D系统接入，系统A还需要...
2024-01-10
消息队列设计精要
消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。 当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。 本文不会一一介...
2024-01-10
Java消息队列
1、什么是JMS JMS即Java消息服务（Java Message Service）应用程序接口，是一个Java平台中关于面向消息中间件（MOM）的分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持（百度百科给出的概述）。我们可以简单的理解：两个应用程序...
2024-01-10
谈谈消息队列的流派
关于 MQ 的定义Message Queue（MQ）消息队列中间件，通常我们在网上看到的对其定义是将消息的发送和接受分离来实现应用程序的异步和解耦，给人的直觉是 MQ 是异步的，用来解耦的。但这个只是 MQ 的效果，而不是目的。MQ 真正的目的是为了通讯，屏蔽底层复杂的通讯协议，定义了一套应用层上更加简单...
2024-01-10
消息队列MQ(一)
消息队列为什么要用消息队列，都有什么优缺点？要问的是消息队列都有哪些场景，然后项目里具体实现的什么场景，你在这个场景里用的什么消息队列？期望的回答是，你们公司有个什么业务，这个业务场景有什么技术挑战，如果不用MQ可能会很麻烦，但是你现在用了MQ带给你什么好处？场景...
2024-01-10
php消息队列的介绍
说明1、消息队列是存放在内存中的一个队列。2、由于消息队列去数据是，只有一个进程能去到，所以不需要额外的锁或信号量。实例echo "parent progress pid:{$parentPid}\n";$childList = array();// 创建消息队列,以及定义消息类型(类似于数据库中的库)$id = ftok(__FILE__,'m');$msgQueue = msg_get_queue($id);const MSG_TYPE...
2024-01-10
如何设计一个消息队列
可以快速扩容，提高吞吐量和容量。设计一个分布式系统，类似于Kafka broker -> topic -> partition，每个 partition 放一个机器，就存一部分数据；资源不够时，增加partition-->数据迁移-->增加机器二、落地磁盘落地磁盘可以保证进程kill时可以寻回丢失的数据，落磁盘时要注意顺序写入，可以避免磁盘寻址...
2024-01-10
消息队列中的消息撤回
1.消息队列中， 我想针对队列中待发消息做一个不发送操作， 现有的做法是 在消费者端从队列中获取到消息后， 查询数据库看这条消息的状态是否能发送， 否则就不发， 这样有一个问题是取到每条消息都要去查询一遍数据库才能决定推不推送， 有没有更优的方法2.消息队列使用的是 阿里云 rocketMq回...
2024-01-10
消息队列之异步网络传输
上一节学习了异步的线程模型，异步与同步模型最大的区别是，同步模型会阻塞线程等待资源，而异步模型不会阻塞线程，它是等资源准备好后，再通知业务代码来完成后续的资源处理逻辑。这种异步设计的方法，可以很好地解决 IO 等待的问题。我们开发的绝大多数业务系统，它都是 IO 密集型系统。...
2024-01-10
管道和消息队列之间的区别
Unix管道Unix Pipes用于进程间通信。顾名思义，管道可提供单向信息流。数据从一端流向另一端。消息队列消息队列允许发送方进程将消息共享到另一个进程。消息队列被实现为消息的链接列表，并存储在内核中。每个消息都有一个唯一的消息队列标识符。内核会记录系统中存在的消息队列。以下是Unix管...
2024-01-10
消息队列实战(一) 基础
一、消息模型：主题和队列RabbitMQ 的消息模型RabbitMQ是少数依然坚持使用队列模型的产品之一，在 RabbitMQ 中，Exchange 位于生产者和队列之间，生产者并不关心将消息发送给哪个队列，而是将消息发送给 Exchange，由 Exchange 上配置的策略来决定将消息投递到哪些队列中RocketMQ 的消息模型在 RocketMQ 中既有...
2024-01-10
基于消息队列实现分布式事务
基于消息队列实现分布式事务场景:订单系统产生订单,购物车系统减购物车中的商。实现思路 :订单系统在消息队列上开启一个事务（没有创建订单）。订单系统给消息服务器发送一个“半消息”，这个半消息不是说消息内容不完整，它包含的内容就是完整的消息内容，半消息和普通消息的唯一区...
2024-01-10
消息队列过期、溢出、积压问题
一般这个时候，只能临时紧急扩容了，具体操作步骤和思路如下：先修复 consumer 的问题，确保其恢复消费速度，然后将现有 consumer 都停掉。新建一个 topic，partition 是原来的 10 倍，临时建立好原先 10 倍的 queue 数量。然后写一个临时的分发数据的 consumer 程序，这个程序部署上去消费积压的数据，消...
2024-01-10
MQ消息队列——使用场景分析
MQ（消息队列）1、为什么使用MQ MQ可以解耦、异步、削峰。 解耦场景：使用Pub/Sub 发布订阅模型，可以一个系统发布消息，多个系统订阅消费。 异步场景：用户一个请求，后台需要调用多个服务完成，可以将每一个服务放入一个队列，分别异步执行。 削峰：一般Mysql 每次可处理2k左右请求，如...
2024-01-10如何从REST通信到消息队列
REST Microservice如何与另一个混合的Microservice进行通信，这意味着他可以与REST和Message Queue进行通信。例如一个API网关。对于外部世界，他可以通过REST与应用程序，手机进行通信，但是来自后端的通信是通过消息队列进行的。如何从REST通信到消息队列使用案例：我的主页想要从数据库中获得车辆。他通...
2024-01-10
常用简单消费队列实现
1.场景很多情况下要用到生产者-消费者这个模型，比如有很多任务要处理，如日志收集、邮件发送等，需采用异步进行处理。但如果生产速度大于消费速度，这个时候就需要队列的支持 和多线程处理。 如果涉及到分布式、消息持久化不在本文讨论方面，建议采用Redis中间件来实现。2. 实现a. 消息队...
2024-01-10
有不支持消息堆积的消息队列吗？
京东多年使用大规模的ActiveMQ集群，10年前就有几百台了，然后发现古老的MQ模型，broker太重，量一大就卡（90%用ActiveMQ，但是有一定规模的数据量，这个问题都搞不好搞），然后慢慢发展了自己的JMQ。当年大家消息吞吐量都不大的时候，RabbitMQ就是神器，吞吐高出ActiveMQ几倍。但是慢慢大家发现，真有什么问题，团队没有erlang高手的话，没任何办法。比如说，一天几个亿、...
2024-02-11C++ 中消息队列函数实例详解
C++ 中消息队列函数实例详解1.消息队列结构体的定义typedef struct{ uid_t uid; /* owner`s user id */ gid_t gid; /* owner`s group id */ udi_t cuid; /* creator`s user id */ gid_t cgid; /* creator`s group id */ mode_t mode; /* read-write permissions 0400 MSG_R...
2024-01-10
（转载）消息队列（mq）是什么？
一、什么是消息队列？消息队列不知道大家看到这个词的时候，会不会觉得它是一个比较高端的技术，反正我是觉得它好像是挺牛逼的。 消息队列，一般我们会简称它为MQ(Message Queue)，嗯，就是很直白的简写。 我们先不管消息(Message)这个词，来看看队列(Queue)。这一看，队列大家应...
2024-01-10如何从SAP到消息队列进行通信？
是的，您可以做自己想做的事情。但这取决于您的实际需求。假设您需要在SAP中执行某些自定义应用程序或程序，然后可以选择任何可用的读取文件的连接器。然后，该连接器随后建立与队列的连接，然后发送一条消息。假设您无法继续轮询文件的可用性，然后需要使用远程函数调用方法。RFC有可用的...
2024-01-10
消息队列技术点梳理（思维导图版）
作者：neoremind出处:http://neoremind.com/2018/03/...消息队列作为服务/应用之间的通信中间件，可以起到业务耦合、广播消息、保证最终一致性以及错峰流控（克服短板瓶颈）等作用。本文不打算详细深入讲解消息队列，而是体系化的梳理消息队列可能涉及的技术点，起到提纲挈领的作用，构造一个宏观的概...
2024-01-10
PHP的多进程消费队列
引言最近开发一个小功能，用到了队列mcq，启动一个进程消费队列数据，后边发现一个进程处理不过来了，又加了一个进程，过了段时间又处理不过来了…这种方式每次都要修改crontab，如果进程挂掉了，不会及时的启动，要等到下次crontab执行的时候才会启动。关闭（重启）进程的时候用的是kill，这...
2024-01-10
PHP加MySQL消息队列深入理解
消息队列：在消息的传输过程中保存消息的容器。消息队列管理器在将消息从它的源中继到它的目标时充当中间人。队列的主要目的是提供路由并保证消息的传递；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它。如图所示：在不使用消息队列的情况下，用户的请求数...
2024-01-10
