RabbitMQ集群和高可用配置

Linux1 6阅读模式

概述

RabbitMQ是一个开源的AMQP实现，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX。用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。

运行模式大概有3种：

单一模式：非集群模式，单台。

普通模式：RabbitMQ默认的集群模式。

对于Queue来说，消息实体只存在于其中一个节点，A、B两个节点仅有相同的元数据，即队列结构。当消息进入A节点的Queue中后，consumer从B节点拉取时，RabbitMQ会临时在A、B间进行消息传输，把A中的消息实体取出并经过B发送给consumer。

所以consumer应尽量连接每一个节点，从中取消息。即对于同一个逻辑队列，要在多个节点建立物理Queue。否则无论consumer连A或B，出口总在A，会产生瓶颈。

该模式存在一个问题就是当A节点故障后，B节点无法取到A节点中还未消费的消息实体。

如果做了消息持久化，那么得等A节点恢复，然后才可被消费；如果没有持久化会丢失消息。

镜像模式：Queue同时存在多个节点，可通过改模式实现HA高可用
该模式解决了上述问题，其实质和普通模式不同之处在于，消息实体会主动在镜像节点间同步，而不是在consumer取数据时临时拉取。

该模式带来的副作用也很明显，除了降低系统性能外，如果镜像队列数量过多，加之大量的消息进入，集群内部的网络带宽将会被这种同步通讯大大消耗掉。

下面来通过配置RabbitMQ镜像模式来熟悉这3种运行模式

1. 环境说明

RabbitMQ集群安装在3个节点上：10.0.0.1、10.0.0.2、10.0.0.3

HAProxy安装在10.0.0.4上，用于对外提供RabbitMQ均衡

3个节点在/etc/hosts文件中分别添加如下内容：

  1. 10.0.0.1 rabbit1
  2. 10.0.0.2 rabbit2
  3. 10.0.0.3 rabbit3

2. 安装erlang、rabbitmq

  1. cd oneinstack/src
  2. wget http://erlang.org/download/otp_src_18.3.tar.gz
  3. tar xzf otp_src_18.3.tar.gz
  4. cd otp_src_18.3
  5. ./configure --prefix=/usr/local/erlang --enable-shared-zlib --with-ssl --enable-threads --enable-smp-support --enable-kernel-poll --enable-hipe --without-javac
  6. make && make install
  8. cd ..
  9. wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.5.7/rabbitmq-server-generic-unix-3.5.7.tar.gz
  10. tar xzf rabbitmq-server-generic-unix-3.5.4.tar.gz
  11. mv rabbitmq_server-3.5.4 rabbitmq
  12. sed -i 's@^ERL_DIR=.*@ERL_DIR=/usr/local/erlang/bin/@' /usr/local/rabbitmq/sbin/rabbitmq-defaults
  13. sed -i 's@^LOG_BASE=.*@LOG_BASE=/usr/local/rabbitmq/var/log/rabbitmq@' /usr/local/rabbitmq/sbin/rabbitmq-defaults  #日志目录
  14. mkdir -p /usr/local/rabbitmq/var/{lib,log}/rabbitmq

3. 一般用户（rabbitmq）运行RabbitMQ

  1. useradd rabbitmq
  2. wget http://pkgs.fedoraproject.org/cgit/rpms/rabbitmq-server.git/plain/rabbitmq-script-wrapper
  3. sed -i 's@cd /var/lib/rabbitmq@cd /usr/local/rabbitmq/var/lib/rabbitmq@g' rabbitmq-script-wrapper  #更改rabbitmq数据存储目录
  4. sed -i 's@/usr/lib/rabbitmq/bin/@/usr/local/rabbitmq/sbin/@g' rabbitmq-script-wrapper
  5. chmod +x rabbitmq-script-wrapper
  6. cp rabbitmq-script-wrapper /usr/sbin/rabbitmqctl
  7. cp rabbitmq-script-wrapper /usr/sbin/rabbitmq-server
  8. cp rabbitmq-script-wrapper /usr/sbin/rabbitmq-plugins
  9. chown -R rabbitmq.rabbitmq /usr/local/rabbitmq/var

4. 日志割接

  1. cat >> /etc/logrotate.d/rabbitmq-server << EOF
  2. /usr/local/rabbitmq/var/log/rabbitmq/*.log {
  3.   weekly
  4.   missingok
  5.   rotate 20
  6.   compress
  7.   delaycompress
  8.   notifempty
  9.   sharedscripts
  10.   postrotate
  11.     /sbin/service rabbitmq-server rotate-logs > /dev/null
  12.   endscript
  13. }
  14. EOF

5. 启动脚本

参考： 《RabbitMQ启动脚本》

6. 设置Erlang Cookie

Erlang Cookie文件：/home/rabbitmq/.erlang.cookie。这里将rabbit1的该文件复制到rabbit2、rabbit3，并设置400权限

  1. chmod 400 /home/rabbitmq/.erlang.cookie
  2. chown rabbitmq.rabbitmq /home/rabbitmq/.erlang.cookie

7. 修改配置文件

密码和集群配置：

  1. cat > /usr/local/rabbitmq/etc/rabbitmq/rabbitmq.config << EOF
  2. [
  3.   {rabbit, [
  4.     {cluster_nodes, {['rabbit@rabbit1','rabbit@rabbit2', 'rabbit@rabbit3'], disc}},
  5.     {tcp_listeners,[{"0.0.0.0",5672}]},
  6.     {default_vhost,       <<"/">>},
  7.     {default_user,        <<"linuxeye">>},
  8.     {default_pass,        <<"linuxeye@123">>},
  9.     {loopback_users, ["linuxeye"]},
  10.     {default_permissions, [<<".*">>, <<".*">>, <<".*">>]}
  11.   ]}
  12. ].
  13. EOF

启用rabbitmq_management

  1. cat > /usr/local/rabbitmq/etc/rabbitmq/enabled_plugins << EOF
  2. [rabbitmq_management].
  3. EOF

8. 分别启动3个节点rabbitmq

使用rabbitmqctl cluster_status命令表示集群搭建成功

  1. [root@rabbit2 ~]# rabbitmqctl cluster_status
  2. Cluster status of node rabbit@rabbit2 ...
  3. [{nodes,[{disc,[rabbit@rabbit1,rabbit@rabbit2,rabbit@rabbit3]}]},
  4. {running_nodes,[rabbit@rabbit3,rabbit@rabbit1,rabbit@rabbit2]},
  5. {cluster_name,<<"rabbit@rabbit2">>},
  6. {partitions,[]}]

9. 设置镜像队列策略

在任意一个节点上执行：

  1. rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

10. 配置HAProxy

配置好HAProxy后，浏览器访问http://10.0.0.4:15672, 看到如下证明rabbitmq镜像模式搭建成功

RabbitMQ集群和高可用配置

Sat Dec 10 16:18:29 CST 2016

 
  • 本文由 yeho 发表于 2016-12-10
  • 转载请务必保留本文链接：https://linuxeye.com/452.html
  • Rabbitmq
  • RabbitMQ集群
  • 高可用

加载中...

Linux

Nginx反向代理永久性缓存

Nginx缓存简介 Nginx缓存方式有两种： 永久性的缓存：这种缓存若不手动删除，该缓存文件会一直生效，因此，永久缓存只是用于缓存网站中几乎不会更改的内容； 临时缓存：这种缓存是根据请求连接进行哈希...
评论Nginx 缓存
Linux

Consul集群配置

consul原理 上图是官网提供的一个事例系统图，图中的Server是consul服务端高可用集群，Client是consul客户端。consul客户端不保存数据，客户端将接收到的请求转发给响应的Se...
评论Consul
    • PHP程序员雷雪松
      PHP程序员雷雪松
      1F
      回复

      非常好的教程！！！

    匿名

    发表评论

    匿名网友
    确定

    拖动滑块以完成验证