Mysql 集群简介和配置

1.  先了解一下你是否应该用 mysql 集群。

减少数据中心结点压力和大数据量处理,采用把 mysql 分布,一个或多个 application 对应一个 mysql 数据库。把几个 mysql 数据库公用的数据做出共享数据,例如购物车,用户对象等等,存在数据结点里面。 其他不共享的数据还维持在各自分布的 mysql 数据库本身中。

Continue reading

MySQL Cluster集群配置方案

在为某证券公司设计其OA架构时,初期客户是30万用户在线;然而在项目实施中,客户又提出50万用户同时在线的需求,而且都有写的需求;这样初始的设计 master-master-slave,读写分离满足不了客户的要求,所以我们打算采用Mysql Cluster方案;MySQL Cluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎,允许在1个Cluster中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。

一、MySQL Cluster概述

MySQL Cluster 是一种技术,该技术允许在无共享的系统中部署“内存中”数据库的 Cluster 。通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不存在单点故障。

MySQL Cluster 由一组计算机构成,每台计算机上均运行着多种进程,包括MySQL服务器,NDB Cluster 的数据节点,管理服务器,以及(可能)专门的数据访问程序。 Continue reading

LVS集群中的IP负载均衡技术

本文在分析服务器集群实现虚拟网络服务的相关技术上,详细描述了LVS集群中实现的三 种IP负载均衡技术(VS/NAT、VS/TUN和VS/DR)的工作原理,以及它们的优缺点。

1.前言

在前面文章中,讲述了可伸缩网络服务的几种结构,它们都需要一个前端的负载调度器(或者多个进行主从备份)。我们先分析实现虚拟网络服务的主要技术,指出 IP负载均衡技术是在负载调度器的实现技术中效率最高的。在已有的IP负载均衡技术中,主要有通过网络地址转换(Network Address Translation)将一组服务器构成一个高性能的、高可用的虚拟服务器,我们称之为VS/NAT技术(Virtual Server via Network Address Translation)。在分析VS/NAT的缺点和网络服务的非对称性的基础上,我们提出了通过IP隧道实现虚拟服务器的方法VS/TUN (Virtual Server via IP Tunneling),和通过直接路由实现虚拟服务器的方法VS/DR(Virtual Server via Direct Routing),它们可以极大地提高系统的伸缩性。VS/NAT、VS/TUN和VS/DR 技术是LVS集群中实现的三种IP负载均衡技术,我们将在文章中详细描述它们的工作原理和各自的优缺点。 Continue reading

mysql集群从服务器复制传递和状态文件(master.info和relay_log.info)

6.3.4. 复制传递和状态文件

默认情况,中继日志使用host_name-relay-bin.nnnnnn形 式的文件名,其中host_name是从服务器主机名,nnnnnn是 序列号。用连续序列号来创建连续中继日志文件,从000001开始从服务器跟踪索引文件中目前正 使用的中继日志。 默认中继日志索引文件名为host_name-relay-bin.index。 默认情况,在从服务器的数据目录中创建这些文件。可以用--relay-log--relay-log-index服 务器选项覆盖 默认文件名。参见6.8节,“复制启动选项”

中继日志与二进制日志的格式相同,并且可以用mysqlbinlog读取。SQL线 程执行完中继日志中的所有事件并且不再需要之后,立即自动删除它。没有直接的删除中继日志的机制,因为SQL线程可以负责完 成。然而,FLUSH LOGS可以循环中继日志,当SQL线程删除日志时会有影响。 Continue reading

利用MySQL Cluster 7.0 + LVS 搭建高可用环境

周三, 2009/05/13 - 10:19 — yejr

目录:

1、前言


随着数据量规模的扩大,企业对 MySQL 的要求就不仅仅是能用了,也在寻求各种高可用方案。以前我们的大部分高可用方案其实还存在一定缺陷,例如 MySQL Replication 方案,Master 是否存活检测需要一定时间,而和 Slave 的切换也需要时间,因此其高可用程度较大依赖监控软件或自动化管理工具。而早先的 MySQL Cluster 实在不能令人满意,性能差的不行,也让我们的期待一次次落空。本次 MySQL Cluster 7.0 的推出,终于实现了质的飞跃,性能上得到了很大提高。MySQL Cluster 7.0 新特性主要体现在以下几个方面:

  • 数据节点多线程
  • 可以在线增加节点
  • 大记录存取改进
  • 支持windows平台

本身MySQL Cluster已经实现了高可用,不过由于SQL节点无法对外部负载均衡,因此我们采用 LVS 来实现这一需求。

2、安装


环境描述:

内核:2.6.9-78.0.17.ELsmp
硬件:DELL 2950, 146G 15K RPM SAS * 6(raid 1+0), 8G Ram

各个节点描述:

IP 描述
192.168.0.2 ndb mgm node
192.168.0.3 data node1, sql node 1, LVS DR Server
192.168.0.4 data node2, sql node 2
192.168.0.5 data node3, sql node 3
192.168.0.6 data node4, sql node 4
192.168.0.7 sql node 5
192.168.0.8 sql node 6
192.168.0.9 sql node 7
192.168.0.10 sql node 8

是这样安排这些服务器的,192.168.0.2 作为 MySQL Cluster 的管理节点,2 ~ 6 既做数据节点(DATA node),也做SQL节点(SQL node),7 ~ 10 也做SQL节点。LVS采用 VS/DR 的模式,因此把 192.168.0.2 也同时作为 LVS 的 DR Server
分配好机器,接下来就是安装响应的软件包了。

2.1 LVS 安装、配置


老实说,我对LVS并不十分在行,以前折腾过一次,差点快崩溃了,后来才发现是我下载的版本太高了,没想到这次也是这样 :(,白折腾了1天。其实过程比较简单,只要下载的版本能对的上就快了。
在这里,我下载的是源码rpm包,因此需要用rpmbuild编译一次。

[yejr@imysql.cn ~]# rpm -ivhU ~/kernel-2.6.9-78.0.17.EL.src.rpm
[yejr@imysql.cn ~]# cd /usr/src/redhat/SPECS
[yejr@imysql.cn ~]# rpmbuild -bp kernel-2.6.spec #解开源码包,打上各种pache
[yejr@imysql.cn ~]# rpm -ivhU ~/ipvsadm-1.24-5.src.rpm #安装ipvsadm的源码包
[yejr@imysql.cn SPECS]# ls
ipvsadm.spec  kernel-2.6.spec
#需要做一下链接,编译ipvsadm时用得着
[yejr@imysql.cn SPECS]# ln -s /usr/src/redhat/BUILD/kernel-2.6.9/linux-2.6.9 /usr/src/linux
[yejr@imysql.cn SPECS]# rpm -bb ipvsadm.spec #编译出ipvsadm的rpm包
[yejr@imysql.cn SPECS]# ls -l /usr/src/redhat/RPMS/x86_64/
total 36
-rw-r--r--  1 root root 30941 May  4 18:06 ipvsadm-1.24-5.x86_64.rpm
-rw-r--r--  1 root root  2968 May  4 18:06 ipvsadm-debuginfo-1.24-5.x86_64.rpm
[yejr@imysql.cn ~]# rpm -ivhU /usr/src/redhat/RPMS/x86_64/ipvsadm-1.24-5.x86_64.rpm

看到了吧,其实很简单。网上的有些资料说要把 ipvsadm.spec 中的 Copyright 这个 Tag 改成 License,可能是因为版本较老,我用的这个版本就不需要这样。
接下来就是加载 ip_vs 模块,然后开始做 LVS DR 转发了。

[yejr@imysql.cn ~]# /sbin/modprobe ip_vs
[yejr@imysql.cn ~]# lsmod | grep ip_vs
ip_vs                 103169  3 ip_vs_rr

直接编辑 /etc/sysconfig/ipvsadm 文件:

[yejr@imysql.cn ~]# cat /etc/sysconfig/ipvsadm
-C
-A -t lvs_vip:mysql -s rr
-a -t lvs_vip:mysql -r ndb_data_node_1:mysql -g -w 1
-a -t lvs_vip:mysql -r ndb_data_node_2:mysql -g -w 1
-a -t lvs_vip:mysql -r ndb_data_node_3:mysql -g -w 1
-a -t lvs_vip:mysql -r ndb_data_node_4:mysql -g -w 1
-a -t lvs_vip:mysql -r ndb_sql_node_1:mysql -g -w 1
-a -t lvs_vip:mysql -r ndb_sql_node_2:mysql -g -w 1
-a -t lvs_vip:mysql -r ndb_sql_node_3:mysql -g -w 1
-a -t lvs_vip:mysql -r ndb_sql_node_4:mysql -g -w 1

保存退出。上面显示的是 hostname 的格式,因为我都在 /etc/hosts 里设置各自对应的 hostname 了。
然后就是在 DR Server 上绑定 vip,然后打开 ip_forward,启动 ipvsadm,LVS 就可以开始工作了。

[yejr@imysql.cn ~]# echo 1 > /proc/sys/net/ipv4/ip_forward #修改内核,打开转发
[yejr@imysql.cn ~]# /sbin/ifconfig eth0:0 192.168.0.11 netmask 255.255.255.0 #绑定vip
[yejr@imysql.cn ~]# /etc/init.d/ipvsadm start #启动ipvsadm
[yejr@imysql.cn ~]# ipvsadm -L #查看列表
ipvsadm -L
IP Virtual Server version 1.2.0 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  lvs_vip:mysql rr
-> gs_ndb_sql_node_1:mysql      Route   1      0          0
-> gs_ndb_sql_node_2:mysql      Route   1      0          0
-> gs_ndb_sql_node_3:mysql      Route   1      0          0
-> gs_ndb_sql_node_4:mysql      Route   1      0          0
-> gs_ndb_data_node_1:mysql     Route   1      0          0
-> gs_ndb_data_node_2:mysql     Route   1      0          0
-> gs_ndb_data_node_3:mysql     Route   1      0          0
-> gs_ndb_data_node_4:mysql     Route   1      0          0
[yejr@imysql.cn ~]# lsmod | ip_vs #查看已加载模块
lsmod | grep ip_vs
ip_vs_rr                3649  1
ip_vs                 103169  3 ip_vs_rr

DR Server 上设置完后,再在 Real Server 上绑定 vip,然后测试,没问题的话,就可以用了。

[yejr@imysql.cn ~]# /sbin/ifconfig lo:0 192.168.0.11 netmask 255.255.255.255 broadcast 192.168.0.11

2.2 MySQL Cluster安装


MySQL Cluster的安装重点在于管理节点的配置文件,只要把配置文件设置好了,其他的就很快了。我在这里是直接用 rpm 包安装的,因为下载整个预编译好的 tar.gz 文件实在太大了,这点上 MySQL 是越来越臃肿了 🙁

[yejr@imysql.cn ~]# cat /home/mysql/config.ini
[TCP DEFAULT]
SendBufferMemory=2M
ReceiveBufferMemory=2M
[NDB_MGMD DEFAULT]
PortNumber=1186
Datadir=/home/mysql/
[NDB_MGMD]
id=1
Datadir=/home/mysql/
Hostname=192.168.221.2
[NDBD DEFAULT]
NoOfReplicas=2
Datadir=/home/mysql/
DataMemory=2048M
IndexMemory=1024M
LockPagesInMainMemory=1
MaxNoOfConcurrentOperations=100000
StringMemory=25
MaxNoOfTables=4096
MaxNoOfOrderedIndexes=2048
MaxNoOfUniqueHashIndexes=512
MaxNoOfAttributes=24576
DiskCheckpointSpeedInRestart=100M
FragmentLogFileSize=256M
InitFragmentLogFiles=FULL
NoOfFragmentLogFiles=6
RedoBuffer=32M
TimeBetweenLocalCheckpoints=20
TimeBetweenGlobalCheckpoints=1000
TimeBetweenEpochs=100
MemReportFrequency=30
BackupReportFrequency=10
### Params for setting logging
LogLevelStartup=15
LogLevelShutdown=15
LogLevelCheckpoint=8
LogLevelNodeRestart=15
### Params for increasing Disk throughput
BackupMaxWriteSize=1M
BackupDataBufferSize=16M
BackupLogBufferSize=4M
BackupMemory=20M
#Reports indicates that odirect=1 can cause io errors (os err code 5) on some systems. You must test.
#ODirect=1
### Watchdog
TimeBetweenWatchdogCheckInitial=30000
### TransactionInactiveTimeout  - should be enabled in Production
#TransactionInactiveTimeout=30000
### CGE 6.3 - REALTIME EXTENSIONS
#RealTimeScheduler=1
#SchedulerExecutionTimer=80
#SchedulerSpinTimer=40
### DISK DATA
#SharedGlobalMemory=384M
#read my blog how to set this:
#DiskPageBufferMemory=3072M
### Multithreading
MaxNoOfExecutionThreads=8
[NDBD]
id=2
Datadir=/home/mysql/
Hostname=192.168.221.3
#LockExecuteThreadToCPU=X
#LockMaintThreadsToCPU=Y
[NDBD]
id=3
Datadir=/home/mysql/
Hostname=192.168.221.4
#LockExecuteThreadToCPU=X
#LockMaintThreadsToCPU=Y
[NDBD]
id=4
Datadir=/home/mysql/
Hostname=192.168.221.5
#LockExecuteThreadToCPU=X
#LockMaintThreadsToCPU=Y
[NDBD]
id=5
Datadir=/home/mysql/
Hostname=192.168.221.6
#LockExecuteThreadToCPU=X
#LockMaintThreadsToCPU=Y
[MYSQLD]
id=6
Hostname=192.168.221.3
[MYSQLD]
id=7
Hostname=192.168.221.4
[MYSQLD]
id=8
Hostname=192.168.221.5
[MYSQLD]
id=9
Hostname=192.168.221.6
[MYSQLD]
id=10
Hostname=192.168.221.7
[MYSQLD]
id=11
Hostname=192.168.221.8
[MYSQLD]
id=12
Hostname=192.168.221.9
[MYSQLD]
id=13
Hostname=192.168.221.10

然后启动 ndb_mgmd 进程:

[yejr@imysql.cn ~]# /usr/sbin/ndb_mgmd -f /home/mysql/config.ini --configdir=/home/mysql/

如果是修改了配置文件里的某些参数,则需要先关闭 ndb_mgmd 进程,然后重新启动,不过必须加上 --reload 选项,因为 7.0 版本中,会把配置文件放在 cache 里,如果不注意到这点,可能会被搞得莫名其妙的。

[yejr@imysql.cn ~]# /usr/sbin/ndb_mgmd -f /home/mysql/config.ini --configdir=/home/mysql/ --reload

然后在数据节点上启动 ndbd 进程:

[yejr@imysql.cn ~]# /usr/sbin/ndbd --initial

首次启动,需要加上 --initial 选项,其后的启动后就不需要了。
最后,修改SQL节点上的配置文件 my.cnf,然后启动 mysqld 进程:

[yejr@imysql.cn ~]# cat /etc/my.cnf
#my.cnf
[mysql_cluster]
ndb-connectstring="192.168.221.2:1186"
[MYSQLD]
......
ndb-cluster-connection-pool=1
ndbcluster
ndb-connectstring="192.168.221.2:1186"
ndb-force-send=1
ndb-use-exact-count=0
ndb-extra-logging=1
ndb-autoincrement-prefetch-sz=256
engine-condition-pushdown=1
......
[yejr@imysql.cn ~]# /etc/init.d/mysql start
[yejr@imysql.cn ~]# mysqladmin pr
+------+-------------+-----------+----+---------+------+-----------------------------------+------------------+
| Id   | User        | Host      | db | Command | Time | State                             | Info             |
+------+-------------+-----------+----+---------+------+-----------------------------------+------------------+
| 1    | system user |           |    | Daemon  | 0    | Waiting for event from ndbcluster |                  |
| 1579 | root        | localhost |    | Query   | 0    |                                   | show processlist |
+------+-------------+-----------+----+---------+------+-----------------------------------+------------------+

在管理节点上看下 cluster 的状态:

[yejr@imysql.cn ~]# ndb_mgm
-- NDB Cluster -- Management Client --
ndb_mgm> show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]     4 node(s)
id=2    @192.168.221.3  (mysql-5.1.32 ndb-7.0.5, Nodegroup: 0, Master)
id=3    @192.168.221.4  (mysql-5.1.32 ndb-7.0.5, Nodegroup: 0)
id=4    @192.168.221.5  (mysql-5.1.32 ndb-7.0.5, Nodegroup: 1)
id=5    @192.168.221.6  (mysql-5.1.32 ndb-7.0.5, Nodegroup: 1)
[ndb_mgmd(MGM)] 1 node(s)
id=1    @192.168.221.2  (mysql-5.1.32 ndb-7.0.5)
[mysqld(API)]   10 node(s)
id=6    @192.168.221.3  (mysql-5.1.32 ndb-7.0.5)
id=7    @192.168.221.4  (mysql-5.1.32 ndb-7.0.5)
id=8    @192.168.221.5  (mysql-5.1.32 ndb-7.0.5)
id=9    @192.168.221.6  (mysql-5.1.32 ndb-7.0.5)
id=10   @192.168.221.7  (mysql-5.1.32 ndb-7.0.5)
id=13   @192.168.221.8  (mysql-5.1.32 ndb-7.0.5)
id=14   @192.168.221.9  (mysql-5.1.32 ndb-7.0.5)
id=15   @192.168.221.10  (mysql-5.1.32 ndb-7.0.5)
ndb_mgm> exit

可以看到,一切正常。

3、测试


我们主要进行一下对比测试,看看新版本的 ndbcluster 引擎相对 MyISAM 和 InnoDB 到底区别多大。

3.1 mysqlslap测试结果



纵坐标是总共运行时间。
mysqlslap完整执行参数类似下面:

mysqlslap -hlocalhost -uroot --engine=myisam --auto-generate-sql-write-number=100000 --auto-generate-sql-guid-primary \
--concurrency=50,100,200 --number-of-queries=500000 --iterations=2 --number-char-cols=10 --number-int-cols=10 \
--auto-generate-sql --create-schema=ndb --auto-generate-sql-load-type=mixed

3.2 sysbench测试结果



纵坐标是每秒运行的事务数。
sysbench完整执行参数类似下面:

sysbench --mysql-user=root --test=oltp --mysql-host=localhost --oltp-test-mode=complex \
--mysql-table-engine=ndbcluster --oltp-table-size=10000000 --mysql-db=ndb --oltp-table-name=mdb_1kw \
--num-threads=200 --max-requests=500000 run

从上面的测试结果我们也可以看到,单独的mysqld实例下,MyISAM适合并发很小的业务,InnoDB适合类似连接池模式下的高 并发业务,不适合非常大并发的情景,而采用了LVS后的ndbcluster则是真正的适合高并发环境,尽管其性能相对InnoDB来说不是太好,不过比 以往版本也已经提升了很多,用于正式生产环境的时候真是指日可待了。

MySQL Cluster(MySQL 集群) 初试

作/译者:叶金荣(Email: ),来源:http://imysql.cn,转载请注明作/译者和出处,并且不能用于商业用途,违者必究。

MySQL Cluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。(注意,要想获得MySQL Cluster 的功能,必须安装 mysql-server 和 mysql-max RPM)。
目前能够运行MySQL Cluster 的操作系统有Linux、Mac OS X和Solaris(一些用户通报成功地在FreeBSD上运行了MySQL Cluster ,但MySQL AB公司尚未正式支持该特性)。
一、MySQL Cluster概述
MySQL Cluster 是一种技术,该技术允许在无共享的系统中部署“内存中”数据库的 Cluster 。通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不存在单点故障。
MySQL Cluster 由一组计算机构成,每台计算机上均运行着多种进程,包括MySQL服务器,NDB Cluster 的数据节点,管理服务器,以及(可能)专门的数据访问程序。关于 Cluster 中这些组件的关系,请参见下图:

所有的这些节点构成一个完成的MySQL集群体系。数据保存在“NDB存储服务器”的存储引擎中,表(结构)则保存在“MySQL服务器”中。应用程序通过“MySQL服务器”访问这些数据表,集群管理服务器通过管理工具(ndb_mgmd)来管理“NDB存储服务器”。
通过将MySQL Cluster 引入开放源码世界,MySQL为所有需要它的人员提供了具有高可用性、高性能和可缩放性的 Cluster 数据管理。
二、MySQL Cluster 基本概念
“NDB” 是一种“内存中”的存储引擎,它具有可用性高和数据一致性好的特点。
MySQL Cluster 能够使用多种故障切换和负载平衡选项配置NDB存储引擎,但在 Cluster 级别上的存储引擎上做这个最简单。MySQL Cluster的NDB存储引擎包含完整的数据集,仅取决于 Cluster本身内的其他数据。
目前,MySQL Cluster的 Cluster部分可独立于MySQL服务器进行配置。在MySQL Cluster中, Cluster的每个部分被视为1个节点。

  • 管理(MGM)节点:这类节点的作用是管理MySQL Cluster内的其他节点,如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置,应在启动其他节点之前首先启动这类节点。MGM节点是用命令“ndb_mgmd”启动的。
  • 数据节点:这类节点用于保存 Cluster的数据。数据节点的数目与副本的数目相关,是片段的倍数。例如,对于两个副本,每个副本有两个片段,那么就有4个数据节点。不过没有必要设置多个副本。数据节点是用命令“ndbd”启动的。
  • SQL节点:这是用来访问 Cluster数据的节点。对于MySQL Cluster,客户端节点是使用NDB Cluster存储引擎的传统MySQL服务器。通常,SQL节点是使用命令“mysqld –ndbcluster”启动的,或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。
  • 注释:在很多情况下,术语“节点”用于指计算机,但在讨论MySQL Cluster时,它表示的是进程。在单台计算机上可以有任意数目的节点,为此,我们采用术语“ Cluster主机”。

管理服务器(MGM节点)负责管理 Cluster配置文件和 Cluster日志。 Cluster中的每个节点从管理服务器检索配置数据,并请求确定管理服务器所在位置的方式。当数据节点内出现新的事件时,节点将关于这类事件的信息传输 到管理服务器,然后,将这类信息写入 Cluster日志。
此外,可以有任意数目的 Cluster客户端进程或应用程序。它们分为两种类型:

  • 标准MySQL客户端:对于MySQL Cluster,它们与标准的(非 Cluster类)MySQL没有区别。换句话讲,能够从用PHP、Perl、C、C++、Java、Python、Ruby等编写的现有MySQL应用程序访问MySQL Cluster。
  • 管理客户端:这类客户端与管理服务器相连,并提供了启动和停止节点、启动和停止消息跟踪(仅调试版本)、显示节点版本和状态、启动和停止备份等的命令。

三、开始准备
1、准备服务器
现在,我们计划建立有5个节点的MySQL CLuster体系,因此需要用到5台机器,分别做如下用途:

		节点(用途)		IP地址(主机名)
管理节点(MGM)		192.168.0.1(db1)
SQL节点1(SQL1)		192.168.0.2(db2)
SQL节点2(SQL2)		192.168.0.3(db3)
数据节点1(NDBD1)	192.168.0.4(db4)
数据节点2(NDBD2)	192.168.0.5(db5)

2、注意事项及其他
每个节点的操作系统都是Linux,下面的描述中将使用主机名,不再使用IP地址来表示。由于MySQL Cluster采用TCP/IP方式连接,并且节点之间的数据传输没有加密,因此这个体系最好只在单独的子网中运行,并且考虑到传输的速率,强烈建议不要 跨越公网使用这个体系。所需的MySQL软件请事先在 http://dev.mysql.com/downloads 下载。
实际上整个体系可以在一个单独的实体计算机上运行成功,当然了,必须设定不同的目录以及端口等,只能作为测试时使用。
四、开始安装
1、假定条件
在每个节点计算机上都采用 nobody 用户来运行Cluster,因此执行如下命令添加相关用户(如果已经存在则略过,且用root用户执行):

root# /usr/sbin/groupadd nobody
root# /usr/sbin/useradd nobody -g nobody

假设已经下载了mysql可直接使用的二进制安装包,且放在 /tmp 下了。
2、SQL节点和存储节点(NDB节点)安装(即4个机器重复执行以下步骤)

root# cd /tmp/
root# tar zxf mysql-max-5.0.24-linux-i686.tar.gz
root# mv mysql-max-5.0.24-linux-i686 /usr/local/mysql/
root# cd /usr/local/mysql/
root# ./configure --prefix=/usr/local/mysql
root# ./scripts/mysql_install_db
root# chown -R nobody:nobody /usr/local/mysql/

3、配置SQL节点

root# vi /usr/local/mysql/my.cnf

然后输入如下内容:

[mysqld]
basedir         = /usr/local/mysql/
datadir         = /usr/local/mysql/data
user            = nobody
port            = 3306
socket          = /tmp/mysql.sock
ndbcluster
ndb-connectstring=db1
[MYSQL_CLUSTER]
ndb-connectstring=db1

4、配置存储节点(NDB节点)

root# vi /usr/local/mysql/my.cnf

然后输入如下内容:

[mysqld]
ndbcluster
ndb-connectstring=db1
[MYSQL_CLUSTER]
ndb-connectstring=db1

5、安装管理节点

root# cd /tmp/
root# tar zxf mysql-max-5.0.24-linux-i686.tar.gz
root# mkdir /usr/local/mysql/
root# mkdir /usr/local/mysql/data/
root# cd mysql-max-5.0.24-linux-i686/bin/
root# cp ndb_mgm* /usr/local/mysql/
root# chown -R nobody:nobody /usr/local/mysql

6、配置管理节点

root# vi /usr/local/mysql/config.ini

然后输入如下内容:

[NDBD DEFAULT]
NoOfReplicas=1
[TCP DEFAULT]
portnumber=3306
#设置管理节点服务器
[NDB_MGMD]
hostname=db1
#MGM上保存日志的目录
datadir=/usr/local/mysql/data/
#设置存储节点服务器(NDB节点)
[NDBD]
hostname=db4
datadir=/usr/local/mysql/data/
#第二个NDB节点
[NDBD]
hostname=db5
datadir=/usr/local/mysql/data/
#设置SQL节点服务器
[MYSQLD]
hostname=db2
#第二个SQL节点
[MYSQLD]
hostname=db3

注释: Cluster管理节点的默认端口是1186,数据节点的默认端口2202。从MySQL 5.0.3开始,该限制已被放宽, Cluster能够根据空闲的端口自动地为数据节点分配端口。如果你的版本低于5.0.22,请注意这个细节。
五、启动MySQL Cluster
较为合理的启动顺序是,首先启动管理节点服务器,然后启动存储节点服务器,最后才启动SQL节点服务器:

  • 在管理节点服务器上,执行以下命令启动MGM节点进程:
    root# /usr/local/mysql/ndb_mgmd -f /usr/local/mysql/config.ini

    必须用参数“-f”或“--config-file”告诉 ndb_mgm 配置文件所在位置,默认是在ndb_mgmd相同目录下。

  • 在每台存储节点服务器上,如果是第一次启动ndbd进程的话,必须先执行以下命令:
    root# /usr/local/mysql/bin/ndbd --initial

    注意,仅应在首次启动ndbd时,或在备份/恢复数据或配置文件发生变化后重启ndbd时使用“--initial”参数。因为该参数会使节点删除由早期ndbd实例创建的、用于恢复的任何文件,包括用于恢复的日志文件。
    如果不是第一次启动,直接运行如下命令即可:

    root# /usr/local/mysql/bin/ndbd
  • 最后,运行以下命令启动SQL节点服务器:
    root# /usr/local/mysql/bin/mysqld_safe --defaults-file=/usr/local/mysql/my.cnf &

    如果一切顺利,也就是启动过程中没有任何错误信息出现,那么就在管理节点服务器上运行如下命令:

    root# /usr/local/mysql/ndb_mgm
    -- NDB Cluster -- Management Client --
    	ndb_mgm> SHOW
    	Connected to Management Server at: localhost:1186
    	Cluster Configuration
    	---------------------
    	[ndbd(NDB)]     2 node(s)
    	id=2    @192.168.0.4  (Version: 5.0.22, Nodegroup: 0, Master)
    	id=3    @192.168.0.5  (Version: 5.0.22, Nodegroup: 0)
    	[ndb_mgmd(MGM)] 1 node(s)
    	id=1    @192.168.0.1  (Version: 5.0.22)
    	[mysqld(SQL)]   1 node(s)
    	id=2   (Version: 5.0.22)
    	id=3   (Version: 5.0.22)

具体的输出内容可能会略有不同,这取决于你所使用的MySQL版本。
注意:如果你正在使用较早的MySQL版本,你或许会看到引用为‘[mysqld(API)]’的SQL节点。这是一种早期的用法,现已放弃。
现在,应能在MySQL Cluster中处理数据库,表和数据。
六、创建数据库表
与没有使用 Cluster的MySQL相比,在MySQL Cluster内操作数据的方式没有太大的区别。执行这类操作时应记住两点:

  • 表必须用ENGINE=NDB或ENGINE=NDBCLUSTER选项创建,或用ALTER TABLE选项更改,以使用NDB Cluster存储引擎在 Cluster内复制它们。如果使用mysqldump的输出从已有数据库导入表,可在文本编辑器中打开SQL脚本,并将该选项添加到任何表创建语句,或 用这类选项之一替换任何已有的ENGINE(或TYPE)选项。
  • 另外还请记住,每个NDB表必须有一个主键。如果在创建表时用户未定义主键,NDB Cluster存储引擎将自动生成隐含的主键。(注释:该隐含 键也将占用空间,就像任何其他的表索引一样。由于没有足够的内存来容纳这些自动创建的键,出现问题并不罕见)。

下面是一个例子:
在db2上,创建数据表,插入数据:

[db2~]root# mysql -uroot test
[db2~]mysql> create table city(
[db2~]mysql> id mediumint unsigned not null auto_increment primary key,
[db2~]mysql> name varchar(20) not null default ''
[db2~]mysql> ) engine = ndbcluster default charset utf8;
[db2~]mysql> insert into city values(1, 'city1');
[db2~]mysql> insert into city values(2, 'city2');

在db3上,查询数据:

[db3~]root# mysql -uroot test
[db2~]mysql> select * from city;
+-----------+
|id | name  |
+-----------+
|1  | city1 |
+-----------+
|2  | city2 |
+-----------+

七、安全关闭
要想关闭 Cluster,可在MGM节点所在的机器上,在Shell中简单地输入下述命令:

[db1~]root# /usr/local/mysql/ndb_mgm -e shutdown

运行以下命令关闭SQL节点的mysqld服务:

[db2~]root# /usr/local/mysql/bin/mysqladmin -uroot shutdown

八、其他
关于MySQL Cluster更多详细的资料以及备份等请参见MySQL手册的“MySQL Cluster(MySQL 集群)”章节。
参考资料:《MySQL 5.1 中文手册》

[sibling模式 集群] Squid-2.6之集群(sibling模式)Web反向代理加速实做

出自源处:http://bbs2.chinaunix.net/viewthread.php?tid=877748

ydabing,好消息,Squid-2.6之集群(sibling模式)Web反向代理加速实验成功啦

昨天晚上到了两点多才睡觉,把squid官方的电邮记档翻了个底朝天(当然只找我想要的),今天总算把sibling模式的集群给做出来。

access.log之中出现了激动人心日志:

CODE:

cache1# tail -f access.log
1167289010.723     24 192.168.1.4 TCP_MISS/200 824 GET http://img.test.org:1080/test/test.html - SIBLING_HIT/192.168.1.203 text/html

CODE:

cache2# tail -f access.log
1167288960.602    126 192.168.1.4 TCP_MISS/200 687 GET http://img.test.org:1080/test/test.html - FIRST_UP_PARENT/192.168.1.201 text/html
1167289010.127      0 192.168.1.203 UDP_HIT/000 66 ICP_QUERY http://img.test.org:1080/test/test.html - NONE/- -
1167289010.720      0 192.168.1.203 TCP_MEM_HIT/200 694 GET http://img.test.org:1080/test/test.html - NONE/- text/html

真是高兴急啦,先上来自己贺喜一下子,稍候整理文档和配置发上来。

我在FreeBSD操作系统之下,首先portsnap fetch extract update更新ports,然后
cd /usr/ports/www/squid26/
make rmconfig;make PREFIX=/usr/local/squid1
这就是安装cache1了。
然后安装cache2到/usr/local/squid2
我看了,其配置参数如下:

CODE:
./configure --bindir=/usr/local/squid1/sbin --sbindir=/usr/local/squid1/sbin --datadir=/usr/local/squid1/etc/squid --lib
execdir=/usr/local/squid1/libexec/squid --localstatedir=/usr/local/squid1/squid --sysconfdir=/usr/local/squid1/etc/squid --e
nable-removal-policies=lru heap --disable-linux-netfilter --disable-linux-tproxy --disable-epoll --enable-auth=basic ntlm di
gest --enable-basic-auth-helpers=NCSA PAM MSNT SMB YP --enable-digest-auth-helpers=password --enable-external-acl-helpers=ip
_user session unix_group wbinfo_group --enable-ntlm-auth-helpers=SMB --enable-storeio=ufs diskd null --enable-htcp --enable-
cache-digests --enable-wccpv2 --disable-http-violations --enable-referer-log --enable-useragent-log --enable-follow-x-forwar
ded-for --enable-kqueue --with-large-files --enable-large-cache-files --enable-err-languages=Azerbaijani Bulgarian Catalan C
zech Danish Dutch  English Estonian Finnish French German Greek Hebrew  Hungarian Italian Japanese Korean Lithuanian  Polish
Portuguese Romanian Russian-1251 Russian-koi8-r  Serbian Simplify_Chinese Slovak Spanish Swedish  Traditional_Chinese Turki
sh --enable-default-err-language=English --prefix=/usr/local/squid1 i386-portbld-freebsd6.2

其他系统参照这个配置即可。
我用FreeBSD的ports安装很简单,他会给我一个菜单,菜单的配置如下:

CODE:
www# make showconfig
===> The following configuration options are available for squid-2.6.6:
SQUID_LDAP_AUTH=off "Install LDAP authentication helpers"
SQUID_SASL_AUTH=off "Install SASL authentication helpers"
SQUID_DELAY_POOLS=off "Enable delay pools"
SQUID_SNMP=off "Enable SNMP support"
SQUID_CARP=on "Enable CARP support"
SQUID_SSL=off "Enable SSL support for reverse proxies"
SQUID_PINGER=off "Install the icmp helper"
SQUID_DNS_HELPER=off "Use the old 'dnsserver' helper"
SQUID_HTCP=on "Enable HTCP support"
SQUID_VIA_DB=off "Enable forward/via database"
SQUID_CACHE_DIGESTS=on "Enable cache digests"
SQUID_WCCP=on "Enable Web Cache Coordination Prot. v1"
SQUID_WCCPV2=on "Enable Web Cache Coordination Prot. v2"
SQUID_STRICT_HTTP=on "Be strictly HTTP compliant"
SQUID_IDENT=on "Enable ident (RFC 931) lookups"
SQUID_REFERER_LOG=on "Enable Referer-header logging"
SQUID_USERAGENT_LOG=on "Enable User-Agent-header logging"
SQUID_ARP_ACL=off "Enable ACLs based on ethernet address"
SQUID_PF=off "Enable transparent proxying with PF"
SQUID_IPFILTER=off "Enable transp. proxying with IPFilter"
SQUID_FOLLOW_XFF=on "Follow X-Forwarded-For headers"
SQUID_ICAP=off "Enable ICAP client functionality"
SQUID_AUFS=off "Enable the aufs storage scheme"
SQUID_COSS=off "Enable the COSS storage scheme"
SQUID_KQUEUE=on "Use kqueue(2) instead of poll(2)"
SQUID_LARGEFILE=on "Support log and cache files >2GB"
SQUID_STACKTRACES=off "Create backtraces on fatal errors"
===> Use 'make config' to modify these settings

说明:
我在同一台服务器测试的,但是我用的不同的IP和不同的端口,多台服务器类似,不多说了。
cache1安装在/usr/local/squid1
cache2安装在/usr/localsquid2

安装完成了,就需要配置了。

按照我这样子的安装:
cache1的配置在/usr/local/squid1/etc/squid/squid.conf
cache2的配置在/usr/local/squid2/etc/squid/squid.conf

然后我的IP相关信息分配如下:
原始WEB服务器,192.168.1.201,端口80
CACHE1,192.168.1.202,端口1080,ICP端口3132
CACHE2,192.168.1.203,端口1080,ICP端口3133

然后其他的配置按照我上传的文件即可:

squid_cache1.zip (983 Bytes)
cache1的配置

squid_cache2.zip (983 Bytes)
cache2的配置

然后,就要开始测试啦:
分别在两个cache服务器上执行:
#cache1
rm -rf /usr/local/squid1/squid/cache/* ; /usr/local/squid1/sbin/squid -z ; /usr/local/squid1/sbin/squid -NCd1

#cache2
rm -rf /usr/local/squid2/squid/cache/* ; /usr/local/squid2/sbin/squid -z ; /usr/local/squid2/sbin/squid -NCd1

这个时候,你就可以开始访问测试了。
当然,我的测试域名,我用我本地的DNS做了指向,测试过程之中,分别指向过202和203来检查是否有实际的效果。

上面的指令是调试指令,你可以同时接合看:
/usr/local/squid目录/squid/logs/access.log

在我们配置存在问题的时候,调试窗口会出现:
temporary disabling (Forbidden) digest from 192.168.1.203
或者
temporary disabling (Forbidden) digest from 192.168.1.202

而且access.log会出现:
UDP_MISS和TCP_DENIED/403

UDP_MISS在初次一般会出现的,因为他没有缓存,还没有cache_degist。

而Forbidden和TCP_DENIED说明我们没有设置好acl.

所以我的配置之中,加了:
acl gsrc src 192.168.1.201 192.168.1.202 192.168.2.203
acl gdst dst 192.168.1.201 192.168.1.202 192.168.2.203
http_access allow gsrc
http_access allow gdst

则,我们的原始WEB服务器和CACHE服务器群之间,相互放行。
这样子的问题就不会出现了。

如果按照我前面的配置,应该是不会出现这样子的情况的,测试一下子,tail -f access.log就可以知道了。
然后,把gsrc和gdst的部分注释掉,再来测试,上面的情况,几乎是一定出现的。

另外,在网上看到有人使用parent的模式做反向加速代理,这样子会慢很多。

大家如果有条件,请尽快测试,如果发现什么问题,望告诉我,再来完善调整哦。

另外,这里仅仅是为了测试和实现sibling模式的群,所以,配置里面的其他部分,就没有仔细设置了,请大家见谅。

FreeBSD集群软件

英文原版(红袖添香提供):http://nrez.net/~rmger/fbsdcluster/cluster-doc.html

实验环境:两个vmware,局域网连接,没有其他任何特殊硬件和网络环境设置

详细说明请看英文原版

一.安装
#fetch http://www.aims.com.au/chris/cluster/phase1-213-src.tar.gz-----下载

#mkdir /usr/cluster
#cd /usr/cluster
#tar zxvf phase1-213-src.tar.gz-------------解压

#cd /cluster/phase1
#make---------------------------------------编译

#cd /tmp/buildpkg
#./inst.cluster-----------------------------安装

安装过程会产生一个文件/cluster/phase1/binaries/cluster-212.tar.gz,用来在其他节点安装cluster

二.配置
#ee /.cshrc
set path = (...... /usr/local/cluster/bin)-------添加/usr/local/cluster/bin到path环境变量中
#ee /usr/local/cluster/etc/cluster.conf--------------如有必要,调节clusterd守护进程参数

#clusterd--------------------------------------------启动clusterd守护进程

三.管理
#startx
#cl_admin-----------------------------------------启动X Windows界面管理工具

1.Cluster Nodes:
Cluster Nodes------>;右键------>;NEW-------------->;主机
Cluster Nodes------>;主机------>;Network LLI's---->;IP地址
添加每一个要加入的主机

2.Cluster Resources:
Cluster Resources------>;右键------>;NEW
Work Unit Name-------必须和/usr/local/cluster/etc/rc.d/目录中的脚本文件名相同,比如apache2.sh
可以从/usr/local/etc/rc.d/目录复制到这里
Weight---------------负载率
Auto-start-----------是否在Cluster初始化时自动启动

3. 把一个节点(Node)或多个节点拖到相关资源(Resource)上

四.启动
#cluster start------------------加入cluster
#如果Resource没有自动启动,手动启动
Cluster Resources------>;apache2.sh------>;右键------>;start

五.在其他主机上安装,启动cluster
#tar zxvf cluster-212.tar.gz
#./inst.cluster

#ee /.cshrc
set path = (...... /usr/local/cluster/bin)-------添加/usr/local/cluster/bin到path环境变量中
#ee /usr/local/cluster/etc/cluster.conf--------------如有必要,调节clusterd守护进程参数

#clusterd-----------------------启动clusterd守护进程
#cluster start------------------加入cluster

http://bbs.chinaunix.net/viewthread.php?tid=16314