June 26, 2010
关于 I/O 的五分钟法则(Five-Minute Rule)
"去年在对 SSD 做调查的时候就关注过这个五分钟法则,今天又发现了这 篇文章的修订版(为了纪念 Jim Gray),这个话题倒是可以简单介绍一下,对架构师衡量 I/O 能力、Cache 评估和做硬件选型还是会有一些帮助的。\n在 1987 年,Jim Gray 与 Gianfranco Putzolu 发表了这个”五分钟法则”的观点,简而言之,如果一条记录频繁被访问,就应该放到内存里,否则的话就应该待在硬盘上按需要再访问。这个临界点就是五分钟。 看上去像一条经验性的法则,实际上五分钟的评估标准是根据投入成本判断的,根据当时的硬件发展水准,在内存中保持 1KB 的数据成本相当于硬盘中存储同样大小数据 400 秒的开销(接近五分钟)。这个法则在 1997 年左右的时候进行过一次回顾,证实了五分钟法则依然有效(硬盘、内存实际上没有质的飞跃),而这次的回顾则是针对 SSD 这个”新的旧硬件”可能带来的影响。\n随着闪存时代的来临,五分钟法则一分为二:是把 SSD 当成较慢的内存(extended buffer pool )使用还是当成较快的硬盘(extended disk)使用。小内存页在内存和闪 …"
June 26, 2010
Memcached深度分析
"Memcached是danga.com(运营LiveJournal的技术团队)开发的一套分布式内存对象缓存系统,用于在动态系统中减 少数据库负载,提升性能。关于这个东西,相信很多人都用 过,本文意在通过对memcached的实现及代码分析,获得对这个出色的开源软件更深入的了解,并可以根据我们的需要对其进行更进一步的优化。末了将通 过对BSM_Memcache扩展的分析,加深对memcached的使用方式理解。\n本文的部分内容可能需要比较好的数学基础作为辅助。\n◎Memcached是什么\n在阐述这个问题之前,我们首先要清楚它“不是什么”。很多人把它当作和SharedMemory那种形式的存储载体来使用,虽然memcached使用了 同样的“Key=\u0026gt;Value”方式组织数据,但是它和共享内存、APC等本地缓存有非常大的区别。Memcached是分布式的,也就是说它不是 本地的。它基于网络连接(当然它也可以使用localhost)方式完 成服务,本身它是一个独立于应用的程序或守护进程(Daemon方式)。\nMemcached使用libevent库实现网络连接服务,理论上可以处理无限多 …"
June 25, 2010
MySQL 集群在Server1与Server2上如何安装MySQL
"我们今天主要向大家介绍的是MySQL 集群,其中包括对MySQL 集群的概念介绍,以及如何在Server1与Server2上正确对MySQL进行安装 ,还有对安装与配置管理节点服务器(Server3)的正确操作 ,配置集群服务器并启动MySQL 。\n一、介绍\n这篇文档旨在介绍如何安装配置基于2台服务器的MySQL集群。并且实现任意一台服务器出现问题或宕机时MySQL依然能够继续运行。\n注意!\n虽然这是基于2台服务器的MySQL集群,但也必须有额外的第三台服务器作为管理节点,但这台服务器可以在集群启动完成后关闭。同时需要注意的是并 不推荐在集群启动完成后关闭作为管理节点的服务器。尽管理论上可以建立基于只有2台服务器的MySQL集群,但是这样的架构,一旦一台服务器宕机之后集群 就无法继续正常工作了,这样也就失去了集群的意义了。出于这个原因,就需要有第三台服务器作为管理节点运行。\n另外,可能很多朋友都没有3台服务器的实际环境,可以考虑在VMWare或其他虚拟机中进行实验。\n下面假设这3台服务的情况:\nServer1: MySQL1.vmtest.net 192.168.0.1 …"
June 25, 2010
Mysql 集群简介和配置
"1. 先了解一下你是否应该用 mysql 集群。\n减少数据中心结点压力和大数据量处理,采用把 mysql 分布,一个或多个 application 对应一个 mysql 数据库。把几个 mysql 数据库公用的数据做出共享数据,例如购物车,用户对象等等,存在数据结点里面。 其他不共享的数据还维持在各自分布的 mysql 数据库本身中。\n2. 集群 Mysql 中名称概念 .( 如上图 )\n1 ) Sql 结点( SQL node– 上图对应为 mysqld ) : 分布式数据库。包括自身数据和查询中心结点数据 .\n2 )数据结点 (Data node — ndbd): 集群共享数据 ( 内存中 ).\n3 )管理服务器 (Management Server – ndb_mgmd): 集群管理 SQL node,Data node.\n3 .配置\nmysql-max 版本,当然现在 mysql 集群系统 windonws 平台上面不被支持 .\n安装 mysql 就不多说了,网上一打堆,简明扼要。\nA:192.168.1.251 – Data node 和 Management Server."
June 25, 2010
MySQL Cluster集群配置方案
"在为某证券公司设计其OA架构时,初期客户是30万用户在线;然而在项目实施中,客户又提出50万用户同时在线的需求,而且都有写的需求;这样初始的设计 master-master-slave,读写分离满足不了客户的要求,所以我们打算采用Mysql Cluster方案;MySQL Cluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎,允许在1个Cluster中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。\n一、MySQL Cluster概述\nMySQL Cluster 是一种技术,该技术允许在无共享的系统中部署“内存中”数据库的 Cluster 。通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不存在单点故障。\nMySQL Cluster 由一组计算机构成,每台计算机上均运行着多种进程,包括MySQL服务器,NDB Cluster 的数据节点,管理服务器,以及(可能)专门的数据访问程序。\n所有的这些节点 …"
June 25, 2010
MySQL如何修改表格的字符集,如何修改某个字段的字符集
"如果用户想改变表的默认字符集和所有的字符列的字符集到一个新的字符集,使用下面的语句: ALTER TABLE tbl_name CONVERT TO CHARACTER SET charset_name;\n警告: 上述操作是在字符集中转换列值。如果 用户在字符集(如 gb2312)中有一个列,但存储的值使用的是其它的一些不兼容的字符集(如 utf8),那么该操作将不会得到用户期望的结果。在这种情况下,用户必须对每一列做如下操作:\nALTER TABLE t1 CHANGE c1 c1 BLOB; ALTER TABLE t1 CHANGE c1 c1 TEXT CHARACTER SET utf8;\n这样做的原因是:从 BLOB 列转换或转换到 BLOB 列没有转换发生。\n如果用户指定以二进制进行 CONVERT TO CHARACTER SET,则 CHAR、VARCHAR 和 TEXT 列将转换为它们对应的二进制字符串类型(BINARY,VARBINARY,BLOB)。这意味着这些列将不再有字符集,随后的 CONVERT TO 操作也将不会作用到它们上。\n如果仅仅改变一个表的缺省字 …"
June 25, 2010
Mysql InnoDB和MyISAM的区别
"InnoDB和MyISAM是在使用MySQL最常用的两个表类型,各有优缺点,视具体应用而定。基本的差别为:MyISAM类型不支持事务处理等 高级处 理,而InnoDB类型支持。MyISAM类型的表强调的是性能,其执行数度比InnoDB类型更快,但是不提供事务支持,而InnoDB提供事务支持已 经外部键等高级数据库功能。\nMyIASM是IASM表的新版本,有如下扩展:\n1、二进制层次的可移植性。\n2、NULL列索引。\n3、对变长行比ISAM表有更少的碎片。\n4、支持大文件。\n5、更好的索引压缩。\n6、更好的键码统计分布。\n7、更好和更快的auto_increment处理。\nInnoDB 是 MySQL 上第一个提供外键约束的引擎,除了提供事务处理外,InnoDB 还支持行锁,提供和 Oracle 一样的一致性的不加锁读取,能增加并发读的用户数量并提高性能,不会增加锁的数量。\nInnoDB 的设计目标是处理大容量数据时最大化性能,它的 CPU 利用率是其他所有基于磁盘的关系数据库引擎中最有效率的。\nInnoDB 是一套放在 MySQL 后台的完整数据库系统,InnoDB 有它自己的缓冲池, …"
June 24, 2010
FreeBSD portupgrade升级你的FreeBSD软件
"portupgrade 是一个软件,用于快捷便利地升级软件,安装办法:\n#cd /usr/ports/sysutils/portupgrade\n#make install clean\n然后用cvsup更新ports树,最后运行:\n#portupgrade -r pkg_name 升级单个软件和与其相关的,其中 pkg_name 是 pkg_info 中显示的名字\nportupgrade -ar 就会自动更新全部了。\n如果加上 P 参数,则先看是否有已经编译好的 pkg 下载,直接从 pkg 升级,省去自己编译。\n下载站点可以通过修改 /usr/local/etc/pkgtools.conf 更改。\nportupgrade -arR 升级所有已经安装的软件,并且检查依赖关系。"
June 24, 2010
Five Minutes程延辉 介绍开心农场架构
"Five Minutes 公司程延辉(小名康天) 介绍开心农场架构,social game的技术挑战,支持千万级DAU的social game技术架构。这是一个对于开发者来说,非常精彩,非常有实用性指导的一次演讲,详细介绍了很多技术内幕。\n\u0026raquo;猛击这里下载演讲ppt\u0026laquo;\nFive Minutes 公司的著名social game 开心农场,目前非常受用户欢迎,包括国外的Facebook,国内的开心网都是如此,是全球最大的social game,台下热烈掌声。呵呵。开心农场这个游戏从介绍看,相当成功,最早是08年9月在xiaonei上线,而后在51等平台推广,包括Facebook。现在已经有1570万游戏用户了,其中包括50万的Facebook用户。\n开心农场架构主要难点:1。如何存储大规模的用户数据千万级2。如果应对大量访问每天数亿请求量3。如果应对数据的频繁修改,每秒数万次数据修改。\n解决的方式\n优化:\n1。负载均衡,web服务器平行扩展。\n2。服务器性能优化。\n3。异步处理,缓存数据接口,Linux内核参数优化,挖掘PHP的效率,用fastcgi模式运行php, …"
June 24, 2010
UPDATE 时主键冲突引发的思考
"假设有一个表,结构如下:\nmysql\u0026gt; CREATE TABLE `a` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `id2` int(10) unsigned NOT NULL DEFAULT \u0026#39;0\u0026#39;, PRIMARY KEY (`id`) ) ENGINE=MyISAM; 该表中只有6条记录,如下:\nmysql\u0026gt; select * from a; +----+---------+ | id | city_id | +----+---------+ | 2 | 2 | | 3 | 3 | | 5 | 5 | | 4 | 4 | | 6 | 6 | | 7 | 7 | +----+---------+ 注意上面id的显示顺序,由于没有指定排序字段,myisam表引擎是随机显示记录列表的。 现在想要把id字段分别-1,执行以下语句,得到报错: mysql\u0026gt; update a set id=id-1; ERROR 1062 (23000): Duplicate entry \u0026#39;4\u0026#39; …"