October 22, 2012
理解inode
"inode 是一个重要概念,是理解Unix/Linux文件系统和硬盘储存的基础。\n我觉得,理解inode,不仅有助于提高系统操作水平,还有助于体会Unix设计哲学,即如何把底层的复杂性抽象成一个简单概念,从而大大简化用户接口。\n下面就是我的inode学习笔记,尽量保持简单。\n===================================\n理解inode\n作者:阮一峰\n一、inode是什么?\n理解inode,要从文件储存说起。\n文件储存在硬盘上,硬盘的最小存储单位叫做”扇区”(Sector)。每个扇区储存512字节(相当于0.5KB)。\n操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个”块”(block)。这种由多个扇区组成的”块”,是文件存取的最小单位。”块”的大小,最常见的是4KB,即连续八个 sector组成一个 block。\n文件数据都储存在”块”中,那么很显然,我们还必须找到一个地方储存文件的元信息,比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode,中文译名为”索引节点”。 …"
October 19, 2012
有效的MySQL备份与恢复
"【TechTarget中国原创】如果您接手了一个 MySQL 生产系统,但不确定它是否运行了MySQL备份策略,这时需要做哪些保障措施呢?在实施备份策略之前,一定要明确数据规模和存储引擎使用等先决条件。这会对系统在备份过程中的可用性产生直接影响。\n在本文中,我们将介绍用于确定最小备份功能所需要的方法,其中包括:\n确定数据库规模 确定存储引擎使用率 锁定和停机时间影响 MySQL备份方法\n备份MySQL环境的策略有很多,这些策略与MySQL拓扑的服务器数量相关,有许多开源和商业工具可以执行备份操作。\n假设目前您有一个单服务器环境,希望创建一个统一备份,那么您现在可以在所有MySQL环境中采用两种备份方法。第一种方法是停止MySQL实例,然后对整个文件系统执行冷备份。这样会让系统在特定时间段变成不可用状态,而且您必须确保复制了所有信息,其中包括MySQL数据、事务与二进制日志文件(如果有的话)和MySQL的当前配置。\n第二种方法是使用MySQL标准安装所包含的客户端工具。使用mysqldump命令,可以在不停止MySQL实例的前提下创建一个统一的MySQL备份。然而,在运 …"
October 8, 2012
mysql explain 中key_len的计算
"今天丁原问我mysql执行计划中的key_len是怎么计算得到的,当时还没有注意,在高性能的那本书讲到过这个值的计算,但是自己看执行计划的时候一直都没有太在意这个值,更不用说深讨这个值的计算了:\nken_len表示索引使用的字节数,根据这个值,就可以判断索引使用情况,特别是在组合索引的时候,判断所有的索引字段都被查询用到。\n在查看官方文档的时候,也没有发现详细的key_len的计算介绍,后来做了一些测试,在咨询了丁奇关于变长数据类型的值计算的时候,突然想到innodb 行的格式,在这里的计算中有点类似,总结一下需要考虑到以下一些情况:(1).索引字段的附加信息:可以分为变长和定长数据类型讨论 当索引字段为定长数据类型,比如char,int,datetime,需要有是否为空的标记,这个标记需要占用1个字节; 对于变长数据类型,比如:varchar,除了是否为空的标记外,还需要有长度信息,需要占用2个字节;\n(备注:当字段定义为非空的时候,是否为空的标记将不占用字节)\n(2).同时还需要考虑表所使用的字符集,不同的字符集,gbk编码的为一个字符2个字节,utf8编码的一个字符3个字节;\n先 …"
September 29, 2012
MySQL数据库性能优化之表结构优化
"由于MySQL数据库是基于行(Row)存储的数据库,而数据库操作 IO 的时候是以 page(block)的方式,也就是说,如果我们每条记录所占用的空间量减小,就会使每个page中可存放的数据行数增大,那么每次 IO 可访问的行数也就增多了。反过来说,处理相同行数的数据,需要访问的 page 就会减少,也就是 IO 操作次数降低,直接提升性能。此外,由于我们的内存是有限的,增加每个page中存放的数据行数,就等于增加每个内存块的缓存数据量,同时还会提升内存换中数据命中的几率,也就是缓存命中率。\n** 数据类型选择**\n数据库操作中最为耗时的操作就是 IO 处理,大部分数据库操作 90% 以上的时间都花在了 IO 读写上面。所以尽可能减少 IO 读写量,可以在很大程度上提高数据库操作的性能。\n我们无法改变数据库中需要存储的数据,但是我们可以在这些数据的存储方式方面花一些心思。下面的这些关于字段类型的优化建议主要适用于记录条数较多,数据量较大的场景,因为精细化的数据类型设置可能带来维护成本的提高,过度优化也可能会带来其他的问题:\n1、数字类型:非万不得已不要使用DOUBLE,不仅仅只是存储 …"
September 17, 2012
MySQL索引背后的数据结构及算法原理
"摘要\n本文以MySQL数据库为研究对象,讨论与数据库索引相关的一些话题。特别需要说明的是,MySQL支持诸多存储引擎,而各种存储引擎对索引的支持也各不相同,因此MySQL数据库支持多种索引类型,如BTree索引,哈希索引,全文索引等等。为了避免混乱,本文将只关注于BTree索引,因为这是平常使用MySQL时主要打交道的索引,至于哈希索引和全文索引本文暂不讨论。\n文章主要内容分为三个部分。\n第一部分主要从数据结构及算法理论层面讨论MySQL数据库索引的数理基础。\n第二部分结合MySQL数据库中MyISAM和InnoDB数据存储引擎中索引的架构实现讨论聚集索引、非聚集索引及覆盖索引等话题。\n第三部分根据上面的理论基础,讨论MySQL中高性能使用索引的策略。\n数据结构及算法基础\n索引的本质\nMySQL官方对索引的定义为:**索引(Index)是帮助MySQL高效获取数据的数据结构。**提取句子主干,就可以得到索引的本质:索引是数据结构。\n我们知道,数据库查询是数据库的最主要功能之一。我们都希望查询数据的速度能尽可能的快,因此数据库系统的设计者会从查询算法的角度进行优化。 …"
September 16, 2012
linux下时间格式为24小时制的办法(centos)
"下面是自己解决的方法\ntzselect\n根据提示选择\n5 –\u0026gt; 9–\u0026gt;1–\u0026gt;1–\u0026gt;ok rm /etc/localtime ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime\n这时就可以看到时间已经修改成为国内的时间了。时间也对的。时间为24小时制。"
September 12, 2012
百度地图API如何给自定义覆盖物添加事件
"摘要:\n给marker、lable、circle等Overlay添加事件很简单,直接addEventListener即可。那么,自定义覆盖物的事件应该如何添加呢?我们一起来看一看~\n一、定义构造函数并继承Overlay\n//定义自定义覆盖物的构造函数 functionSquareOverlay(center, length, color){ this._center = center; this._length = length; this._color = color; } //继承API的BMap.Overlay SquareOverlay.prototype = newBMap.Overlay(); 二、初始化自定义覆盖物\n//实现初始化方法 SquareOverlay.prototype.initialize = function(map){ //保存map对象实例 this._map = map; //创建div元素,作为自定义覆盖物的容器 vardiv = document.createElement(“div”); div.style.position = …"
September 8, 2012
adodb cs5破解办法及注册码
"用记事本编辑“C:\\Windows\\System32\\Drivers\\etc\\”目录下的 hosts 文件\n127.0.0.1 activate.adobe.com 127.0.0.1 practivate.adobe.com 127.0.0.1 ereg.adobe.com 127.0.0.1 activate.wip3.adobe.com 127.0.0.1 wip3.adobe.com 127.0.0.1 3dns-3.adobe.com 127.0.0.1 3dns-2.adobe.com 127.0.0.1 adobe-dns.adobe.com 127.0.0.1 adobe-dns-2.adobe.com 127.0.0.1 adobe-dns-3.adobe.com 127.0.0.1 ereg.wip3.adobe.com 127.0.0.1 activate-sea.adobe.com 127.0.0.1 wwis-dubc1-vip60.adobe.com 127.0.0.1 activate-sjc0.adobe.com\n以防止其连接 Adobe 的激活验证服务 …"
September 7, 2012
数据类型和Json格式
"前几天,我才知道有一种简化的数据交换格式,叫做 yaml。\n我翻了一遍它的 文档,看懂的地方不多,但是有一句话令我茅塞顿开。\n它说, 从结构上看,所有的数据(data)最终都可以分解成三种类型:\n第一种类型是 标量(scalar),也就是一个单独的字符串(string)或数字(numbers),比如”北京”这个单独的词。\n第二种类型是 序列(sequence),也就是若干个相关的数据按照一定顺序并列在一起,又叫做数组(array)或列表(List),比如”北京,上海”。\n第三种类型是 映射(mapping),也就是一个名/值对(Name/value),即数据有一个名称,还有一个与之相对应的值,这又称作散列(hash)或字典(dictionary),比如”首都:北京”。\n我恍然大悟,数据构成的最小单位原来如此简单!难怪在编程语言中,只要有了数组(array)和对象(object)就能够储存一切数据了。\n我马上想到了 json。\n21世纪初,Douglas Crockford寻找一种简便的数据交换格式,能够在服务器之间交换数据。当时通用的数据交换语言是XML,但是Douglas …"
September 5, 2012
增加Apache2和Nginx的header长度限制
"nginx默认的header长度上限是4k,如果超过了这个值 nginx会直接返回400错误\n[error] 16613#0: *105 upstream sent too big header while reading response header from upstream\n可以通过以下2个参数来调整header上限\nclient_header_buffer_size 16k; large_client_header_buffers 4 16k;\n看起来是,nginx默认会用client_header_buffer_size这个buffer来读取header值,如果header过大,它会使用large_client_header_buffers来读取\nclient_header_buffer_size\nsyntax: client_header_buffer_size size\ndefault: 1k\ncontext: http, server\nDirective sets the headerbuffer size for the request header from …"