April 13, 2017
MongoDB中字段的添加与删除
"mongoDB添加和删除表中一个字段\n使用update命令\nupdate命令格式:\ndb.collection.update(criteria,objNew,upsert,multi)\n参数说明:\ncriteria:查询条件\nobjNew:update对象和一些更新操作符\nupsert:如果不存在update的记录,是否插入objNew这个新的文档,true为插入,默认为false,不插入。\nmulti:默认是false,只更新找到的第一条记录。如果为true,把按条件查询出来的记录全部更新。\n//例如要把User表中address字段删除 db.User.update({},{$unset:{‘address’:”}},false, true)\n参考: https://docs.mongodb.com/manual/reference/method/db.collection.update/#update-parameter\n==================\n添加一列 $set\n//字符类型 db.User.update({},{$set:{‘app_id’:’1′}}, …"
March 29, 2017
git无法pull仓库refusing to merge unrelated histories的解决办法
"在本地有一个很久的项目,需要上传到远程git仓库中,先在远程创建了一个仓库,在本地配置好后,发现上传的时候,提示先git pull 一下,但git pull的时候提示这个错误,主要是因为目前两个git仓库信息不一致问题,我们要将两个项目合并在一起,需要添加一个 –allow-unrelated-histories 参数即可。\n先进入cli命令行模式,执行\ngit pull origin master --allow-unrelated-histories 然后再执行git pull origin master 即可。\n参考: http://stackoverflow.com/questions/37937984/git-refusing-to-merge-unrelated-histories"
February 7, 2017
查看InnoDB的磁盘空间利用率
"这周阿里集团DBA内部分享时,支付宝的黄忠同学提了一个问题,关于InnoDB索引page 的利用率。\npage********利用率\n主要是指btee里面每个page的使用被使用的空间大小。我们知道InnoDB默认一个page大小是16k。但实际使用情况不会总用满\n我们定义为所有page的总使用字节除以总字节数。\n在理论分析之前,我们要先弄个工具,查一下。\n实例统计\n写了一个简单的工具,读ibd文件上的每个page,算出每个page的实际使用字节,可以得到利用率。\n我们找了线上一个库来模拟。表中有1个自增主键和3个非聚簇索引。不影响结论地简化为如下:\nCREATE TABLE ctu_factor_risk_99_03 (\nseq_id bigint(20) unsigned NOT NULL AUTO_INCREMENT,\na varchar(32) DEFAULT NULL,\nb varchar(32) DEFAULT NULL,\nc varchar(32) DEFAULT NULL,\nKEY a (a),\nKEY bc (b,c),\nKEY cb (c,b),\n) …"
February 7, 2017
关于InnoDB表的page利用率和optimize table
"上一篇我们介绍了ibd_used这个工具,我们用来量化看表数据文件的page使用率。这里用来说明optimize table这个命令的问题和优化。\n实例准备\n建一个这样的表\nCREATE TABLE tb (\nseq_id bigint(20) unsigned NOT NULL AUTO_INCREMENT,\na varchar(32) DEFAULT NULL,\nb varchar(32) DEFAULT NULL,\nc varchar(32) DEFAULT NULL,\nd char(255) DEFAULT NULL,\nPrimary key (seq_id),\nKEY a (a),\nKEY bc (b,c),\nKEY cb (c,b)\n) ENGINE=InnoDB DEFAULT CHARSET=utf8;\n执行语句为“insert into tb(a,b,c) values(randstr, randstr, randstr);” randstr是客户端程序生成的长度30字节的随机字符串。30个线程并发,每个线程插入1w条记录。\n等待更新完成后(包括purge完成,从系统 …"
February 7, 2017
关于 InnoDB 索引长度限制的 tips
"有同学问到InnoDB的索引长度问题,简单说几个tips。\n关于3072\n大家经常碰到InnoDB单列索引长度不能超过767bytes,实际上联合索引还有一个限制是3072。\n[][1]\n可以看到,由于每个字段占用255*3, 因此这个索引的大小是3825(255*3*5)\u0026gt;3072,报错。\n为什么3072\n我们知道InnoDB一个page的默认大小是16k。由于是Btree组织,要求叶子节点上一个page至少要包含两条记录(否则就退化链表了)。\n所以一个记录最多不能超过8k。 又由于InnoDB的聚簇索引结构,一个二级索引要包含主键索引,因此每个单个索引不能超过4k (极端情况,pk和某个二级索引都达到这个限制)。 由于需要预留和辅助空间,扣掉后不能超过3500,取个“整数”就是(1024*3)。\n单列索引限制\n上面有提到单列索引限制767,起因是256×3-1。这个3是字符最大占用空间(utf8)。但是在5.6以后,开始支持4个字节的uutf8。255×4\u0026gt;767, 于是增加了一个参数叫做 innodb_large_prefix。\n这个参数默认值是OFF。当改为ON时, …"
February 6, 2017
MySQL数据库InnoDB存储引擎Log漫游系列
"MySQL数据库InnoDB存储引擎Log漫游(1) MySQL数据库InnoDB存储引擎Log漫游(2) MySQL数据库InnoDB存储引擎Log漫游(3) 以上转自 宋利兵 老师的公众号“MySQL代码研究”"
January 30, 2017
传统复制与 GTID复制的切换知识点
"在5.6以后,可以通过命令动态修改.\n注意有些命令是需要主从都要执行,有些命令是只在slave执行。\ngtid_mode 的几种状态值说明: OFF: 不产生 GTID, 基于 binlog+position,也不能接受GTID的日志。默认值 OFF_PERMISSIVE: 不生产 GTID,但作为slave可以识别GTID事务也可以识别非GTID事务 ON_PERMISSIVE: 产生GTID,slave可以处理GTID事务和非GTID事务 ON: 产生GTID事务,slave只接受GTID事务\n实验一:将传统复制切换到GTID复制\n启用GTID:\nset @@global.enforce_gtid_consitency=warn; set @@global.enforce_gtid_consistency=on; set @@global.gtid_mode=OFF_PERMISSIVE; #不产生gtid,但可以处理gtid set @@global.gtid_mode=ON_PERMISSIVE; #产生gtid,也可以处理gtid show status like …"