Monthly Archives: March 2013

mysql中的ON DUPLICATE KEY UPDATE

Posted on by

INSERT INTO ON DUPLICATE KEY UPDATE 与 REPLACE INTO，两个命令可以处理重复键值问题，在实际上它之间有什么区别呢？
前提条件是这个表必须有一个唯一索引或主键。

1、REPLACE发现重复的先删除再插入，如果记录有多个字段，在插入的时候如果有的字段没有赋值，那么新插入的记录这些字段为空。
2、INSERT发现重复的是更新操作。在原有记录基础上，更新指定字段内容，其它字段内容保留。

这样REPLACE的操作成本要大于 insert  ON DUPLICATE KEY UPDATE>.  按照 odds 的 代码 ，按道理应该选用insert  ON DUPLICATE KEY UPDATE
Continue reading →

sphinx分布式索引简介

Posted on by
sphinx分布式索引原理：
当searchd收到一个对分布式索引的查询时，它做如下操作：
1. 连接到远程代理
2. 执行查询
3. （在远程代理执行搜索的同时）对本地索引进行查询
4. 接收来自远程代理的搜索结果
5. 将所有结果合并，删除重复项
6. 将合并后的结果返回给客户端
在应用程序看来，普通索引和分布式索引完全没有区别。
任一个searchd实例可以同时做为主控端（master，对搜索结果做聚合）和从属端（只做本地
搜索）。这有如下几点好处：
1. 集群中的每台机器都可以做为主控端来搜索整个集群，搜索请求可以在主控端之间获
得负载平衡，相当于实现了一种HA（high availability，高可用性），可以应对某个
节点失效的情况。
2. 如果在单台多CPU或多核机器上使用，一个做为代理对本机进行搜索的searchd实例
就可以利用到全部的CPU或者核。
更好的HA支持已在计划之中，到时将允许指定哪些代理之间互相备份、有效性检查、跟踪
运行中的代理、对检索请求进行负载均衡，等等。
sphinx分布式索引配置：
index dist1
{
    # local index to be searched
    # there can be many local indexes configured
    local               = test1
    local               = test1stemmed
    # remote agent
    # multiple remote agents may be specified
    # syntax for TCP connections is ‘hostname:port:index1,[index2[,…]]’
    # syntax for local UNIX connections is ‘/path/to/socket:index1,[index2[,…]]’
    agent               = localhost:9313:remote1
    agent               = localhost:9314:remote2,remote3
    # agent             = /var/run/searchd.sock:remote4
    # blackhole remote agent, for debugging/testing
    # network errors and search results will be ignored
    # agent_blackhole       = testbox:9312:testindex1,testindex2
    # remote agent connection timeout, milliseconds
    # optional, default is 1000 ms, ie. 1 sec
    agent_connect_timeout   = 1000
    # remote agent query timeout, milliseconds
    # optional, default is 3000 ms, ie. 3 sec
    agent_query_timeout     = 3000
}
原理和配置还是比较简单的，对于索引文件过大的情况，分布式索引非常有用。但是碰到搜索量非常大的时候，分布式索引就显得力不从心了。这个时候就需要做索引复制了。索引复制同步的问题一般采用的方案有两种。
第一种方案是主从同步。有一个主搜索服务器和多个从搜索服务器。在主搜索服务器上生成的增量索引会同步从索引服务器。从而达到主从同步。为了避免网络或者其他情况导致的增量索引不同步的情况，需要定期在一个阶段把主从服务器的主索引同步一次。新增加搜索服务器的话需要在增量索引生成的间隔数据去拷贝其他搜索服务器的主索引。
第二种方案是每个搜索服务器根据增量数据去生成增量索引。通过表来记录不同的搜索服务器是否生成增量索引。来达到同步的目的。新增加搜索服务器的话，就需要去比历史上所有的增量数据全部生成一遍。
这两种策略都是可行的。增量数据在一定时间段量很大的话建议用第一种方案，否则用第二种方案。

linux下启动mysql提示”mysql deamon failed to start”错误的解决办法

Posted on by

有台linux服务器，系统为centos系统.

描述：

网站突然连接不上数据库,于是朋友直接重启了一下服务器。进到cli模式下，执行 service myqsld start 发现还是提示”mysql deamon failed to start”错误信息.

# /etc/init.d/mysqld start
MySQL Daemon failed to start.
Starting mysqld:                                           [FAILED]
查看mysqld的log文件
#less /var/log/mysqld.log
/usr/libexec/mysqld: Can’t change dir to ‘XXX’ (Errcode: 13)

首先是查看数据库日志

mysqld started

[Warning] Can’t create test file xxx.lower-test
[Warning] Can’t create test file xxx.lower-test
/usr/libexec/mysqld: Can’t change dir to ‘/xxx’ (Errcode: 13)

[ERROR] Aborting

首先检查数据目录和日志目录的权限和所属用户，权限和所属用户都没问题，那应该是SELINUX的权限限制了。

先查看当前配置信息.

# getenforce

Enforcing

就表明SELinux已经启用.只需要关闭即可。

关闭方法：

#setenforce 0       （0|1  开|关）

或者

setsebool ftpd_disable_trans 1

命令也可以.