为了做sphinx搜索的分词库， 收罗了一堆词库，然后打算排重提出来，入库以后发现123万多的记录。

再网上寻找mysql 排重的方法， 找了很多都是使用sql命令去select 然后delete .效率很差。

偶尔在台湾人的网站看到这么条语句。使用以后。效率非常高啊。 50万重复数据几秒钟就被清掉了。 帅啊。特记录如下

ALTER IGNORE TABLE dict ADD UNIQUE INDEX(content);