Mysql5.7自带的一个【分词器】配置详解
MySQL5.7 建立全文索引
1、ngram and MeCab full-text parser plugins
全文检索在MySQL里面很早就支持了，只不过一直以来只支持英文。缘由是他从来都使用空格来作为分词的分隔符，而对于中文来讲，显然用空格就不合适，需要针对中文语义进行分词。但从MySQL 5.7开始，MySQL内置了ngram全文检索插件，用来支持中文分词，并且对MyISAM和InnoDB引擎有效。
2、必要的参数设置
在使用中文检索分词插件ngram之前，先得在MySQL配置文件里面设置他的分词大小（默认是2），比如，
[mysqld]
ngram_token_size=2
分词的SIZE越小，索引的体积就越大，所以要根据自身情况来设置合适的大小。
3、添加全文索引
alter方式
alter table student add fulltext index full_student(clumn1,clumn2) with parser ngram;
或者
ALTER TABLE `student` ADD FULLTEXT ft_stu_name (`name`) with parser ngram;
create方式
CREATE FULLTEXT INDEX ft_email_name ON `student` (`name`) with parser ngram;
也可以在创建索引的时候指定索引的长度：
CREATE FULLTEXT INDEX ft_email_name ON `student` (`name`(20)) with parser ngram;
当然也可以在建表时
CREATE TABLE articles (
id INTUNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
title VARCHAR(200),
body TEXT,
FULLTEXT (title,body) WITH PARSER ngram
) ENGINE=InnoDB CHARACTER SET utf8mb4;
4、查询索引
按自然语言搜索模式查询
SELECT * FROM articles WHERE MATCH (title,body) AGAINST ('关键词' IN NATURAL LANGUAGE MODE);
按布尔全文搜索模式查询
1 匹配既有管理又有数据库的记录
SELECT * FROM articles WHERE MATCH (title,body) AGAINST ('+数据库 +管理' IN BOOLEAN MODE);
2匹配有数据库，但是没有管理的记录
SELECT * FROM articles WHERE MATCH (title,body) AGAINST ('+数据库 -管理' IN BOOLEAN MODE);
3匹配MySQL，但是把数据库的相关性降低
SELECT * FROM articles WHERE MATCH (title,body) AGAINST ('>数据库 +MySQL' INBOOLEAN MODE);
中文分词与全文索引
InnoDB默认的全文索引parser非常合适于Latin，因为Latin是通过空格来分词的。但对于像中文，日文和韩文来说，没有这样的分隔符。一个词可以由多个字来组成，所以我们需要用不同的方式来处理。在MySQL 5.7.6中我们能使用一个新的全文索引插件来处理它们：n-gram parser.
什么是N-gram？
在全文索引中，n-gram就是一段文字里面连续的n个字的序列。例如，用n-gram来对”信息系统”来进行分词，得到的结果如下：
N-gram 例子
1 N=1 : ‘信’, ‘息’, ‘系’, ‘统’;
2 N=2 : ‘信息’, ‘息系’, ‘系统’;
3 N=3 : ‘信息系’, ‘息系统’;
4 N=4 : ‘信息系统’;
我们引入了一个新的全局变量叫ngram_token_size。由它来决定n-gram中n的大小，也就是词的大小。它的默认值是2，这个时候，我们使用的是bigram。它的合法的取值范围是1到10。现在，我们很自然会想到一个问题：实际应用中应该如何设置ngram_token_size值的大小呢？当然，我们推荐使用2。但是你也可以通过如下这个简单的规则来可以选择任何合法的值：设置到你希望能查询到的最小的词的大小。如果你想查询到单个字，那么我们需要设置为1。 ngram_token_size的值设置的越小，全文索引占用的空间也越小。一般来说，查询正好等于ngram_token_size的词，速度会更快，但是查询比它更长的词或短语，则会变慢。
这个参赛是静态参数，不支持动态修改，只能在配置文件中修改，需要重启数据库才能生效，AWS中的RDS数据库这个参数 在“参数组”中修改
