TIL

8.5 전문 검색 인덱스

전문 검색이란 문서 전체에 대한 분석과 검색을 위한 인덱싱 알고리즘이다. 문서의 내용 전체를 인덱스화해서 특정 키워드가 포함된 문서를 검색하는 것을 의미한다. InnoDB나 MyISAM 스토리지 엔진에서 제공하는 일반적인 B-Tree에선 전문 검색을 할 수 없다.

8.5.1 인덱스 알고리즘

전문 검색에서는 문서 본문 내용에서 사용자가 검색하는 키워드를 분석해 내고, 빠른 검색용으로 사용할 수 있게 이 키워드로 인덱스를 구축한다.
인덱싱 기법에 따라 어근 분석과 n-gram 분석 알고리즘으로 구분할 수 있다.

어근 분석 알고리즘

MySQL 전문 검색 인덱스는 다음 두 과정을 거쳐 색인 작업이 수행된다.

불용어 처리
- 검색에서 필요 없는 단으를 모두 필터링해 제거하는 작업
- MySQL에 불용어가 정의돼 있지만 사용자가 별도로 정의할 수도 있다.
어근 분석
- 검색어로 선정된 단어의 뿌리인 원형을 찾는 작업
- MySQL 서버에선 오픈소스 형태소 분석 라이브러리 MeCab을 플러그인으로 지원한다.
- MeCab을 MySQL 서버에 적용하는 것은 어렵지 않지만 한글에 맞게 완성도를 갖추는 작업은 많은 시간과 노력이 필요하다.

n-gram 알고리즘

MeCab 적용의 번거로움을 해결하기 위한 방법으로 n-gram 알고리즘이 도입되었다.
n-gram 알고리즘은 본문을 무조건 몇 글자씩 잘라서 인덱싱하는 방법
국가별 언어에 대한 이해와 준비 작업이 필요 없다.
- 반면 인덱스 크기는 상당이 큼
n-gram의 n은 인덱싱할 키워드의 최소 글자 수를 의미하고 일반적으로 2글자 단위인 2-gram 방식이 많이 사용된다.
2-gram 알고리즘 토큰 분리 방법
- To be or not to be. That is the question
- 위 문장은 10개의 단어로 구분되고 각 단어는 2글자씩 중첩해서 토큰으로 아래와 같이 분리된다.

To	To
be	be
or	or
not	no	ot
to	to
be	be
That	Th	ha	at
is	is
the	th	he
question	qu	ue	es	st	ti	io	on

위처럼 생성된 토큰에 대해 불용어와 동일하거나 불용어를 포함하면 걸러서 버린다.
불용어는 information_schema.innodb_ft_default_stopword 테이블에서 확인할 수 있다.

불용어 변경 및 삭제

MySQL 서버에 기본으로 등록된 불용어엔 ti, at, ha, a, i 등이 있어 이 단어를 포함하는 토큰은 걸러져 버린다.
실제로 사용자를 더 혼란스럽게 하는 기능이기에 불용어를 완전 무시하거나 사용자 정의 불용어를 등록하는 방법을 권장한다.
전문 검색 인덱스의 불용어 처리 무시
1. 스토리지 엔진에 상관 없이 서버의 모든 전문 검색 인덱스에 대한 불용어를 완전히 제거하는 방법
  1. MySQL 서버 설정 파일(my.cnf)의 ft_stopword_file 시스템 변수를 빈 문자열로 설정하면 된다. ft_stopword_file=''
  2. 변경 후 MySQL 서버를 재시작하면 반영된다.
  3. 사용자 정의 불용어를 적용할 때는 ft_stopword_file 변수에 불용어 목록 파일을 적용하면 된다.
2. InnoDB 스토리지 엔진에서만 전문 검색 인덱스에 대한 불용어 처리를 무시하는 방법
  1. innodb_ft_enable_stopword 시스템 변수를 OFF로 설정
  2. 이 변수는 동적인 변수이므로 MySQL 실행 중에서도 변경할 수 있다.
사용자 정의 불용어 사용
1. 불용어 목록 파일 설정
  1. 불용어 목록 파일을 저장하고 서버 설정 파일에서 파일 경로를 설정
  2. ft_stopword_file=’/data/my_custom_stopworld.txt’
2. InnoDB 스토리지 엔진에서 불용어 테이블로 저장
  1. 불용어 테이블을 생성하고 innodb_ft_server_stopword_table 시스템 변수에 설정하면 된다.
  2. 불용어 목록을 변경한 이후 전문 검색 인덱스가 생성돼야만 변경된 불용어가 적용된다.
```
 CREATE TABLE my_stopword(value VARCHAR(30)) ENGINE = INNODB;
 INSERT INTO my_stopword(value) VALUES ('MySQL');
        
 SET GLOBAL innodb_ft_server_stopword_table-'mydb/my_stopword';
 ALTER TABLE tb_bi_gram
 	ADD FULLTEXT INDEX fx_title_body(title, body) WITH PARSER ngram;
```
3. innodb_ft_user_stopword_table 시스템 변수 이용
  1. 여러 전문 검색 인덱스가 서로 다른 불용어를 사용해야 하는 경우에 이용할 수 있다.
  2. innodb_ft_server_stopword_table 시스템 변수와 사용 방법은 동일하다.

8.5.2 전문 검색 인덱스의 가용성

전문 검색 인덱스 사용의 두 조건
- 쿼리 문장이 전문 검색을 위한 문법(MATCH … AGAINST … )을 사용
- 테이블이 전문 검색 대상 칼럼에 대해 전문 인덱스 보유

전문 검색 인덱스 사용하기

doc_body 칼럼에 전문 검색 인덱스 생성

CREATE TABLE tb_test (
	doc_id INT,
	doc_body TEXT,
	PRIMARY KEY (doc_id),
	FULLTEXT KEY fx_docbody (doc_body) WITH PARSER ngram
) ENGINE=InnoDB;

MATCH … AGAINST … 구문을 이용해 쿼리 작성

SELECT * FROM tb_test WHERE MATCH(doc_body) AGAINST('애플' IN BOOLEAN MODE);

일반적인 LIKE ‘%애플%’로 검색하면 전문 검색 인덱스가 아닌 풀 테이블 스캔으로 쿼리를 처리한다.