구분자 토크나이저

구분자를 명시적으로 지정할 수 있는 경우에는 구분자 토크나이저를 사용합니다. 인덱스 되는 토큰 수가 줄어들면 더 작은 디스크 사용량과 빠른 검색을 기대할 수 있습니다.

  • 구분자: 구분자 목록을 입력합니다. 미설정 시 모든 아스키 특수문자가 지정됩니다.
  • 프리픽스 구분자: 프리픽스 구분자 문자 목록을 입력합니다. 가령 .을 지정할 경우 1.2.3.4의 값이 있으면 1, 2, 3, 4, 1., 1.2., 1.2.3., 1.2.3.4 토큰이 추출됩니다.
  • 대상 필드 목록: 토큰을 추출할 대상 필드 이름을 쉼표로 구분하여 입력합니다.

구분자 토크나이저