바이그램 토크나이저

아스키 특수문자로 자른 뒤 지정된 바이그램 구분자를 기준으로 2개씩 묶은 토큰을 인덱싱합니다.

  • 바이그램 구분자: 바이그램으로 묶는데 사용할 구분자를 지정합니다.
  • 대상 필드 목록: 토큰을 추출할 대상 필드 이름을 쉼표로 구분하여 입력합니다.

바이그램 토크나이저