구분자 및 IP 토크나이저

지정된 구분자를 이용하여 풀텍스트 토큰을 추출하고, 추가로 IPv4 주소 형식의 토큰을 추출합니다.

  • 구분자: 구분자 목록을 입력합니다. 미설정 시 모든 아스키 특수문자가 지정됩니다.
  • 대상 필드 목록: 토큰을 추출할 대상 필드 이름을 쉼표로 구분하여 입력합니다.
  • B클래스 토큰 추가: 값으로 true 혹은 false를 입력합니다. 기본 값은 false입니다.
  • C클래스 토큰 추가: 값으로 true 혹은 false를 입력합니다. 기본 값은 false입니다.
  • IP 타입 토큰 추가: 값으로 true 혹은 false를 입력합니다. 기본 값은 false입니다.

구분자 및 IP 토크나이저