고정 길이 토크나이저

고정 길이 토크나이저는 글자 수로 된 필드 별 길이와 구분자를 입력 받아 풀텍스트 인덱싱을 수행합니다. 입력 받은 길이대로 필드를 자른 후, 구분자를 이용해 각각의 필드를 토크나이징 합니다. 로그의 길이가 입력 받은 길이의 총 합 보다 길 경우, 남은 길이를 추가 필드로 취급합니다.

  • 길이 목록: 쉼표로 구분된 토큰 길이 목록을 입력합니다. 길이는 문자 갯수 기준으로 입력합니다.
  • 구분자: 구분자로 사용할 문자 목록을 입력합니다. 미설정시 모든 아스키 특수문자가 지정됩니다.
  • 프리픽스 구분자: 프리픽스 구분자 문자 목록을 입력합니다. 가령 .을 지정할 경우 1.2.3.4의 값이 있으면 1, 2, 3, 4, 1., 1.2., 1.2.3., 1.2.3.4 토큰이 추출됩니다.
  • 대상 필드 목록: 토큰을 추출할 대상 필드 이름을 쉼표로 구분하여 입력합니다.

고정 길이 토크나이저