7.데이터 매핑

Edit

7.1lookup

문법

lookup 매핑테이블 키필드 output 매핑필드1 [as 출력필드1], 매핑필드2 [as 출력필드2], ...

매핑 테이블을 조회하여 특정한 필드 값을 다른 값으로 변환합니다. 쉘에서 logdb.loadCsvLookup 명령을 이용하여 미리 매핑테이블을 적재하거나, geoip처럼 lookup 쿼리 커맨드를 지원하는 확장 모듈이 설치되면 해당 매핑테이블을 조회할 수 있습니다.

매핑 테이블

필드 값 변환에 사용되는 매핑 테이블을 의미합니다.

키 필드

매핑 테이블에서 키로 동작하는 필드 이름을 의미합니다.

매핑 필드

매핑 테이블에서 키 필드 값을 기준으로 매핑할 필드 이름을 의미합니다.

출력 필드

다음 쿼리 커맨드에 출력으로 내보낼 필드 이름을 의미합니다. 생략 시 매핑 필드 이름이 그대로 사용됩니다.

사용 예

1) geoip를 이용한 IP 국가코드 변환

geoip 매핑 테이블을 통해 IP 타입 혹은 문자열로 된 입력 필드 값을 country (국가 코드), region (지역), city (도시), latitude (위도), longitude (경도)로 변환할 수 있습니다.

lookup geoip src_ip output country
lookup geoip src_ip output region
lookup geoip src_ip output city
lookup geoip src_ip output latitude
lookup geoip src_ip output longitude

7.2memlookup

문법

memlookup
memlookup name=룩업이름
memlookup op=list name=룩업이름
memlookup op=drop name=룩업이름
memlookup op=build name=룩업이름 key=키필드 필드1, 필드2, ...

간편하게 lookup 명령어로 호출할 수 있는 인메모리 매핑테이블을 생성하려는 경우 memlookup 명령어를 활용합니다. memlookup 명령어에 아무런 옵션을 주지 않는 경우, memlookup 명령어로 생성된 모든 룩업의 메타데이터를 조회합니다. 아래와 같은 정보를 출력합니다:

연산자 (op) 옵션에 따라 각각 아래와 같이 동작합니다:

list

memlookup으로 생성된 매핑 테이블의 모든 항목을 조회합니다. 만약 memlookup으로 생성되지 않은 룩업이라면, 쿼리가 실패합니다.

drop

메모리에서 매핑테이블을 삭제합니다.

build

입력으로 들어오는 데이터를 이용하여 쿼리가 완료될 때까지 매핑테이블을 생성합니다.

사용 예

1) 쿼리를 통한 룩업 생성

status, desc1, desc2라는 컬럼을 가지고 있는 csv파일에서 status컬럼을 키로 하고 desc1, desc2 컬럼을 output으로 하는 http_status라는 이름을 가진 룩업 테이블을 만들 수 있습니다. 연산자 (op) 옵션 값으로 build를 부여하여 앞에서 넘어온 데이터에서 키 필드와 output 필드를 지정하여 매핑 테이블을 생성합니다.

csvfile http_status.csv 
| memlookup op=build name=http_status key=status desc1, desc2

2) 룩업 확인

memlookup으로 생성된 매핑 테이블 정보를 확인할 수 있습니다. 반환되는 정보는 매핑 테이블 이름과 키 컬럼, 그리고 전체 건수입니다.

memlookup
memlookup op=list

3) 특정 룩업 내용 확인

룩업의 이름을 명시하여 리스트를 조회하면 해당 룩업의 모든 정보가 나타납니다.

memlookup name=http_status
memlookup op=list name=http_status

4) 룩업 삭제

연산자 (op) 옵션 값으로 drop을 부여하여 지정된 매핑 테이블을 삭제합니다. 룩업의 이름을 명시하지 않은 경우 에러가 발생합니다.

memlookup op=drop name=http_status

7.3lookuptable

문법

lookuptable 매핑테이블 [offset=숫자] [limit=숫자] [필드1], [필드2], ..

웹콘솔의 룩업 메뉴에서 파일 데이터로 생성한 룩업 테이블의 내용을 조회합니다. 웹 콘솔의 파일기반으로 생성한 룩업 외의 geoip 등의 디폴트 룩업, memlookup으로 생성된 룩업, 웹콘솔에서 데이터베이스로 생성한 룩업에 대한 내용은 조회가 되지 않습니다.

offset

건너뛸 레코드 갯수

limit

가져올 최대 레코드 갯수

사용 예

1) 룩업테이블 country_code 전체 조회

lookuptable country_code

2) 룩업테이블 country_code 의 code 필드 30건만 조회

lookuptable country_code limit=30 code

3) 룩업테이블 country_code country, population 필드만 조회

lookuptable country_code country, population

7.4geocode_kr

문법

geocode_kr

대한민국 행정구역 코드표를 조회합니다. 행정구역 명칭 필드과 함께 제공하는 코드 필드는 대시보드의 대한민국 지도 위젯의 지역과 매핑이 가능합니다.

Count of comments [0]