꼭 읽어주세요

데이터 수집 및 처리

로그프레소 소나에서 다루는 데이터의 최소 단위는 레코드(record)입니다. 레코드는 "하나의 완결된 논리 단위로서의 기록"을 의미합니다. 예를 들어 아래와 같은 항목이 모두 레코드에 해당합니다:

• 방화벽 또는 웹 서버 로그 한 줄
• 시스로그 메시지 한 줄
• SNMP 트랩 메시지 한 줄
• 관계형 데이터베이스 테이블의 행(row)
• MongoDB 컬렉션의 문서 한 건
• PCAP 장치를 통해 수집된 패킷 한 개
• 외부 REST API 호출 응답으로 받은 JSON 객체 (중괄호로 감싸진 이름-값 쌍의 집합)

수집 메뉴는 수집기, 파서, 로그 스키마, 수집 모델 관리 메뉴로 구성되어 있습니다. 앱을 설치하면 데이터 수집과 정규화에 필요한 파서, 로그 스키마, 수집 모델이 함께 제공되므로 관리자는 필요에 따라 수집기(및 접속 프로파일)를 구성하는 것만으로도 수집 기능을 바로 사용할 수 있습니다. 하지만 각 구성 요소의 역할과 상호작용을 이해해야 수집 기능을 올바르게 활용할 수 있습니다.

다음 그림은 로그프레소 소나에서 데이터가 처리되는 절차를 보여줍니다.

1. 수집기가 데이터 원천으로부터 데이터를 수신하거나, 주기적으로 직접 데이터 원천에 접속해 데이터를 수집합니다.
   • 그림의 화살표는 TCP/IP 또는 애플리케이션 수준에서 통신 방향을 나타냅니다.
2. 수집 모델에 정의된 파서를 사용해 원본 데이터를 레코드 단위로 구분하고, 각 레코드에서 필드를 식별하고 추출합니다.
3. 수집 모델에 정규화 규칙이 정의된 경우, 추출된 필드와 값을 로그 스키마의 필드 이름 및 유형에 맞게 변환합니다.
4. 정규화된 레코드는 테이블에 저장되며, 원본 로그도 함께 저장됩니다.

이러한 일련의 데이터 처리 절차는 일관된 정책 수립과 분석의 일관성 확보에 필수적입니다. 이기종 장비에서 생성되는 로그는 형식이 제각각이지만, 공통된 속성을 기준으로 필드를 정규화하면 정책 적용과 분석이 간단해집니다. 예를 들어, 다양한 방화벽에서 생성된 로그는 형식이 서로 다르지만, 출발지 IP 주소를 동일한 필드 이름으로 정규화한다면 전체 방화벽 로그를 대상으로 주소 그룹에 등록된 차단 목록과 일괄적으로 대조할 수 있습니다.

수집 설정 절차 간소화

앱 시스템의 도입으로, 관리자가 일일이 구성해야 했던 로그 및 데이터 수집 설정 절차가 크게 간소화되었습니다. 앱을 설치하면 데이터 수집에 필요한 파서, 로그 스키마, 수집 모델이 함께 제공되므로, 최소한의 설정만으로 수집 작업을 시작할 수 있습니다. 수집 설정 절차는 다음과 같이 변경되었습니다:

앱을 사용하더라도 관리자는 여전히 파서, 로그 스키마, 수집 모델을 직접 구성할 수 있습니다. 그러나 일반적인 경우에는 앱에서 제공하는 설정만으로도 충분합니다.

로그 스키마 국제화 지원

로그프레소 소나는 한국어, 영어, 중국어로 작성된 로그 스키마를 지원합니다. 로그의 필드 이름이 사용자 언어로 표시되므로, 임직원은 소명을 제출하라는 요청을 받았을 때, 근거로 제시된 로그를 더 쉽게 이해할 수 있습니다.

데이터 수집이 불가능할 때

앱 개발 요청

로그프레소 스토어에 원하는 유형의 데이터 수집용 앱이 없는 경우, 로그프레소에 앱 제작을 요청할 수 있습니다. 요청 시에는 다음 정보를 함께 제출하세요:

• 앱을 요청하는 고객사 정보
• 연동할 제품의 제조사, 제품 이름 및 버전
• 로그 수집 방식
• 로그 정의서(데이터베이스와 연동하는 경우 데이터베이스 정보 및 테이블 스키마 정보)
• 샘플 로그

자체 앱 개발

로그프레소는 소나 및 마에스트로와 연동할 시스템을 위해 직접 앱을 개발할 수 있도록 앱 SDK를 제공합니다. 앱 개발에 필요한 정보는 로그프레소 앱 SDK 설명서를 참고하세요.