SNR#2070 전달 노드를 통한 자동 부하 분산 지원

개요

전달 노드는 새로 추가된 클러스터 노드 유형으로, 로그프레소 소나의 고가용성과 부하분산 기능을 강화하는 역할을 수행합니다.

전달 노드는 수집 노드의 앞에 배치되어 로그프레소 소나 클러스터가 수신하는 모든 데이터의 게이트웨이처럼 동작합니다. 수집 노드에 장애가 발생하면 전달 노드는 자신의 메모리와 디스크를 사용해 아직 수집 노드에 적재 완료되지 않은 데이터를 보관합니다. 수집 노드가 복구되면 전달 노드는 보관 중인 데이터를 수집 노드에 전송함으로써 고가용성을 향상시킵니다. 또한 수집한 데이터를 각 수집 노드 페어에 균등하게 분배(라운드-로빈)하여 전송하여 부하를 분산합니다.

적재와 수집의 분리

이전 버전에서는 수집기와 데이터가 적재되는 위치가 같은 클러스터 노드이어야만 했지만, 4.0.2404.0 버전부터 수집기를 운영 위치가 전달 노드로 변경되었습니다. 이에 따라 수집기 생성 시 설정해야 하는 '수집 노드'는 '적재 위치'로, '센트리'는 '수집 위치'로 명칭이 변경되었습니다.

4.0.2404.0 버전으로 업그레이드하더라도 수집기 설정에 대한 하위 호환성을 보장합니다. 전달 노드가 구성된 환경에서는 수집기를 전달 노드에 생성하는 것이 권장되지만, 수집 노드, 센트리에 수집기를 생성, 운영할 수 있습니다. 2404.0 버전으로 업그레이드하기 전에 이미 사용하던 기존 수집기들은 그대로 유지됩니다. 기존 수집기를 전달 노드로 옮겨 생성하고자 하는 경우, 수집 위치를 바꿔서 새 수집기를 구성해야 합니다.

전달 노드가 구성된 환경에서 센트리는 전달 노드로 수집된 데이터를 전송하도록 구성을 변경하는 것이 좋습니다. 기존 구성을 유지하는 것도 가능하지만, 전달 노드에 연결시켜야 부하분산과 고가용성의 이점을 누릴 수 있습니다.

부하 분산 적용

전달 노드에 생성된 수집기나 전달 노드에 연결된 센트리에 위치한 수집기로부터 수집된 데이터는, 전달 노드의 부하분산 기능을 이용하여 전체 수집 노드 세트에 데이터를 고르게 분산하여 처리 및 적재할 수 있습니다.

이번 버전에서는 부하분산시 데이터의 위치를 결정짓는 파티셔닝 알고리즘은 라운드-로빈 방식만 지원합니다. 향후 다양한 방식의 파티셔닝 방식을 지원할 계획입니다.

전달 노드 추가 구성

로그프레소 클러스터를 구성할 때 전달 노드가 반드시 필요한 것은 아닙니다. 새로운 클러스터를 구성할 때 이전 버전에서와 같이 분석 노드, 수집 노드만 사용하는 클러스터를 구성하는 것도 가능합니다.

전달 노드를 기존 구성에 추가하고자 하는 경우, 권장되는 하드웨어 사양은 전체 노드에 대한 수집 용량에 따라 다르기 때문에, 제안/구축 담당자와 협의해주세요.

전달 노드 장애 대응

전달 노드는 효과적인 고가용성 달성을 위해 액티브-액티브 방식으로 동작합니다. 두 대 서버를 이용해 이중화된 전달 노드를 구성하면 한 대에 장애가 발생하더라도, 다른 한 대에서 별도의 절체과정 없이 데이터 수집/전송이 이뤄집니다.

전달 노드에 구성된 수집기 또한 액티브-액티브 개념에 맞게 동작합니다. 시스로그 수집기처럼 데이터 수집 시 상태 관리가 필요하지 않은 패시브 방식 수집기는 모든 전달 노드에서 수집기가 동시에 동작합니다.

그러나 수집 상태 관리가 요구되는 SFTP 혹은 JDBC 수집기의 경우, 이중화된 전달 노드 중 임의의 노드 한대에서 수집기가 동작합니다. 전달 노드 중 한 대에 장애가 발생하면 다른 전달 노드로 수집기 동작 위치가 자동으로 변경되고, 마지막 수집 상태도 자동으로 동기화됩니다.