데이터 노드

데이터 노드 추가 후 데이터 리밸런싱

데이터 노드를 추가하면 JSA 는 데이터를 재조정하여 검색 및 전체 시스템 성능을 개선합니다.

데이터 재조정에는 오래된 데이터의 압축을 풀고 원래 저장 장치에 있던 데이터를 이동하여 연결된 모든 장치에 균등하게 분산하는 작업이 포함됩니다.

예를 들어 배포에는 초당 20,000개의 이벤트(EPS)를 수신하는 이벤트 프로세서가 있습니다. 데이터 노드를 추가하면 JSA 는 이벤트 프로세서와 사용 가능한 모든 데이터 노드에 이벤트를 자동으로 배포합니다. 세 개의 데이터 노드를 추가하는 경우, 이벤트 프로세서는 5,000 EPS를 저장하고 접속된 각 데이터 노드에 5,000 EPS를 전송합니다. 이벤트 프로세서는 여전히 모든 이벤트를 처리하고 있지만 데이터 노드는 전체 성능을 향상시키기 위해 더 많은 스토리지, 색인화 및 검색 기능을 제공합니다.

리밸런싱은 어떻게 작동하나요?

클러스터 멤버는 하나의 이벤트 프로세서와 하나 이상의 데이터 노드로 구성됩니다. 데이터는 클러스터의 모든 구성원 간에 어떤 방향으로든 이동할 수 있습니다. 데이터는 클러스터 구성원 간에 시간별 폴더별로 트랜잭션 방식으로 이동합니다. 1시간 분량의 데이터는 이동하는 가장 작은 데이터 블록입니다. 시간별 폴더의 파일이 복사되지 않으면 전체 트랜잭션이 롤백됩니다.

재조정은 시간별 폴더를 병합하지 않습니다. 예를 들어, 대상에 시간별 폴더가 있는 경우 재조정은 클러스터의 다른 멤버에서 동일한 시간별 폴더의 데이터를 이동하지 않습니다. 재조정이 시작되기 전에 클러스터는 대상을 결정합니다. 목표는 재조정이 클러스터의 모든 멤버에서 달성하려고 시도하는 여유 공간의 백분율입니다. 대상은 기가바이트 단위의 절대 여유 공간을 고려하지 않고 백분율만 고려합니다.

여유 공간의 비율이 더 높은 구성원이 대상입니다. 클러스터가 대상을 결정한 후 대상보다 사용 가능한 공간 비율이 작은 구성원이 원본이 됩니다. 각 원본은 데이터를 각 대상에 연결하고 푸시합니다. JSA 구축의 일부 구성 요소가 재시작되어 리밸런싱 프로세스가 실패할 수 있습니다. 재조정은 자체적으로 다시 시작되고 완료되지 않은 위치에서 계속됩니다. 재조정이 다시 시작될 때 전체 배포 또는 유지 관리 중에 너무 많은 시도가 실패하지 않도록 시간 제한 기간(5분, 10분, 30분 등)을 점진적으로 늘립니다. 전체 재조정은 클러스터 구성원의 Ariel 프로세스 간에 완료됩니다.

산란은 어떻게 작동합니까?

분산은 이벤트 프로세서에서 들어오는 데이터를 클러스터의 모든 구성원 간에 분배합니다. 분산은 이벤트 및 흐름과 함께 작동하며 가장 작은 시간별 블록에 바인딩되지 않습니다. 예를 들어, 1시간 분량의 이벤트는 모든 클러스터에서 동일한 시간별 폴더로 분산됩니다.

분산은 이벤트를 분산하고 클러스터 구성원의 사용 가능한 공간 크기(백분율)에 비례하여 흐릅니다. 분산은 여유 공간 비율에 따라 라운드 로빈 방식으로 데이터를 클러스터 호스트로 순차적으로 이동합니다.

오류 또는 연결 문제가 발생하면 분산은 클러스터의 다음 멤버로 데이터를 이동하려고 시도합니다. 성공하지 못하면 데이터가 손실되지 않도록 이벤트 프로세서에 로컬로 데이터를 저장합니다. 데이터는 ecs-ep 프로세스(소스)와 데이터 노드의 여러 데이터 노드 프로세스(대상) 간에 분산됩니다.

기존 데이터는 이벤트 프로세서(소스)와 데이터 노드(대상) 간에 어떻게 이동됩니까?

데이터 노드를 추가할 때 JSA 는 대상 공간을 계산합니다. 대상 공간은 이벤트 프로세서의 여유 공간 양과 데이터 노드의 여유 공간 양을 이벤트 프로세서 및 데이터 노드의 총 양으로 나눈 값입니다. 예를 들어, 하나의 이벤트 프로세서와 두 개의 데이터 노드가 있습니다. 이벤트 프로세서에 60%의 여유 공간이 있고 두 데이터 노드 모두 100%의 여유 공간이 있는 경우 대상 공간은 86.6%(60 + 100 + 100 / 3)입니다. 대상이 정의되면 모든 클러스터 호스트에서 대상 공간(이 예에서는 86.6%)에 도달할 때까지 데이터가 한 번에 한 시간 블록으로 이동됩니다.

새 데이터는 이벤트 프로세서(소스)와 데이터 노드(대상) 간에 어떻게 이동됩니까?

초기 밸런싱이 완료되면 JSA 는 사용 가능한 여유 공간의 양에 따라 이벤트 프로세서와 데이터 노드 전반에 새 데이터를 분산시킵니다. 예를 들어, 이벤트 프로세서에 25%의 여유 공간이 있고 데이터 노드에 40%의 여유 공간이 있는 경우, 데이터 노드는 40개의 이벤트를 수신하는 반면, EP는 두 어플라이언스가 거의 동일한 양의 여유 공간을 가질 때까지 25개의 이벤트를 수신합니다.

밸런싱은 언제 완료되나요?

균형 조정 프로세스는 모든 원본 데이터가 처리되거나 대상 공간 제약 조건에 도달하면 완료됩니다.

데이터 리밸런싱 진행률 보기

데이터 노드를 추가하면 JSA 가 자동으로 데이터를 재배포하여 구축의 스토리지 볼륨 간에 균형을 맞춥니다.

검색 성능 향상은 데이터 재조정이 완료된 후에만 실현됩니다. 데이터 재조정 진행률을 볼 수 있으며 사용된 디스크 공간의 백분율과 같은 데이터도 볼 수 있습니다.

1. 탐색 메뉴()에서 Admin(관리)을 클릭합니다.

2. System Configuration(시스템 구성) 섹션에서 System and License Management(시스템 및 라이센스 관리)를 클릭합니다.

3. 표시 목록에서 시스템을 선택합니다.

4. 호스트 테이블에서 자세한 정보를 보려는 관리 호스트를 선택하십시오.

   • 관리 호스트의 클러스터에 대한 정보를 보려면 최상위 호스트를 선택하십시오.

   • 특정 데이터 노드에 대한 정보를 보려면 해당 데이터 노드를 선택합니다.

5. Actions( 작업 ) 메뉴에서 View and manage system(시스템 보기 및 관리)을 클릭합니다.

6. Security Data Distribution(보안 데이터 분배) 탭을 클릭하여 데이터 재분배의 진행률과 Data Node 어플라이언스의 용량을 확인합니다.

   메모:

   관리 탭의 배포 상태 표시줄에서 데이터 노드 재조정 진행률에 대한 정보를 볼 수도 있습니다.

데이터 노드 어플라이언스에 모든 이벤트 데이터 저장

이벤트 프로세서의 성능을 향상시키려면 데이터 노드 어플라이언스에 모든 이벤트 데이터를 저장하도록 JSA를 구성하십시오. 이 구성에서는 이벤트 프로세서가 이벤트만 처리합니다. 이벤트 데이터를 로컬에 저장하지 않습니다.

이벤트만 처리하도록 구성된 이벤트 프로세서는 활성 데이터 노드 어플라이언스를 사용할 수 없는 경우에도 이벤트 데이터를 로컬에 저장합니다. 데이터 노드 어플라이언스를 사용할 수 있게 되면 JSA 는 이벤트 프로세서에서 데이터 노드로 가능한 한 많은 데이터를 전송합니다.

1. 탐색 메뉴()에서 Admin(관리)을 클릭합니다.

2. System Configuration(시스템 구성) 섹션에서 System and License Management(시스템 및 라이센스 관리)를 클릭합니다.

3. 표시 목록에서 시스템을 선택합니다.

4. 호스트 테이블에서 Event Processor 를 선택하고 Deployment Actions(배포 작업 ) 메뉴에서 Edit Host(호스트 편집)를 클릭합니다.

5. 구성 요소 관리 설정 아이콘()을 클릭합니다.

6. Event Processor(이벤트 프로세서)의 Event Processor Mode(이벤트 프로세서 모드) 필드에서 Processing-Only(처리 전용)를 선택합니다.

7. Save(저장)를 클릭한 다음 Save(저장)를 다시 클릭합니다.

8. Admin( 관리자 ) 탭에서 Deploy Changes(변경 사항 구축)를 클릭합니다.

데이터 노드 컨텐츠 아카이빙

데이터 노드가 수신 데이터의 스토리지에 영향을 주지 않고 기록 데이터에 대한 온라인 액세스를 제공하려는 경우 아카이브 모드를 사용하도록 데이터 노드 어플라이언스를 구성합니다.

아카이브 모드에서 어플라이언스는 새 데이터를 수신하지 않지만 기존 데이터는 저장됩니다.

메모:

아카이브 모드의 Data Node 어플라이언스에는 이벤트 보존 정책이 적용되지 않습니다.

1. 탐색 메뉴()에서 Admin(관리)을 클릭합니다.

2. System Configuration(시스템 구성) 섹션에서 System and License Management(시스템 및 라이센스 관리)를 클릭합니다.

3. 표시 목록에서 시스템을 선택합니다.

4. 호스트 테이블에서 Data Node 어플라이언스 를 선택하고 배포 작업 메뉴에서 호스트 편집을 클릭합니다.

5. 구성 요소 관리 설정 아이콘()을 클릭합니다.

6. Data Node Mode(데이터 노드 모드) 필드에서 Archive(아카이브)를 선택한 후 Save(저장)를 클릭합니다.

7. Admin( 관리자 ) 탭에서 Deploy Changes(변경 사항 구축)를 클릭합니다.

데이터 노드 어플라이언스에서 데이터 저장을 재개하려면 모드를 다시 활성으로 설정합니다.