AI-ML 데이터센터를 위한 로드 밸런싱
AI-ML 데이터센터가 엘리펀트 플로우를 처리할 때 상당한 로드 밸런싱 문제가 발생합니다. 엘리펀트 플로우가 네트워크 전체에서 로드 밸런싱이 제대로 이루어지지 않으면 트래픽 혼잡을 일으킬 가능성이 높습니다. 트래픽 혼잡이 발생하면 비효율적인 로드 밸런싱으로 인해 이미 혼잡한 링크로 트래픽을 의도치 않게 전달하여 문제를 더욱 악화시킬 수 있습니다. Junos OS Evolved는 엘리펀트 플로우의 과제에 최적화된 여러 유형의 로드 밸런싱 구성을 제공합니다.
네트워크 관리자는 네트워크에서 세 가지 주요 유형의 로드 밸런싱을 구성할 수 있습니다.
-
정적 로드 밸런싱(SLB) - SLB에서 항상 특정 링크를 사용하도록 특정 유형의 트래픽을 구성합니다. SLB는 가장 기본적인 유형의 로드 밸런싱입니다.
-
동적 로드 밸런싱(DLB) - DLB는 트래픽 대기열의 크기와 로컬 링크 대역폭 활용도를 기반으로 트래픽 흐름에 대한 링크를 동적으로 선택합니다. 또한 DLB는 트래픽을 다시 라우팅하기 전에 링크의 상태를 확인합니다. DLB는 SLB보다 트래픽 혼잡을 피하는 데 더 효과적입니다.
DLB에는 다음을 포함하여 사용자 정의를 허용하는 여러 모드와 유형이 있습니다.
-
선택적 DLB - 특정 패킷당 시나리오에 대해 DLB를 선택적으로 활성화하고 다른 시나리오에 대해 SLB를 사용합니다.
-
플로우렛 모드 - 플로우렛 모드에서 DLB는 비활성 타이머를 사용하여 플로우의 상태를 추적합니다. 특정 플로우에 대해 비활성 타이머가 만료되면 DLB는 해당 링크가 여전히 해당 플로우에 최적인지 여부를 다시 확인합니다. 링크가 더 이상 최적이 아닌 경우 DLB는 새 송신 링크를 선택합니다.
-
반응형 경로 재조정 - DLB에 대한 이 개선 사항을 사용하면 플로우렛 모드 가 활성화된 경우에도 트래픽을 더 나은 품질의 링크로 이동할 수 있습니다.
-
-
글로벌 로드 밸런싱(GLB) - GLB는 DLB의 개선 사항입니다. DLB는 로컬 링크 대역폭 사용률만 고려하는 반면, GLB는 다음 다음 홉(NNH) 수준에서 링크의 대역폭 사용률에 대한 가시성을 제공합니다. GLB는 트래픽 흐름을 재라우팅하여 DLB가 감지할 수 있는 것보다 네트워크에서 더 멀리 떨어진 트래픽 혼잡을 피할 수 있습니다.
AI-ML 데이터센터 패브릭 내에서 이러한 다양한 로드 밸런싱 기술을 병렬로 사용할 수 있습니다.
| 주제 | 사용 사례 |
|---|---|
| 동적 로드 밸런싱(DLB) 개요 |
DLB가 코끼리 흐름을 처리하는 데 특히 유용한 이유를 알아보십시오. |
| 선택적 동적 로드 밸런싱(DLB) |
선택적 DLB는 엘리펀트 플로우가 전체 데이터 플로우에 비해 너무 작은 링크를 발견할 때 유용합니다. 이 시나리오에서 선택적 DLB는 데이터센터 패브릭에서 링크의 사용 가능한 대역폭의 최적 사용을 계산할 수 있습니다. |
| DLB에 대한 송신 포트 링크 품질 메트릭 사용자 정의 |
사용자(네트워크 관리자)는 DLB가 최적의 링크를 선택하도록 DLB가 송신 포트의 품질 메트릭을 할당하는 방식을 사용자 정의할 수 있습니다. |
| DLB 플로우렛 모드에서 플로우셋 테이블 크기 구성 |
많은 수의 흐름을 처리해야 하는 AI-ML 데이터 센터와 같은 환경에서는 DLB가 더 큰 흐름 집합 테이블 크기를 사용하는 것이 특히 유용합니다. 각 ECMP 그룹이 많은 수의 흐름을 수용할 수 있는 경우 DLB는 ECMP 멤버 링크 전반에 걸쳐 더 나은 흐름 분배를 달성합니다. |
| 반응형 경로 재조정 |
반응형 경로 재조정은 플로우렛 모드가 활성화된 경우에도 사용자가 트래픽을 더 나은 품질의 링크로 이동할 수 있도록 하여 DLB의 한계를 해결합니다. |
| 주제 | 사용 사례 |
|---|---|
| 글로벌 로드 밸런싱(GLB) |
대규모 AI/ML 데이터센터 구축에서 GLB는 증가하는 디바이스와 GPU를 지원하기 위해 다단계 Clos 토폴로지에 사용됩니다. 이러한 토폴로지는 추가적인 경로 다양성을 도입하여 GLB가 여러 네트워크 계층에서 보다 효과적인 로드 밸런싱 결정을 내릴 수 있도록 합니다. |
| 멀티링크가 있는 3-CLOS IP 패브릭에서 GLB 구성 |
Clos 네트워크에서 처음 두 개의 다음 홉의 혼잡은 로컬 노드와 이전 홉 노드의 로드 밸런싱 결정에 영향을 미치고 글로벌 로드 밸런싱(GLB)을 트리거합니다. 3단계 Clos 토폴로지의 GLB는 스파인과 TOR(Top of Rack) 스위치 간의 멀티링크를 통해 혼잡을 완화합니다. |
| 주제 | 사용 사례 |
|---|---|
| RDMA 플로우에 대한 대기열 쌍 해싱 |
해시 계산에 대상 대기열 쌍을 포함하여 AI-ML 교육 네트워크의 로드 밸런싱을 향상시킬 수 있습니다. 이를 대기열 쌍 해싱이라고 합니다. |
| CLOS 네트워크의 BGP 확정적 경로 포워딩 |
BGP DPF는 최적의 링크 활용도를 보장하기 위해 지정된 논리적 패브릭을 기반으로 경로를 선택합니다. |
| 가중 패킷 스프레이 |
WPS(Weighted Packet Spray)는 구성된 링크 대역폭 값을 기반으로 여러 링크에 트래픽을 고르지 않게 분산하는 로드 밸런싱 기법입니다. |