이 페이지의 내용
구성 연습
이 섹션에서는 주니퍼 Apstra를 사용하여 새 패브릭을 배포하는 방법의 예 로 AI JVD 랩에서 AI GPU 백엔드 IP 패브릭 중 하나를 주니퍼 Apstra를 배포하는 단계를 설명합니다.
이 단계AI에서는 GPU 백엔드 IP 패브릭이 클러스터 1로, 스파인 역할의 QFX5230-64CD 스위치와 GPU 백엔드 리프 역할의 QFX5230-64CD(스트라이프 1) 및 QFX5220-32CD(스트라이프 2) 스위치와 연결된 NVIDIA GPU 서버 및 WEKA 스토리지 디바이스로 구성됩니다.
프론트엔드 및 스토리지 백엔드 패브릭과 AI GPU 백엔드 IP 패브릭을 설정하려면 유사한 단계를 따라야 합니다. 이에 대한 구성은 다음 섹션에서 설명하는 Terraform 리포지토리에 포함되어 있습니다.
그림 18과 같이 모든 패브릭에 대한 Apstra 청사진은 JVD AI 랩에서 생성되었습니다.
그림 18: Apstra의 AI 패브릭 청사진
Apstra를 사용한 설치 및 단계별 구성에 대한 자세한 내용은 주니퍼 Apstra 사용자 가이드를 참조하십시오. 이 연습의 추가 지침은 메모 형식으로 제공됩니다.
Apstra: Apstra 서버 및 Apstra ZTP 서버 구성
Apstra 서버 VM에 처음 연결할 때 구성 마법사가 시작됩니다. 이제 Apstra 서버, Apstra UI 및 네트워크 구성에 대한 비밀번호를 구성할 수 있습니다.
Apstra: Apstra에 디바이스 온보딩
관리를 위해 주니퍼 디바이스를 Apstra에 추가하는 방법에는 수동 또는 ZTP를 사용하여 대량으로 추가하는 두 가지 방법이 있습니다.
디바이스를 수동으로 추가하려면(권장):
- Apstra UI에서 Devices >> Agents >> Create Offbox Agents로 이동합니다.
- 이를 위해서는 Apstra에서 액세스하고 구성할 수 있도록 디바이스에 루트 암호, 관리 IP 및 적절한 정적 라우팅(필요한 경우)과 ssh Netconf가 사전 구성되어 있어야 합니다.
ZTP를 통해 디바이스 추가하기:
- Apstra ZTP 서버에서 주니퍼 Apstra 사용자 가이드에 설명된 ZTP 단계를 따릅니다.
Apstra에 QFX 스위치를 추가하려면 먼저 Apstra 웹 UI에 로그인하고 위와 같이 디바이스를 추가하는 수동 설정 방법을 선택한 다음 디바이스에 사전 구성된 것과 일치하는 적절한 사용자 이름과 비밀번호를 제공해야 합니다. 라우터가 적절하게 구성되었는지 확인합니다.
이 기준선 구성의 일부로 루프백, 인터페이스(관리 인터페이스 제외), routing-instances(관리 인스턴스 제외) 또는 기타 설정을 설정하지 않는 것이 가장 좋습니다.
Apstra는 디바이스가 성공적으로 확인되면 프로토콜 LLDP 및 RSTP를 설정합니다.
온보딩 디바이스
1) Apstra 웹 UI: 에이전트 프로필 생성
이 JVD의 목적을 위해 모든 디바이스에서 동일한 사용자 이름과 비밀번호가 사용됩니다. 따라서 하나의 Apstra 에이전트 프로필만 있으면 모든 디바이스를 온보딩할 수 있으므로 프로세스가 보다 효율적입니다.
에이전트 프로필을 생성하려면 Devices(디바이스) >> Agent Profiles(에이전트 프로필 )로 이동한 다음 Create Agent Profile(에이전트 프로필 생성)을 클릭합니다.
그림 19: Apstra에서 에이전트 프로필 생성
2) Apstra 웹 UI: 온보딩 디바이스를 위한 IP 주소 범위 추가
Apstra의 대량 온보드 디바이스에 IP 주소 범위를 제공할 수 있습니다. 아래 예에 표시된 범위는 데모 목적으로만 표시됩니다.
디바이스를 온보딩하려면 Devices >> Agents(에이전트 디바이스)로 이동한 다음 Create Offbox Agents(오프박스 에이전트 생성)를 클릭합니다.
그림 20: Apstra에서 IP 주소 범위 추가
3) Apstra 웹 UI: Apstra 청사진에서 사용할 매니지드 디바이스 승인
각 디바이스에 대해 오프박스 에이전트 생성이 성공적으로 실행되면, 온보딩을 완료하고 디바이스를 Apstra 청사진의 일부로 만들려면 사용자가 디바이스를 승인받아야 합니다. 이렇게 하면 디바이스 상태가 OOS-QUARANTINE에서 OOS-READY로 이동합니다.
그림 21: Apstra 청사진에서 매니지드 디바이스 승인
Apstra: 패브릭 프로비저닝
다음 단계에서는 Apstra를 사용한 GPU 백엔드 패브릭의 프로비저닝을 간략하게 설명합니다.
1) Apstra 웹 UI: 디바이스 프로필을 사용하여 논리적 디바이스 및 인터페이스 맵 생성
Apstra의 GPU 백엔드 패브릭은 리프 노드에 QFX5230-64CD(스트라이프-1) 및 QFX5220-32CD(스트라이프-2)를 조합하고 스파인에 QFX5230-64CD를 조합하여 사용합니다. 두 가지 유형의 스위치에 대해 논리적 디바이스와 인터페이스 맵을 생성해야 합니다.
QFX5230-64CD 리프 노드의 경우, 논리적 디바이스 및 인터페이스 맵이 그림 22와 23에 나와 있습니다.
그림 22: QFX5230 리프 노드를 위한 Apstra 논리적 디바이스
그림 23: QFX5230 리프 노드에 대한 Apstra 인터페이스 맵
QFX5220 리프 노드의 경우 논리적 디바이스 및 인터페이스 맵이 그림 24와 25에 나와 있습니다.
그림 24: QFX5220 리프 노드용 Apstra 논리적 디바이스
그림 25: QFX5220 리프 노드에 대한 Apstra 인터페이스 맵
QFX5230 리프 노드의 경우, 논리적 디바이스 및 인터페이스 맵이 그림 26과 27에 나와 있습니다.
그림 26: QFX5230 스파인 노드를 위한 Apstra 논리적 디바이스
그림 27: QFX5230 스파인 노드에 대한 Apstra 인터페이스 맵
QFX5240 스파인 및 리프 노드의 경우 논리적 디바이스 및 인터페이스 맵이 각각 그림 28-29 및 30-31에 나와 있습니다.
다음 표는 이전 포트 매핑과 새 포트 매핑 간의 차이점을 보여줍니다.
아래에 포함된 논리적 디바이스 및 인터페이스 맵은 새로운 포트 매핑에 따라 생성되었습니다.
그림 28: QFX5240 스파인 노드를 위한 Apstra 논리적 디바이스
그림 29: QFX5240 스파인 노드에 대한 Apstra 인터페이스 맵
그림 30: QFX5240 리프 노드에 대한 Apstra 인터페이스 맵
그림 31: QFX5240 리프 노드를 위한 Apstra 논리적 디바이스
클러스터 1에서도 테스트된 PTX10008 스파인 노드의 경우, 논리적 디바이스 및 인터페이스 맵이 그림 32-33에 나와 있습니다.
그림 32: PTX 스파인 노드에 대한 Apstra 인터페이스 맵
그림 33: PTX 스파인 노드를 위한 Apstra 논리적 디바이스
2) Apstra 웹 UI: Apstra에서 GPU 백엔드 패브릭을 위한 랙 유형 및 템플릿 생성
논리적 디바이스 및 인터페이스 맵이 생성되면 GPU 백엔드 패브릭에 필요한 랙 유형을 생성합니다.
설계에는 QFX5230 리프 노드(스트라이프 1)와 QFX5220 리프 노드(스트라이프 2)의 두 가지 랙 유형이 필요합니다.
간결성을 위해 그림 34에는 QFX5230 랙 유형의 스니펫만 나와 있습니다.
그림 34: Apstra에서 랙 생성
두 랙이 모두 준비되면 Apstra에서 Design -> Templates -> Create Template으로 이동하여 템플릿을 생성합니다.
새 템플릿은 이전 단계에서 만든 QFX5230 및 QFX5220 랙 유형을 참조하며, 그림 35와 같이 순수 IP 패브릭으로 배포됩니다.
그림 35: Apstra에서 템플릿 생성
3) Apstra 웹 UI: GPU 백엔드 패브릭을 위한 청사진 생성
Apstra 템플릿이 준비되면 그림 36과 같이 청사진으로 이동하고 청사진 생성(Create Blueprint)을 클릭하여 GPU 백엔드 패브릭용 청사진을 생성합니다.
그림 36: Apstra에서 청사진 생성
새 청사진의 이름을 지정하고 레퍼런스 설계로 데이터센터를 선택한 다음 랙 기반을 선택합니다. 그런 다음 QFX5230 리프 노드와 QFX5220 리프 노드에 대해 생성된 두 가지 랙 유형을 포함하는 이전 단계에서 만든 템플릿을 선택합니다.
그림 37: Apstra
의 새로운 청사진 속성
Apstra가 청사진을 성공적으로 시작하면 아래와 같이 청사진 대시보드에 포함됩니다.
그림 38: 청사진 대시보드
에 추가된 새로운 청사진
구축 상태, 서비스 이상, 프로브 이상 및 근본 원인이 모두 해당 없음으로 표시됩니다. 청사진의 다양한 역할을 물리적 디바이스에 매핑하고 사용할 인터페이스를 정의하는 등의 추가 단계를 완료해야 하기 때문입니다.
청사진 이름을 클릭하고 청사진 대시보드에 들어가면 청사진이 아직 배포되지 않았음을 알 수 있습니다.
그림 39: 새로운 청사진의 대시보드
그림 40에 표시된 스테이징된 뷰는 토폴로지가 정확하지만 스파인과 리프 노드에 대한 필수 ASN 및 루프백 주소 지정, 리프 링크 주소 지정에 대한 스파인와 같은 속성을 사용자가 제공해야 함을 보여줍니다.
그림 40: 배포되지 않은 Blueprint 대시보드
이 문제를 해결하려면 그림 41의 예와 같이 이러한 각 속성을 편집하고 사전 정의된 주소 및 ASN 풀에서 선택해야 합니다.
그림 41: 스파인 노드
에 대한 ASN 풀 선택
또한 그림 42-43과 같이 각 디바이스의 역할과 시스템 ID 할당에 대한 인터페이스 맵을 선택해야 합니다.
그림 42: 스파인 노드
에 인터페이스 맵 매핑
그림 43: 스파인 노드를 물리적 디바이스(시스템 ID)
에 매핑
이 모든 단계가 완료되면 모든 변경 사항을 커밋할 수 있으며, Apstra가 필요한 모든 벤더별 구성을 생성하여 노드에 푸시합니다. 이 작업이 완료되면 그림 44와 같이 성공적으로 구축된 패브릭을 나타내는 활성 청사진을 볼 수 있습니다.
그림 44: 스파인 노드를 물리적 디바이스에 매핑 2(시스템 ID)
Apstra 웹 UI: Apstra에서 DCQCN 및 DLB용 컨피글렛 생성
Apstra 4.2.1부터는 ECN 및 PFC(DCQCN), DLB와 같은 기능을 기본적으로 사용할 수 없습니다. 따라서 패브릭 디바이스에서 이러한 기능을 활성화하는 데 필요한 구성을 구축하기 위해 Apstra 구성(Configlet)이 사용됩니다.
QFX 리프 노드의 DCQCN 및 DLB 기능에 사용되는 구성 요소는 다음과 같습니다.
-
/* DLB configuration */ hash-key { family inet { layer-3; layer-4; } } enhanced-hash-key { ecmp-dlb { flowlet { inactivity-interval 128; flowset-table-size 2048; } ether-type { ipv4; ipv6; } sampling-rate 1000000; } } protocols { bgp { global-load-balancing { load-balancer-only; } } } /* DCQCN configuration */ class-of-service { classifiers { dscp mydscp { forwarding-class CNP { loss-priority low code-points 110000; } forwarding-class NO-LOSS { loss-priority low code-points 011010; } } } drop-profiles { dp1 { interpolate { fill-level [ 55 90 ]; drop-probability [ 0 100 ]; } } } shared-buffer { ingress { buffer-partition lossless { percent 66; dynamic-threshold 10; } buffer-partition lossless-headroom { percent 24; } buffer-partition lossy { percent 10; } } egress { buffer-partition lossless { percent 66; } buffer-partition lossy { percent 10; } } } forwarding-classes { class CNP queue-num 3; class NO-LOSS queue-num 4 no-loss pfc-priority 3; } congestion-notification-profile { cnp { input { dscp { code-point 011010 { pfc; } } } output { ieee-802.1 { code-point 011 { flow-control-queue 4; } } } } } interfaces { et-* { congestion-notification-profile cnp; scheduler-map sm1; unit * { classifiers { dscp mydscp; } } } } scheduler-maps { sm1 { forwarding-class CNP scheduler s2-cnp; forwarding-class NO-LOSS scheduler s1; } } schedulers { s1 { drop-profile-map loss-priority any protocol any drop-profile dp1; explicit-congestion-notification; } s2-cnp { transmit-rate percent 5; priority strict-high; } } }
QFX 스파인 노드의 DCQCN 및 DLB 기능에 사용되는 구성 요소는 다음과 같습니다.
-
/* DLB configuration */ hash-key { family inet { layer-3; layer-4; } } enhanced-hash-key { ecmp-dlb { flowlet { inactivity-interval 128; flowset-table-size 2048; } ether-type { ipv4; ipv6; } sampling-rate 1000000; } } protocols { bgp { global-load-balancing { helper-only; } } } /* DCQCN configuration */ class-of-service { classifiers { dscp mydscp { forwarding-class CNP { loss-priority low code-points 110000; } forwarding-class NO-LOSS { loss-priority low code-points 011010; } } } drop-profiles { dp1 { interpolate { fill-level [ 55 90 ]; drop-probability [ 0 100 ]; } } } shared-buffer { ingress { buffer-partition lossless { percent 66; dynamic-threshold 10; } buffer-partition lossless-headroom { percent 24; } buffer-partition lossy { percent 10; } } egress { buffer-partition lossless { percent 66; } buffer-partition lossy { percent 10; } } } forwarding-classes { class CNP queue-num 3; class NO-LOSS queue-num 4 no-loss pfc-priority 3; } congestion-notification-profile { cnp { input { dscp { code-point 011010 { pfc; } } } output { ieee-802.1 { code-point 011 { flow-control-queue 4; } } } } } interfaces { et-* { congestion-notification-profile cnp; scheduler-map sm1; unit * { classifiers { dscp mydscp; } } } } scheduler-maps { sm1 { forwarding-class CNP scheduler s2-cnp; forwarding-class NO-LOSS scheduler s1; } } schedulers { s1 { drop-profile-map loss-priority any protocol any drop-profile dp1; explicit-congestion-notification; } s2-cnp { transmit-rate percent 5; priority strict-high; } } }
PTX10008에서 스파인 디바이스로 DCQCN 기능에 사용되는 구성은 다음과 같습니다.
참고: PTX10008을 스파인 노드로 사용할 때 GLB는 옵션이 아닙니다.
-
/* DCQCN configuration */ class-of-service { classifiers { dscp mydscp { forwarding-class rdma-cnp { loss-priority low code-points 110000; } forwarding-class rdma-ecn { loss-priority low code-points 011010; } } } drop-profiles { dp-ecn { fill-level 1 drop-probability 0; fill-level 3 drop-probability 100; } } forwarding-classes { class network-control queue-num 3; class other queue-num 2; class rdma-cnp queue-num 0; class rdma-ecn queue-num 1 no-loss; } monitoring-profile { mp1 { export-filters filt1 { peak-queue-length { percent 0; } queue [ 0 1 ]; } } } interfaces { et-* { scheduler-map sched-map-aiml; monitoring-profile mp1; unit * { classifiers { dscp mydscp; } } } } scheduler-maps { sched-map-aiml { forwarding-class network-control scheduler sched-nc; forwarding-class other scheduler sched-other; forwarding-class rdma-cnp scheduler sched-cnp; forwarding-class rdma-ecn scheduler sched-ecn; } } schedulers { sched-cnp { transmit-rate percent 1; priority high; } sched-ecn { transmit-rate percent 97; buffer-size temporal 4063; priority medium-high; drop-profile-map loss-priority any protocol any drop-profile dp-ecn; explicit-congestion-notification; } sched-nc { transmit-rate percent 1; priority medium-high; } sched-other { priority low; } }
DCQCN 구성(Configlet)을 생성하려면 설계(Design ) -> 구성(Configlet ) > 구성(Configlet) 생성(Create Configlet))으로 이동하고 구성요소 생성(Create configlet)을 클릭합니다.
구성 이름을 입력하고 운영 체제, 공급업체 및 구성 모드를 선택한 다음 아래와 같이 위의 구성 코드 조각을 템플릿 텍스트 상자에 붙여넣습니다.
그림 45: Apstra에서 DCQCN 구성(Configlet) 생성
구성 요소는 청사진 내의 리프 및 스파인 역할 모두의 디바이스에 적용되어야 합니다. 블루프린트 대시보드로 돌아가서 Staged -> Catalog -> Import로 이동합니다 . 적용할 구성 요소와 이를 적용할 디바이스 역할을 선택합니다.
그림 46: Apstra의 디바이스에 DCQCN 구성 요소 적용
구성물을 블루프린트로 성공적으로 가져오면 카탈로그에 나열되어야 합니다. 디바이스에 배포할 구성을 위해 변경 사항을 커밋해야 합니다.
그림 47: Apstra
의 디바이스에 DCQCN 구성 요소 적용