구성 연습

사전 요구 사항

각 데이터센터 설계 JVD에서 논의한 대로 3단계 데이터센터, 축소 패브릭 데이터센터 및 5단계 EVPN VXLAN 데이터센터를 프로비저닝합니다.

Over-the-Top 설계(MACSEC 사용)

DCI OTT 설계의 경우, 아래 다이어그램과 같이 레이어 2 스위치(QFX10002-36Q) 또는 레이어 2 스위칭 교차 연결 구성을 지원하는 임의의 ISP 스위치를 사용하여 레이어 2 스위칭 커넥트 구성을 사용하여 2개의 3단계 데이터센터가 상호 연결됩니다. QFX10002-36Q 스위치의 경우 MPLS 및 L2 서킷에 대한 라이선스가 필요합니다. 레이어 2 스위칭 교차 연결에 대한 자세한 내용은 레이어 2 CCC(Circuit Cross-Connect) 구성에 대한 주니퍼 가이드를 참조하십시오. 이 JVD에서는 DCI 구현에 따라 다를 수 있으므로 이 두 스위치의 구성에 대해 간략하게 설명하므로 이 JVD의 범위를 벗어납니다.

명확성을 위해 아래 그림 1과 같이 두 데이터센터를 DC1과 DC2라고 합니다.

그림 1: 두 개의 DC를 연결하는 OTT 설계

Apstra에서 DCI 구성을 진행하기 전에 그림 1 과 같이 두 데이터센터의 경계 리프 스위치를 인터커넥트(ISP) 스위치에 물리적으로 케이블로 연결했는지 확인합니다. Apstra를 사용하여 데이터센터 상호 연결성을 프로비저닝하려면 다음 단계를 따르십시오.

1. Apstra UI에 접속하고 첫 번째 3단계 데이터센터(이하 DC1)의 청사진으로 이동합니다. 두 경계 리프에 대해 아래와 같이 Interconnect ISP 스위치에 대한 링크를 구성합니다. 각 경계 리프에서 ISP 스위치를 연결하는 인터페이스를 반영하여 케이블 연결도 업데이트되었는지 확인합니다. 외부 일반 서버 생성에 대한 자세한 내용은 기존 Blueprint에 대한 링크 추가에 대한 Apstra 가이드 를 참조하십시오.
   그림 2: 경계 리프에서 ISP 스위치 1 로의 링크
   그림 3: ISP 스위치 2 와 경계 리프 2 연결
2. 원격 데이터센터의 경계 리프 스위치(이 경우 DC2)의 루프백 IP를 허용하는 라우팅 정책을 만듭니다. 청사진 > Staged > Policies(준비된 정책) > 라우팅 정책 으로 이동하여 관련 정책을 생성하거나 수정하여 데이터센터(DC2) 경계 리프 스위치의 루프백 IPs 가져오기 경로를 허용합니다.
   그림 4: DC2 경계 리프 스위치 에 대한 가져오기 경로 추가
3. 그런 다음 연결 템플릿을 생성하여 현재 청사진(DC1)의 경계 리프 스위치를 원격 데이터 센터 청사진(DC2)에 연결합니다. 이 단계에서는 VLAN 태그가 지정된 두 데이터센터 간에 언더레이 연결을 생성합니다. 이전 단계에서 정의된 라우팅 정책이 경로 가져오기에 할당됩니다. 또한 두 데이터센터의 경계 리프 스위치1 간에도 언더레이 eBGP가 생성됩니다. 마찬가지로 두 데이터센터의 경계 리프 스위치2 간에 언더레이 연결인 eBGP를 구성합니다. 각 경계 리프 연결에 대해 두 개의 연결 템플릿이 생성되어야 합니다. 연결을 검토하려면 그림 1 을 참조하십시오.
   그림 5: 경계 리프 스위치1 연결 템플릿
   그림 6: 경계 리프 스위치2 연결 템플릿

   연결 템플릿이 생성되면 아래와 같이 경계 리프 스위치에 할당합니다. Apstra 연결 템플릿에 대한 자세한 내용은 주니퍼 Apstra 가이드를 참조하십시오.

   그림 7: 경계 리프 스위치1 에 연결 템플릿 할당
   그림 8: 경계 리프 스위치 2 에 연결 템플릿 할당
4. 연결 템플릿을 할당한 후 가상 > 라우팅 영역> 준비된 청사진 > 이동하고 기본 라우팅 영역을 클릭하여 IPV4 및 IPV6 IP 주소를 할당하여 두 데이터센터 간의 경계 리프 연결을 생성합니다.
   그림 9: IP 주소를 할당하여 두 데이터센터의 경계 리프 스위치 사이에 IP 링크 생성

   오버레이 연결을 생성하려면 Blueprint > Staged > DCI 로 이동하여 Over the Top 또는 External Gateway 를 선택하고 원격 데이터센터의 원격 경계 리프 스위치에 대한 세부 정보를 입력합니다. 이 단계는 두 경계 리프 스위치 모두 서로 다른 인터커넥트 스위치를 사용하여 원격 데이터센터 경계 리프에 연결하므로 두 경계 리프 스위치에 대해 수행해야 합니다.

   그림 10: DC1 경계 리프1과 DC2 경계 리프1 간의 상단 또는 외부 게이트웨이 생성
   그림 11: DC1 경계 리프2와 DC2 경계 리프2 간의 상단 또는 외부 게이트웨이 생성
5. 그런 다음 아래와 같이 ISP 스위치의 ASN, 루프백 IP가 원격 데이터센터의 경계 리프 스위치, 즉 DC2의 경계 리프 스위치 ASN 및 루프백 IP의 ASN을 반영하는지 확인합니다. Staged > Physical > Topology> Blueprint 로 이동한 다음 ISP 스위치의 일반 서버 표현을 클릭한 다음 다음 화면의 오른쪽에서 아래와 같이 속성으로 이동하여 ASN 및 루프백 IP를 업데이트합니다. 일반 서버 ISP 스위치 2에 대해서도 동일한 단계를 반복합니다.
   그림 12: eBGP에 대한 원격 데이터센터의 ASN 및 루프백 업데이트
6. DC1의 청사진 > Uncommitted 로 이동하여 모든 변경 사항을 커밋합니다. ISP 스위치 및 원격 데이터 센터(이 경우 DC2) 청사진이 DCI 연결로 설정되지 않았으므로 이 시점에서 연결이 연결되지 않습니다. 이에 대해서는 다음 단계에서 논의할 것입니다.
7. 원격 데이터 센터(예: DC2)에 대해 위의 모든 단계를 반복합니다. 그런 다음 ISP 스위치에서 구성을 생성합니다( Interconnect ISP 스위치 구성을 참조하십시오).
   참고: 이 실습에서는 ISP 스위치의 구성을 수동으로 적용했습니다.
8. MACSEC 구성은 DC1과 DC2 데이터센터 간의 트래픽을 암호화하기 위해 경계 리프 스위치에도 적용되었습니다. Apstra는 MACSEC을 지원하지 않으므로 configlet을 사용하여 적용되었습니다. 자세한 내용은 섹션 1 을 참조하십시오.
9. ISP 스위치와 원격 데이터센터(DC2)의 구성이 커밋되면 연결이 작동되고 Apstra에 DCI 연결과 관련된 이상 항목이 표시되지 않아야 합니다. Apstra에서 BGP, 인터페이스 등에 대한 이상 징후가 표시되면 이를 분석하고 문제를 해결합니다.

그림 13: DC1 경계 리프 스위치1 DC2 경계 리프 스위치1 로 설정된 BGP

그림 14: DC2 경계 리프 스위치2로 설정된 DC1 경계 리프 스위치2 BGP

그림 15: DC2 경계 리프 스위치1 DC1 경계 리프 스위치1 로 설정된 BGP

그림 16: DC1 경계 리프 스위치2로 설정된 DC2 경계 리프 스위치2 BGP

상호 연결 ISP 스위치 구성

DCI 연결의 경우, 데이터센터 간 연결의 선택은 지연 시간, 링크 또는 노드 장애 시 컨버전스 시간, 전송 유형(레이어 2/레이어 3) 및 상호 연결을 제공하는 데 사용되는 하드웨어와 같은 요인에 따라 달라집니다.

이 랩에서는 2개의 QFX10002-36Q를 사용하고, 경계 리프는 10G 링크를 사용하여 연결합니다. MPLS 및 L2 서킷은 레이어 2 교차 연결을 구성하는 데 사용됩니다. 구성 스니펫은 연결을 제공하기 위해 ISP 스위치 중 하나에 적용된 필수 구성을 보여줍니다. MPLS 및 L2 서킷에 대한 라이선스도 적용되었습니다. 인터페이스-스위치 교차 연결에 대한 자세한 내용은 레이어 2 교차 연결 가이드를 참조하십시오.

1. 인터페이스는 ethernet-ccc로 CCC(Circuit Cross Connect) 캡슐화를 사용하여 생성됩니다(전체 물리적 인터페이스, [set interfaces <interface_name> encapsulation ethernet-ccc]. 서킷이 작동하려면 논리적 인터페이스(유닛 0)도 두 데이터센터의 경계 리프에 연결된 인터페이스에 대한 패밀리 ccc [edit interfaces <interface_name> unit 0 family ccc] 와 함께 구성되어야 합니다.
2. 또한 서킷 크로스 커넥트 스위치 [edit protocols connections] 는 1단계에서 CCC로 설정된 인터페이스를 사용하여 구성됩니다.
3. 마지막으로 레이어 2 스위칭 교차 연결이 작동하려면 MPLS 프로토콜을 활성화해야 합니다.

EVPN-VXLAN Type 2 원활한 연결(MACSEC의 경우 레이어 2만 해당) 설계

Type 2 심리스 스티칭 DCI 설계의 경우, 사이트 간 VLAN/VNI 스트레칭의 하위 집합만 구성됩니다. 이 설계에서 MACSEC은 두 데이터센터 간의 트래픽을 암호화하는 데에도 사용됩니다. 이 설계에서는 OTT(Over-the-Top)(MACSEC 포함)에 설명된 대로 레이어 2 스위치(QFX10002-36Q)를 사용하여 3단계 데이터센터와 축소된 패브릭 데이터센터가 상호 연결됩니다.

그림 17: Type 2 원활한 연결 데이터센터 간 연결

명확성을 위해 그림 17과 같이 두 데이터센터를 DC1과 DC3이라고 합니다. 두 데이터센터가 모두 인터커넥트 ISP 스위치에 물리적으로 케이블로 연결되어 있는지 확인합니다.

이 경우의 구성 단계는 OTT 설계와 유사합니다. 이를 위해서는 계속하기 전에 3단계(DC1) 및 DC3(Collapsed 패브릭) 청사진을 모두 가동하고 실행해야 합니다. 유형 2 DCI 및 MACSEC 설정 단계는 다음과 같습니다.

1. 첫 번째 3단계 데이터센터(이하 DC1)의 청사진으로 이동합니다. 두 경계 리프에 대해 아래와 같이 Interconnect ISP 스위치에 대한 링크를 구성합니다. 링크도 업데이트되었는지 확인합니다. 외부 일반 서버 생성에 대한 자세한 내용은 기존 Blueprint에 대한 링크 추가에 대한 Apstra 가이드 를 참조하십시오. 다음은 연결을 보여주는 경계 리프 스위치 1의 예입니다. Border Leaf switch2에 대해서도 동일한 단계를 반복합니다.
   그림 18: 경계 리프 스위치 1 연결
2. 라우팅 정책을 만들고 원격 데이터 센터의 경계 리프 스위치(이 경우 DC3)의 루프백 IP를 허용합니다. 라우팅 정책> Staged > Policies> Blueprint 로 이동하여 관련 정책을 생성 또는 수정하고 원격 데이터센터(DC3) 경계 리프 스위치의 루프백 IP 가져오기 경로를 허용합니다.
   그림 19: DC3 에서 경로 가져오기를 허용하는 라우팅 정책
3. 연결 템플릿을 생성하여 현재 청사진(DC1)의 경계 리프 스위치를 원격 데이터 센터 청사진(DC3)에 연결합니다. 이 단계에서는 VLAN 태그가 지정된 두 데이터센터 간에 언더레이 연결을 생성합니다. 이전 단계에서 정의된 라우팅 정책이 경로 가져오기에 할당됩니다. 언더레이 eBGP는 두 데이터센터의 경계 리프 스위치1 간에도 생성됩니다. 마찬가지로, 두 데이터센터의 경계 리프 스위치2 간에 언더레이 연결인 eBGP를 구성합니다. 각 경계 리프 스위치에 대해 두 개의 연결 템플릿이 생성되어야 합니다.
   그림 20: 경계 리프1 에 대해 생성된 연결 템플릿
   그림 21: 경계 리프 스위치2 에 대해 생성된 연결 템플릿
4. 연결 템플릿이 생성되면 아래와 같이 경계 리프 스위치에 할당합니다. Apstra 연결 템플릿에 대한 자세한 내용은 주니퍼 Apstra 가이드를 참조하십시오.
   그림 22: 연결 템플릿에 할당된 경계 리프 스위치1
   그림 23: 연결 템플릿에 할당된 경계 리프 스위치2
5. 오버레이 연결을 생성하려면 블루프린트 > 스테이징 > DCI 로 이동하고 통합 인터커넥트(Integrated Interconnect )를 선택하여 인터커넥트 도메인을 생성합니다. 이를 통해 상호 연결 ESI가 데이터센터(DC1 및 DC3) 모두에서 달라집니다.
   중요 사항: 원활한 스티칭을 위해서는 논리적 풀 메시 오버레이 연결을 생성하기 위해 두 원격 테두리 리프를 모두 선택해야 합니다( 그림 26 참조). 기본 경계 리프 스위치의 링크 또는 노드에 장애가 발생한 경우(예: DC1), 지정 전달자 역할은 보조 경계 리프 스위치로 이동합니다. DC1 보조 경계 리프 스위치가 지정 전달자가 아닌 원격 경계 리프 스위치로 트래픽을 보내는 경우 경로는 원격 DC의 기본 경계 리프 스위치와 공유되지 않습니다. 따라서 논리적 풀 메시 구현이 권장되고 필수입니다.
   그림 24: 상호 연결 도메인 만들기

   그런 다음 "로컬 및 원격 게이트웨이"를 클릭하여 원격 게이트웨이, 즉 그림 25 및 그림 26과 같이 ASN, 루프백 등과 같은 DC3 경계 리프 스위치 정보를 입력합니다.

   그림 25: 로컬 및 원격 게이트웨이
   그림 26: 두 경계 리프 스위치 에 대한 원격 및 로컬 게이트웨이 생성

6. DCI로 확장되도록 VXLAN/VNI 연결을 진행하기 전에 Blueprint > Staged > Virtual Network 로 이동하여 가상 네트워크를 생성합니다. 가상 네트워크 생성을 위한 Apstra 가이드 를 참조하세요. 원활한 스트레칭이 작동하려면 원격 데이터센터 청사진에도 동일한 가상 네트워크를 생성해야 합니다.

   그런 다음 Blueprint > Staged > DCI > Integrated Interconnect )으로 돌아가서 연결 유형을 선택하고 나열된 가상 네트워크를 선택하고 레이어 2(EVPN 유형 2)를 활성화합니다. 필요한 경우 변환 VNI도 구성할 수 있습니다. 변환 VNI가 구성된 경우 스위치는 데이터센터 전체에 구성된 공통 VNI로 트래픽을 전달하는 동안 VNI를 변환합니다. 경계 리프 스위치는 변환된 VNI가 상호 연결된 VNI 목록에 포함된 경우에만 VNI를 변환하며, Apstra [edit routing-instance evpn-1 protocols evpn interconnect interconnected-vni-list] 는 아래 경계 리프 스위치1의 렌더링된 구성에 나와 있습니다.

   그림 27: 경계 리af1 스위치 Apstra 렌더링된 구성 코드 조각

   그림 28: 변환 VNI를 확장하고 적용할 가상 네트워크 선택

7. 이제 데이터센터 상호 연결 구성이 준비되어야 합니다. 그리고 커밋되면 두 데이터센터 간의 연결이 설정되어야 하며 데이터센터 간의 트래픽은 암호화되지 않습니다. 이 JVD 설계의 경우, Apstra는 기본적으로 MACSEC을 지원하지 않으므로 configlet을 사용하여 구성된 두 DC 사이에 MACSEC이 설정됩니다. configlet을 사용하여 MACSEC을 적용하는 방법은 섹션 1 을 참조하십시오.

8. 그런 다음 아래와 같이 ISP 스위치의 ASN, 루프백 IP가 원격 데이터센터의 경계 리프 스위치, 즉 DC3의 경계 리프 스위치 ASN 및 루프백 IP의 ASN을 반영하는지 확인합니다. Physical > Topology> Staged> Blueprint 로 이동한 다음 border leaf switch1을 클릭하고 다음 화면의 오른쪽에 표시된 대로 클릭합니다. 아래와 같이 속성으로 이동하여 ASN 및 루프백 IP를 업데이트합니다. 일반 서버 ISP 스위치 2에 대해서도 동일한 단계를 반복합니다.
   그림 29: ASN 구성, 원격 데이터 센터 경계 리프 스위치 의 루프백
9. DC1의 Blueprint > Uncommitted(커밋되지 않음)로 이동하여 모든 변경 사항을 커밋합니다. 이 시점에서 ISP 스위치 및 원격 데이터 센터(이 경우는 DC3) 청사진이 DCI 연결로 설정되지 않았으므로 연결이 연결되지 않습니다. 이것은 다음 단계에서 논의될 것입니다.
10. 원격 데이터 센터(예: DC3)에 대해 위의 모든 단계를 반복합니다. 그런 다음 상호 연결 ISP 스위치 구성 섹션에서 설명된 대로 ISP 스위치에서 구성을 생성합니다.
11. ISP 스위치 및 원격 데이터센터(DC3)의 구성이 커밋되면 연결이 작동되고 Apstra가 DCI 연결과 관련된 이상 징후를 표시하지 않아야 합니다. Apstra에서 BGP, 케이블 연결, 인터페이스 등에 이상이 표시되면 이러한 문제를 분석하고 해결하십시오.

그림 30: DC1 경계 리프 스위치 1에 대해 BGP 및 인터페이스가 모두 녹색으로 표시되는 Apstra

그림 31: DC1 경계 리프 스위치 2에 대해 BGP 및 인터페이스가 모두 녹색으로 표시되는 Apstra

그림 32: DC3 리프 스위치에서 BGP 및 인터페이스가 모두 녹색으로 표시됨

VXLAN Type 2 연결을 검증하는 동안 Apstra가 축소된 리프 스위치 간의 오버레이 경로 보급을 중지하기 위해 축소된 패브릭 리프 스위치에 DCI 오버레이 EVPN BGP 정책 구성을 적용하지 않은 것이 발견되었습니다. 그러나 3단계 패브릭 스파인 스위치에도 동일한 조치가 적용되어 오버레이 경로 보급을 중지했습니다. 아래 구성은 기존 EVPN eBGP 구성의 축소된 패브릭 리프 스위치에서 구성물을 사용하여 적용되었습니다.

EVPN-VXLAN Type 2 및 Type 5 원활한 스티칭 설계

이 설계 및 구성은 유형 2 및 유형 5 연결 설계를 포함한다는 점을 제외하고는 EVPN-VXLAN 유형 2 원활한 연결(MACSEC의 경우 레이어 2만 해당) 설계와 유사합니다. 그러나 스트레칭을 위한 가상 네트워크를 선택하는 동안 유형 2(레이어 2) 및 유형 5(레이어 3)가 모두 활성화됩니다. 가상 네트워크에 대한 레이어 3이 데이터센터 전반에 걸쳐 확장되도록 설정할 때, Apstra의 레이어 3 정책 탭에 있는 VRF도 활성화해야 하며 라우팅 정책을 VRF와 연결해야 합니다. 자세한 내용은 Apstra 가이드 를 참조하십시오.

그림 33: 유형 2 및 유형 5 를 확장할 가상 네트워크 선택

그림 34: VRF 에 대한 레이어 3 정책 구성

VRF에 대해 유형 5 경로를 활성화함으로써 Apstra는 아래 구성을 적용하여 데이터센터 간의 EVPN 경로를 연결합니다. 원활한 연결이 작동하려면 동일한 상호 연결 경로 대상을 원격 데이터센터에 적용해야 합니다.

적용된 추가 구성

1. MACsec

   이 JVD 설계의 경우 Apstra는 기본적으로 MACSEC을 지원하지 않으므로 configlet을 사용하여 구성된 두 DC 사이에 MACSEC이 설정됩니다. MACSEC 설정에 대한 자세한 내용은 Day One 가이드를 참조하십시오.

   참고: QFX5700와 같은 일부 플랫폼의 경우, 논리적 인터페이스(IFL) 수준의 MACSEC이 지원되지 않습니다. 따라서 QFX5700(경계 게이트웨이)는 IFD(Physical Interface)로 구성됩니다.

   OTT 및 Type2에 대한 프로퍼티 세트 심리스 스티칭은 블루프린트 > 카탈로그 > 프로퍼티 set를 사용하여 블루프린트로 임포트됩니다.

   그림 35: MACSEC 구성 요소 에 대한 속성 세트

   MACSEC에 대한 구성 요소는 그림 35 에 표시된 대로 속성 세트를 사용합니다. OTT와 Type2 심리스 스티칭 모두에 동일한 컨피글릿이 사용됩니다.

   그림 36: Apstra 의 MACSEC 구성 요소

   다음은 두 데이터센터의 경계 리프 스위치1 및 경계 리프 스위치2 모두에 적용된 렌더링된 구성입니다.

2. EVPN 유형 5 경로는 특정 경로를 호스팅합니다

   Apstra 패브릭 설정의 호스트별 경로의 경우 아래와 같이 EVPN 유형 5 경로를 활성화합니다. 이렇게 하면 패브릭의 호스트 수에 따라 경로가 증가합니다. EVPN 유형 5 경로에 대한 기본 설정은 비활성화됩니다. DCI Type 2 및 Type 5 심리스 스티칭의 경우, 블루프린트 > 스테이징(Staged > 패브릭 세팅( Settings) 으로 이동합니다. 이 설정을 사용하지 않도록 설정하면 공유되는 경로는 가상 네트워크 IP 서브넷에 구성된 서브넷 접두사가 됩니다.

   그림 37: 호스트별 IP 경로를 활성화하기 위한 패브릭 설정
3. 노드 장애 시 더 나은 컨버전스 시간을 위한 BFD

링크 및 노드 장애 중 컨버전스 시간을 개선하기 위해 BFD가 DCI 오버레이 BGP 세션에 적용되었습니다. Apstra는 DCI 오버레이 BGP 세션에 BFD를 적용하지 않습니다. 따라서 구성 요소는 DCI 오버레이 BGP 세션에 대한 BFD를 설정하는 데 사용되었습니다. BFD 오버레이 세션의 경우, 연결 템플릿을 사용하여 BFD를 적용했습니다.