データセンターの相互接続(DCI)/リモートEVPNゲートウェイ
DCI/EVPNゲートウェイオーバービュー
これまで企業は、ビジネス継続性、災害復旧(DR)、または運用継続性(COOP)のための構成要素として、データセンターの相互接続(DCI)テクノロジーを活用してきました。これらのサービス可用性のユースケースは、主に、アプリケーションの可用性とパフォーマンスのために、地理的に離れたデータセンターをレイヤー2接続で接続する必要性に依存していました。
高度に仮想化されたSDDC(Software-Definedデータセンター)、クラウドコンピューティング、さらに最近ではエッジコンピューティングの台頭に伴い、新たなユースケースが生まれています。
- コロケーションの拡張:コンピューティングとストレージのリソースをコロケーションデータセンターファシリティと共有します。
- リソースプーリング:データセンター間でアプリケーションを共有および移行して、効率を向上させ、エンドユーザーエクスペリエンスを向上させます。
- 迅速な拡張性:リソースが限られたロケーションから他のファシリティまたはデータセンターにキャパシティを拡張します。
- レガシーの移行:アプリケーションやデータを、古くて非効率的な機器やアーキテクチャから、より効率的で高パフォーマンス、コスト効率の高いアーキテクチャに移行します。
Apstraソフトウェアを使用すると、シンプルで柔軟かつインテントベースのベンダーを包括的にカバーするDCIソリューションを導入および管理できます。Apstraは、ネットワーク業界でソフトウェアとハードウェアの幅広い導入を実現しているスタンダードベースのMP-BGP EVPN with VXLANを利用しています。従来のベンダーからホワイトボックスODMまで、費用対効果の高いコモディティハードウェアの幅広い選択肢と、従来のベンダー統合ネットワークオペレーティングシステム(NOS)から細分化されたオープンソースオプションまで、幅広いソフトウェアオプションから選択できます。
EVPN VXLANは、最新のデータセンターを構築するためのスタンダードベース(RFC-7432)アプローチです。VXLAN(データプレーンカプセル化)とルーティングコントロールプレーン(MP-BGP EVPNアドレスファミリー)の両方が組み込まれており、ホスト間のレイヤー2ブロードキャストドメインだけでなく、スパインリーフネットワークのレイヤー3ルーティングドメインも拡張できます。EVPN は、VTEP(VXLAN トンネル エンドポイント)間の VXLAN トンネリング トラフィックのルーティングに純粋なレイヤー 3 アンダーレイに依存し、MP-BGP プロトコル ファミリーに新しいアドレス ファミリーを導入し、VTEP 間の MAC/IP アドレスの交換をサポートします。エンドポイントのMACとIPのアドバタイズ、および「ARP/ND抑制」により、ブロードキャスト/不明/マルチキャスト(BUM)トラフィックの大部分が不要になり、送信元VTEPから宛先VTEPへのVXLANのECMPユニキャストルーティングに依存します。これにより、オーバーレイネットワークトラフィックの転送パスの最適なルート選択と効率的な負荷分散が可能になります。
EVPN VXLANが単一サイト内でホスト間のレイヤー2を拡張するのと同様に、DCI機能を使用することでサイト間のレイヤー2接続が可能になります。ApstraのDCI機能により、データセンター間でレイヤー2またはレイヤー3サービスを拡張して、災害復旧、アクティブ/アクティブサイトのロードバランシング、またはデータセンター間でのサービス移行を容易に実現できます。
制限事項:
-
異なるベンダーのEVPNファブリック間のEVPN-GW(DCI)はサポートされていません。
-
Apstraは、DCI上のリモートゲートウェイへのIPv4アドレスのみをサポートしています。EVPN ゲートウェイ アドレスでは IPv4 のみがサポートされています。ただし、リモート ゲートウェイ間で交換される実際の EVPN ルート(タイプ 2 およびタイプ 5)には、IPv6 の到達可能性に関する情報が含まれている場合があります。
DCI 導入オプション
次の特性は、すべての展開オプションに適用されます。
- Apstra DCIは、Apstraが管理する他のデータセンター、Apstraが管理していないデータセンター、さらには従来の非スパインリーフデバイスにまで拡張できます。
- Apstraの実装と動作は、3つのケースすべてで同じです。
- リモートエンドが別のDCI GWでもASBRでも、Apstraに対しては透過的です。
- Apstraは、GWもASBRも管理しません。
データセンターの相互接続は、以下の方法で実装できます。企業に最適なオプションの選択については、Apstraソリューションアーキテクト(SA)またはシステムエンジニア(SE)にご相談ください。
度を超えた
DCI「オーバーザトップ」は透過的なソリューションです。つまり、EVPNルートは標準IPにカプセル化され、基盤となるトランスポートから隠されます。これにより、サービスの拡張がシンプルかつ柔軟になり、多くの場合、データセンターチームがWANやサービスプロバイダグループとほとんどまたはまったく連携せずに実装できるため、サービスの拡張が選択されます。これにより、導入にかかる時間と社内の摩擦が減少します。ただし、その代償として、拡張性と耐障害性が損なわれます。 
ゲートウェイ(GW)
Apstraの リモートEVPNゲートウェイ 機能を基盤に、オプションで、 リモートEVPNゲートウェイ を同じサイト内の外部汎用システム(外部ルーターとしてタグ付け)に指定して、EVPN属性を当該ゲートウェイに拡張することができます。このソリューションでは、サイトごとにフォルト・ドメインが作成されるため、障害がリモート・サイトのコンバージェンスに影響を与えたり、複数のフォルト・ドメインを作成したりすることを防ぎます。リモート サイトの IP/MAC エンドポイント テーブルは、汎用システム (外部ルーターとしてタグ付けされた) ゲートウェイで処理され、状態に保持されます。また、WAN QoSやセキュリティを、トランスポート技術によって可能になる最適化(MPLS TEなど)とともに実装することもできます。ただし、このソリューションは運用がより複雑で、追加のハードウェアとコストが必要になります。 
自律システム境界ルーター(ASBR)
Apstra のリモートEVPNゲートウェイ 機能を使用すると、オプションで 、リモートEVPNゲートウェイ をASBR WANエッジデバイスとして指定できます。このエンドツーエンドのEVPNにより、均一なカプセル化が可能になり、専用のGW要件が不要になります。運用は複雑ですが、「ゲートウェイを使用したDCI」や「オーバーザトップ」よりも拡張性に優れています。 
実装
ルーティングゾーンと仮想ネットワーク(VN)を拡張して、Apstraが管理するブループリント全体(ポッド全体)またはApstraが管理していないリモートネットワーク(データセンター全体)に拡張できます。この機能は、EVPNゲートウェイ(GW)の役割を導入します。これは、ファブリックに参加するスイッチ、またはファブリックに接続されている汎用システム(サーバーとしてタグ付け)上のルートサーバーです。
EVPN ゲートウェイのユースケース
- レイヤー3分離ドメイン(VRF/ルーティングゾーン)をApstraが管理する複数のポッド(ブループリント)にまたがるか、リモートEVPNドメインに拡張します。
- L2VNI/仮想ネットワークのレイヤー2ドメイン拡張を提供します。
- EVPNドメインをApstraからApstraマネージドに、Apstraからアンマネージドポッドに拡張できます。
- スパインデバイスでVXLANトラフィック終端なし - スパインデバイスで外部汎用システム(外部ルーターとしてタグ付け)を接続します。これは、IPv4(アンダーレイ)外部接続をサポートするためです。スパインデバイスは、境界リーフデバイスとは異なり、外部の汎用システム(外部ルーターとしてタグ付け)に接続する場合、VXLANトラフィックを終端させる必要がありません。一言で言えば、これを使用すると、IPv4 ルートをリモート VTEP(デフォルトのルーティング ゾーン/VRF)と交換でき、レイヤー 3 接続のみが必要です。
度を超えた
BGP EVPNピアリングが「オーバーザトップ」で行われる場合、データセンターゲートウェイ(DC-GW)は純粋なIPトランスポート機能であり、BGP EVPNピアリングは異なるデータセンターのゲートウェイ間で確立されます。
次のセクションでは、2つ以上のBGPベースのイーサネットVPN(EVPN)サイトをIPネットワーク上で拡張可能な方法で相互接続する手順について説明します。その動機は、MPLS/VPLSのような一般的なデータセンターの相互接続(DCI)技術に依存することなく、EVPNサイトの拡張をサポートすることです。MPLS/VPLSは、設定が難しく、独自の場合もあり、本質的にレガシーである可能性が高いです。
「オーバーザトップ」は、データセンター間のIPルーティングと調整されたMTUのみを必要とするシンプルなソリューションで、ゲートウェイエンドポイント間のVXLANカプセル化をサポートします。このような実装では、EVPNルートはサイト間でMP-BGPを介してエンドツーエンドで拡張されます。マルチホップBGPは、WAN上のサイト間に複数のレイヤー3ホップが存在することを前提に有効化されています。それ以外の場合、デフォルトのTTLは0に減少し、パケットは破棄され、リモートルーターに到達しません。Apstraは、これらの制限に対処するために必要な設定を自動的にレンダリングします。 
この設計では、サイト間の個別のEVPN-VXLANドメインとVXLANトンネルをマージします。以前は別々だったEVPNドメインを異なるサイトでマージすることで、サイト間でレイヤー2およびレイヤー3(VRF)サービスを拡張するメリットを実現できるだけでなく、サイトが単一の障害ドメインとしてレンダリングされます。そのため、1つのサイトでの障害は必然的に伝播されます。また、サイト間のWAN全体にレイヤー2を拡張すると、フラッドドメインも拡張され、それに伴い、すべてのブロードキャストトラフィックがコストのかかるWANリンクを介して拡張されます。現時点では、このソリューションではフィルタリングや QoS は提供されません。
個別のApstraブループリントが個々のサイトを管理する場合(または、Apstraが管理するサイトが1つだけの場合)は、拡張ルーティングゾーン(VRF)と仮想ネットワーク(レイヤー2および/またはレイヤー3で定義されたVLAN/サブネット)を各サイトで個別に作成および管理する必要があります。サイト間で VRF と VN を手動でマッピングする必要があります(管理オーバーヘッドが発生します)。
同じApstraコントローラ内の2つのデータセンター(ブループリント)間のP2P接続を設定する場合、ビルドエラーを回避するために、各ブループリントは異なるIPプールからリソースを取得する必要があります。これを行うには、同じ IP サブネットで名前が異なる 2 つの IP プールを作成します。
この「オーバーザトップ」ソリューションは最も導入が簡単で、追加のハードウェアを必要とせず、MTUを増加させる以外に追加のWAN設定を導入することもありません。最も柔軟性が高く、参入障壁が最も低いです。ただし、EVPNコントロールプレーンが1つしかないため、一方のサイトでルーティング異常が発生すると、もう一方のサイトのコンバージェンスと到達性に影響するという欠点があります。レイヤー2フラッドドメインの拡張は、1つのサイトでのブロードキャストストームが他のサイトにも広がることも意味します。
DCIの実装では、慎重なリソース計画と調整が必要です。サイトを追加するには、このような計画と調整を指数関数的に増やす必要があります。アンダーレイの VTEP ループバックは漏洩する必要があります。VNIDはサイト間で一致する必要があり、場合によっては、追加のルートターゲット(RT)をインポートする必要があります。これについては、このドキュメントの後半で詳しく説明します。
データプレーン拡張:レイヤー3
VXLAN ネットワーク ID(VNID)は、固有の VXLAN トンネルを識別する VXLAN ヘッダーの一部であり、各トンネルは IP ネットワーク内の他の VXLAN トンネルから分離されています。レイヤー 3 パケットを VXLAN パケットにカプセル化するか、レイヤー 2 MAC フレームを VXLAN パケットに直接カプセル化できます。どちらの場合も、一意のVNIDはレイヤー3サブネットまたはレイヤー2ドメインのいずれかに関連付けられます。サイト間でレイヤー3またはレイヤー2のサービスを拡張する場合、基本的にサイト間でVXLANトンネルをステッチすることになります。そのため、VNIDはサイト間で一致する必要があります。
特定の VNID は 1 つの VRF(Apstra の用語ではルーティングゾーン)にのみ関連付けられることを理解しておくことが重要です。VNID は VRF 内に存在します。これらは VRF に関連付けられています。レイヤー3サービスの場合、各VNIDのスティッチング(拡張)は、ルーティングゾーン(VRF)内のRTのエクスポートとインポートで行われます。レイヤー3のサブネット(ルート)は、RTによって識別されます。すべてのVNIDは、EVPNゲートウェイ(エッジ)でWANに向けて自動的にエクスポートされます。逆に、同じ値のRTは、ファブリックに導入されるEVPNゲートウェイ(エッジ)で自動的にインポートされます。そのため、一方のサイトのレイヤー3 VNIDをもう一方のサイトと一致するように調整する場合、追加の設定は必要ありません。 
上の画像では、追加のエクスポートやインポートは必要ありません。すべて自動的にエクスポートされ(すべてエクスポート)、RTが一致するため、自動的にインポートされます。
ただし、DC1のVNIDがDC2のVNIDと異なる場合は、それぞれRTをインポートする必要があります。それぞれのゲートウェイは、同じ値のRTを自動的にインポートします。以下の例では、他のサイトからRTを手動で追加する追加の手順が必要です。 
データプレーン拡張:レイヤー2
仮想ネットワークは、純粋なレイヤー 2 サービスにすることができます(レイヤー 3 エニーキャスト ゲートウェイはインスタンス化されません)。これは、ラックローカル(ラック内に含まれるサーバーに接続するポート上の VLAN)または VXLAN(レイヤー 2 フラッドを拡張するラックを選択し、ラック間のドメインをブロードキャストする)にすることができます。このレイヤー 2 ドメインには独自の VNID があり、(IP パケットではなく)MAC フレームは、レイヤー 2 ドメインの VNID を使用して VXLAN ヘッダーにカプセル化されます。
同じ原理で、すべてのVNID(この場合はタイプ2ルート/MACアドレス)がEVPNゲートウェイでエクスポートされ、一致するRTが自動的にインポートされます。ただし、RT をインポートおよびエクスポートする場所は、ルーティング ゾーン レベルではなく、仮想ネットワーク自体です。
Apstraワークフロー
- コントロールプレーンの拡張:EVPNゲートウェイ
- アンダーレイ VTEP ルート アドバタイズメント
- リモートオーバートップまたは外部ゲートウェイの作成
- 拡張ルーティングゾーン
- 拡張仮想ネットワーク
- リモートゲートウェイトポロジー表現
コントロールプレーンの拡張:EVPNゲートウェイ
Apstraでは、「EVPNゲートウェイ」という概念を採用しています。このデバイスは、理論的にはリーフ、スパイン、スーパースパインのいずれかのファブリックノード、そしてDCIデバイスにすることができます。EVPNゲートウェイは、サイトを相互接続するネットワークからファブリック側を分離し、サイト内VTEPをマスクします。
Apstraでは、EVPNゲートウェイは、外部IPネットワークにも接続されているEVPNファブリックに属し、エッジに存在するデバイスです。Apstra EVPNの設計図では、これは常にボーダーリーフデバイスになります。あるデータ センターのEVPNゲートウェイは、別のデータ センターにある相互EVPNゲートウェイとのBGP EVPNピアリングを確立します。「その他」のEVPNゲートウェイは、Apstraの用語では「リモートEVPNゲートウェイ」です。ローカルEVPNゲートウェイは、ブループリントではApstra管理下のデバイスの1つと見なされ、「リモートEVPNゲートウェイ」の作成時に選択されます。ローカルEVPNゲートウェイは、EVPN Closファブリックに出入りするトラフィック用に1つ以上の外部ルーティング接続を備えた境界リーフスイッチになります。
この機能により、ローカルEVPNゲートウェイ(常にApstraが管理するスイッチ)を設定して、別のDCでApstraが管理していないデバイス、またはスパイン/リーフデバイスとピアリングできます。EVPN ゲートウェイの BGP ピアリングは、すべての EVPN 属性をポッド内からポッドの外部に伝送するために使用されます。Apstra環境では、各ブループリントはデータセンターを表します。2つ以上のサイトがApstraの管理下にある場合でも、各サイトが他のサイトの「リモートEVPNゲートウェイ」を指すように設定する必要があります。データ センターごとに複数の冗長な EVPN ゲートウェイを作成することをお勧めします。また、現在、EVPNゲートウェイ間にはフルメッシュ要件がありますが、この要件は将来のリリースで削除される予定です。
アンダーレイ VTEP ルート アドバタイズメント
VTEP IP アドレスへのアンダーレイの到達可能性、または同等のサマリー ルートは、相互に確立する必要があります。各サイトは、これらの VTEP ループバックを、デフォルトのルーティング ゾーン内からエクスポートされた BGP(IPv4)アンダーレイ アドバタイズメントにアドバタイズする必要があります。ルーティングポリシーのループバックは、デフォルトで有効になっています。
リモートオーバートップまたは外部ゲートウェイの作成
デフォルトでは、ESI MAC msb(最上位バイト)はすべてのブループリントで 2 に設定されています。サービスに影響を与える問題を防ぐために、接続されるすべてのApstraブループリントに一意のmsbが必要です。ゲートウェイを作成する前に、 それに応じて ESI MAC msb を変更します 。(そのうちの 1 つをデフォルト値のままにしておくことができます。
リモートEVPNゲートウェイは、場所やデバイスを問わずにインスタンス化できる論理機能です。一般的にBGPのサポートが必要で、特にL2VPN/EVPN AFI/SAFIが必要です。EVPNゲートウェイとのBGPセッションを確立するには、IP接続とTCPポート179(IANAがBGP TCPポートを割り当てる)への接続が必要です。
耐障害性を確保するために、同じリモートEVPNドメインに対して少なくとも2つのリモートゲートウェイを用意することをお勧めします。
- ブループリントから [Staged > DCI > Over the Top] または [External Gateways ] に移動し、[ Create Over the Top or External Gateways] をクリックします。
「 オーバー・ザ・トップまたは外部ゲートウェイの作成 」ダイアログが開きます。
-
必要に応じて詳細を入力します。
データセンターファブリック間でL2ネットワークを拡張する場合、EVPNルートタイプRT-5プレフィックスのみを交換するオプションがあります(インターフェイスレスモデル)。これは、データセンター間ですべてのホストルートを交換する必要がない場合に便利です。これにより、DCI機器のルーティング情報ベース(RIB)(ルーティングテーブル)および転送情報ベース(FIB)(転送テーブル)の要件が小さくなります。
ローカルゲートウェイノードを選択します。これらは、ローカルEVPNゲートウェイで構成されるブループリント内のデバイスです。1 つ以上のデバイスを選択して、構成済みのリモート EVPN ゲートウェイとピアリングできます。クエリ機能を使用すると、適切なノードを見つけることができます。外部の汎用システム(外部ルーターとしてタグ付け)に直接接続する複数の境界リーフデバイスを使用することを推奨します。
- [ 作成 ] をクリックしてゲートウェイをステージングし、テーブル ビューに戻ります。
- ブループリントにデバイスを展開する準備ができたら、変更をコミットします。
複数のリモートEVPNゲートウェイを使用することをお勧めします。追加のリモートEVPNゲートウェイを構成するには、上記の手順を繰り返します。
別のApstraブループリントに対してリモートEVPNゲートウェイを設定する場合は、そのブループリントでリモートEVPNゲートウェイを別途設定して展開する必要があります。
変更が展開されると、ApstraはリモートEVPNゲートウェイのBGPセッションを監視します。ブループリントから異常を確認するには、 アクティブ>異常に移動します。
拡張ルーティングゾーン
拡張サービスの一部であるデバイス上のRT(ルートターゲット)インポート/エクスポートポリシーは、EVPNルートのインストールを制御します。ルートターゲットポリシーを指定して、Apstraがルーティングゾーン/VRFに使用するインポートおよびエクスポートルートターゲットを追加します。これは、ルーティングゾーンを作成するときに行います。 [Staged > Virtual > Routing Zones ]に移動し、[ Create Routing Zone]をクリックします。詳細については、「 ルーティング ゾーン」を参照してください。
ルーティング ゾーンで生成されるデフォルト ルートターゲットは <L3 VNI>:1 です。このデフォルト値は変更できません。
VTEP で正しいルートが受信されていることを確認するには、L3VNI とルート ターゲットがブループリントとリモート EVPN ドメイン間で同一であることを確認します。
拡張仮想ネットワーク
Apstraが仮想ネットワークに使用するインポートおよびエクスポートルートターゲットを追加できます。
Apstraが仮想ネットワーク用に生成するデフォルトのルートターゲットは 、<L2 VNI>:1です。これは変更できません。
VNI内通信には、L2VNI固有のRTが使用されます。インポートRTは、受信したどのルートが特定のVNIに適用可能かを判断するために使用されます。接続を確立するには、レイヤー2 VNIがブループリントとリモートドメイン間で同一である必要があります。SVI サブネットは、ドメイン間で同一である必要があります。
リモートゲートウェイトポロジー表現
リモートEVPNゲートウェイは、以下の図に示すように、BGPセッションが確立されるブループリント要素への点線接続を持つクラウド要素としてトポロジービューに表示されます。(下の画像は、最近のバージョンとは若干異なります。 