項目一覧
RDMA フローのキューペアハッシュ
概要
ロードバランシングアルゴリズムは、ハッシュメカニズムを使用して、リンクアグリゲーショングループ(LAG)またはECMPバンドルから最適な発信インターフェイスを選択します。ほとんどのロードバランシング アルゴリズムは、5 タプル情報に基づいてハッシュ(つまり、リンク間でトラフィックの負荷を分割)します。5タプル情報は、送信元と宛先のMACアドレスを含むレイヤー2(L2)をカバーしています。送信元と宛先のIPアドレスを含むレイヤー3(L3)。TCP/UDPポートを含むレイヤー4(L4)。しかし、AI-ML学習ネットワークでは、ほとんどのトラフィックのトランスポートにRDMA(Remote Direct Memory Access)over Converged Ethernet version 2(RoCEv2)が使用されています。ROCEv2トラフィックは、L4ポートで差がない可能性があります。これにより、エントロピーが低下し、ロードバランシングの効率が低下する可能性があります。
アプリケーション トラフィックのトランスポートに RoCEv2 を使用するネットワークでは、RDMA 接続は送信キューでトラフィックを送信し、受信キューでトラフィックを受信します。これらのキューは、RDMA 接続を形成します。送信キューと受信キューを合わせて、キュー ペアと呼びます。各キュー ペアには、識別可能なプレフィックスがあります。ROCEv2 では、宛先キュー ペアをフロー識別フィールドとして使用します。
ハッシュ計算に宛先キューペアを含めることで、AI-MLトレーニングネットワークのロードバランシングを強化できます。これは、キューペアハッシュと呼ばれます。ハッシュ計算に宛先キュー ペアを追加すると、システムのエントロピーが増加し、全体的なロードバランシング効率が向上します。この機能をサポートするデバイスとリリースでは、すべてのROCEv2トラフィックに対してキューペアハッシュがデフォルトで有効になっています。
デバイスで動的ロードバランシング(DLB)を有効にすると、キューペアハッシュはリンクアグリゲーショングループ(LAG)インターフェイスで自動的に無効になります。
構成
キューペアハッシュの検証
デフォルトでは、ロードバランシング・アルゴリズムは、RDMA トラフィック (IPv4 と IPv6 の両方) のハッシュ計算の一部として RDMA キュー・ペアを含みます。設定は必要ありません。
この機能が有効になっていることを確認するには、次のコマンドを使用して、出力の「RDMA Queue Pair」フィールドが「yes」とマークされていることを確認します。
user@device> show forwarding-options enhanced-hash-key Current RTAG7 Settings ------------------------- Hash-Mode :layer2-payload Hash-Seed :108202401 inet RTAG7 settings: ---------------------- inet packet fields protocol :yes Destination IPv4 Addr :yes Source IPv4 Addr :yes destination L4 Port :yes Source L4 Port :yes Vlan id :no RDMA Queue Pair :yes inet non-packet fields incoming device :yes incoming port :yes inet6 RTAG7 settings: ---------------------- inet6 packet fields next-header :yes Destination IPv6 Addr :yes Source IPv6 Addr :yes destination L4 Port :yes Source L4 Port :yes Vlan id :no RDMA Queue Pair :yes inet6 non-packet fields incoming device :yes incoming port :yes Hash-Parameter Settings for ECMP: ------------------------------------ Hash Function = CRC16_BISYNC Hash offset base = 16 Hash offset = 4294967280 Hash preprocess = 0 Hash-Parameter Settings for LAG: ------------------------------------ Hash Function = CRC16_CCITT Hash offset base = 0 Hash offset = 0 Hash preprocess = 0 Ecmp Resilient Hash = Disabled ECMP DLB Load Balancing Options: --------------------------------------------------- Load Balancing Method : Disabled Inactivity Interval : 0 (us) Flowset Table size : 0 (entries per ECMP) Reassignment Probability Threshold : 0 Reassignment Quality Delta : 0 Egress Port Load Weight : 0 EgressBytes Min Threshold : 1 EgressBytes Max Threshold : 100 Sampling Rate : 62500 Ether Type : All
キューペアハッシュを無効にする
ロードバランシングハッシュ計算からキューペアを除外するには、次のように設定します。
プラットフォームのサポート
プラットフォームとリリースのサポートについては 、Feature Explorer を参照してください。