ベアメタルサーバーのシステム要件

RedHat Enterprise Linux

バージョン8.4、8.5、8.6

RedHat Enterprise Linux(RHEL):4.18.X

ロッキーLinux:4.18.X、5.14.X

Ubuntu:5.15.X

インテルXL710

Intel X710-DA4(10G x 4)

Intel XXV710-DA2(2 x 25G)

インテル E810 CPK

インテル E810 CVL

Intel E810-C(4 x 25G)

Intel E810-C(100G x 2)

インテル E810-CQDA2

インテル E810-XXV

Mellanox ConnectX-6

Mellanox ConnectX-7

¹Nvidia Mellanox NIC を使用する場合は、インターフェイス名の長さが 11 文字を超えないようにしてください。

Ubuntu

バージョン22.04

• ファームウェア9.20 0x8000e0e9 0.0.0のIntel XL710

Cloud-Native Routerは、オールインワンまたはマルチノードのKubernetesクラスターをサポートし、コントロールプレーンとワーカーノードは仮想マシン(VM)またはベアメタルサーバー(BMS)上で実行されます。

cat /etc/modules-load.d/vfio.conf
vfio
vfio-pci

システムのBIOSでSR-IOVとVT-dでホストを有効にします。

BIOSによって異なります。

システム起動時にVLANドライバーを有効にします。

/etc/modules-load.d/vlan.confを次のように設定します。

cat /etc/modules-load.d/vlan.conf
8021q

再起動し、次のコマンドを実行して確認します。

lsmod | grep 8021q

システム起動時にVFIO-PCIドライバーを有効にします。

/etc/modules-load.d/vfio.conf を次のように設定します。

cat /etc/modules-load.d/vfio.conf
vfio
vfio-pci

再起動し、次のコマンドを実行して確認します。

lsmod | grep vfio

GRUBでIOMMUとIOMMU-PTを設定します。

GRUB_CMDLINE_LINUX_DEFAULT="console=tty1 console=ttyS0 default_hugepagesz=1G hugepagesz=1G hugepages=64 intel_iommu=on iommu=pt"

grubを更新して再起動します。

grub2-mkconfig -o /boot/grub2/grub.cfg 

reboot

Cloud-Native Routerに割り当てられたVFのスプーフィングチェックを無効にします。

Cloud-Native Routerに割り当てられたVFの信頼を設定します。

Cloud-Native RouterをL3モードで展開する前に、追加のカーネルモジュールをホストにロードする必要があります。これらのモジュールは通常、 linux-modules-extra または kernel-modules-extra パッケージで入手できます。

/etc/modules-load.d/crpd.conf ファイルを作成し、次のカーネルモジュールを追加します。

tun
fou
fou6
ipip
ip_tunnel
ip6_tunnel
mpls_gso
mpls_router
mpls_iptunnel
vrf
vxlan

Linux ホストでカーネルベースの転送を有効にします。

ip fou add port 6635 ipproto 137

Cloud-Native RouterインターフェイスをNetworkManagerの制御から除外します。

NetworkManager は、ネットワーク インターフェイスの管理を容易にするための一部のオペレーティング システムのツールです。NetworkManager を使用すると、デフォルトのインターフェイスの操作と設定が容易になる場合があります。ただし、Kubernetesの管理に干渉し、問題が発生する可能性があります。

NetworkManager が Cloud-Native Router のインターフェイス設定に干渉しないようにするには、Cloud-Native Router のインターフェイスを NetworkManager の制御から除外します。一部の Linux ディストリビューションでこれを行う方法の例を次に示します。

1. /etc/NetworkManager/conf.d/crpd.conf ファイルを作成し、NetworkManager に管理させたくないインターフェイスをリストアップします。

   次に例を示します。

   [keyfile]
    unmanaged-devices+=interface-name:enp*;interface-name:ens*

   ここでenp*とens*はクラウドネイティブルーターのインターフェイスを指します。
   注:enp*enpで始まるすべてのインターフェイスを示します。特定のインターフェイス名については、カンマ区切りのリストを記載しています。
2. NetworkManager サービスを再起動します。

   sudo systemctl restart NetworkManager

   。
3. ホスト上の /etc/sysctl.conf ファイルを編集し、その中に以下の内容を貼り付けます。

   net.ipv6.conf.default.addr_gen_mode=0
   net.ipv6.conf.all.addr_gen_mode=0
   net.ipv6.conf.default.autoconf=0
   net.ipv6.conf.all.autoconf=0

4. コマンド sysctl -p /etc/sysctl.conf を実行して、新しい sysctl.conf 値をホストに読み込みます。

5. ボンディングインターフェイスを手動で作成します。次に例を示します。

   ifconfig ens2f0 down
   ifconfig ens2f1 down
   ip link add bond0 type bond mode 802.3ad
   ip link set ens2f0 master bond0
   ip link set ens2f1 master bond0
   ifconfig ens2f0 up ; ifconfig ens2f1 up; ifconfig bond0 up

Cloud-Native Routerを展開する前に、core_pattern値がホストに設定されていることを確認します。

sysctl kernel.core_pattern
kernel.core_pattern = |/usr/lib/systemd/systemd-coredump %P %u %g %s %t %c %h %e

/etc/sysctl.confでcore_patternを更新できます。次に例を示します。

kernel.core_pattern=/var/crash/core_%e_%p_%i_%s_%h_%t.gz

MACAddressPolicyを設定します(Ubuntuのみ)。

Ubuntu OS で DPDK を実行しているすべてのノードで、 MACAddressPolicy を none に設定して再起動します。次に例を示します。

sudo sed -i 's/MACAddressPolicy=.*/MACAddressPolicy=none/'  /usr/lib/systemd/network/99-default.link

sudo reboot

sysctl -w net.core.rmem_default=67108864
sysctl -w net.core.rmem_max=67108864
sysctl -w net.core.wmem_default=67108864
sysctl -w net.core.wmem_max=6710886