OpenShift デプロイメントのシステム要件

• インテルE810ファームウェア4.00 0x80014411 1.3236.0

• ファームウェア4.000x800144111.3236.0を搭載したIntel E810-CQDA2

• Intel XL710 ファームウェア 9.00 0x8000cead 1.3179.0

• メラノックス コネクトX-6

• メラノックス コネクトX-7

Mellanox NIC を使用する場合は、インターフェイス名の長さが 11 文字を超えないようにしてください。

Mellanox NIC を使用する場合は、 Mellanox NIC のインターフェイス命名法のインターフェイス命名手順に従います。

ブタン構成ファイルを作成し、 100-worker-vfiopci.bu、PCIデバイスをVFIOドライバーにバインドします。

variant: openshift
version: 4.8.0
metadata:
  name: 100-worker-vfiopci
  labels:
    machineconfiguration.openshift.io/role: worker 
storage:
  files:
  - path: /etc/modprobe.d/vfio.conf
    mode: 0644
    overwrite: true
    contents:
      inline: |
        options vfio-pci ids=10de:1eb8 
  - path: /etc/modules-load.d/vfio-pci.conf 
    mode: 0644
    overwrite: true
    contents:
      inline: vfio-pci

マシン構成を作成して適用します。

$ butane 100-worker-vfiopci.bu -o 100-worker-vfiopci.yaml

$ oc apply -f 100-worker-vfiopci.yaml

oc create -f hugepages-tuned-boottime.yaml 

# cat hugepages-tuned-boottime.yaml  
apiVersion: tuned.openshift.io/v1 
kind: Tuned 
metadata: 
  name: hugepages  
  namespace: openshift-cluster-node-tuning-operator 
spec: 
  profile:  
  - data: | 
      [main] 
      summary=Boot time configuration for hugepages 
      include=openshift-node 
      [bootloader] 
      cmdline_openshift_node_hugepages=hugepagesz=1G hugepages=8 
    name: openshift-node-hugepages 
  recommend: 
  - machineConfigLabels:  
      machineconfiguration.openshift.io/role: "worker-hp" 
    priority: 30 
    profile: openshift-node-hugepages 

oc create -f hugepages-mcp.yaml  

# cat hugepages-mcp.yaml  
apiVersion: machineconfiguration.openshift.io/v1 
kind: MachineConfigPool 
metadata: 
  name: worker-hp 
  labels: 
    worker-hp: "" 
spec: 
  machineConfigSelector: 
    matchExpressions: 
      - {key: machineconfiguration.openshift.io/role, operator: In, values: [worker,worker-hp]} 
  nodeSelector: 
    matchLabels: 
      node-role.kubernetes.io/worker-hp: "" 

システムの BIOS で SR-IOV と VT-d を使用してホストを有効にします。

BIOSによって異なります。

システム起動時にVLANドライバを有効にします。

/etc/modules-load.d/vlan.conf を次のように設定します。

cat /etc/modules-load.d/vlan.conf
8021q

再起動し、コマンドを実行して確認します。

lsmod | grep 8021q

システム起動時にVFIO-PCIドライバを有効にします。

/etc/modules-load.d/vfio.conf を次のように設定します。

cat /etc/modules-load.d/vfio.conf
vfio
vfio-pci

再起動し、コマンドを実行して確認します。

lsmod | grep vfio

IOMMU と IOMMU-PT を設定します。

apiVersion: machineconfiguration.openshift.io/v1
kind: MachineConfig
metadata:
  labels:
    machineconfiguration.openshift.io/role: worker 
  name: 100-worker-iommu 
spec:
  config:
    ignition:
      version: 3.2.0
  kernelArguments:
      - intel_iommu=on iommmu=pt

$ oc create -f 100-worker-kernel-arg-iommu.yaml

JCNR に割り当てられた VF のスプーフィングチェックを無効にします。

JCNR に割り当てられた VF に信頼を設定します。

Cloud-Native RouterをL3モードで導入する前に、追加のカーネルモジュールをホストにロードする必要があります。これらのモジュールは通常、 linux-modules-extra または kernel-modules-extra パッケージで提供されます。

conf ファイルを作成し、カーネルモジュールを追加します。

cat /etc/modules-load.d/crpd.conf
tun
fou
fou6
ipip
ip_tunnel
ip6_tunnel
mpls_gso
mpls_router
mpls_iptunnel
vrf
vxlan

Linuxホストでカーネルベースの転送を有効にします。

ip fou add port 6635 ipproto 137

NetworkManager の制御から Cloud-Native Router インターフェースを除外します。

NetworkManagerは、ネットワークインターフェイスの管理を容易にする一部のオペレーティングシステムのツールです。NetworkManagerを使用すると、デフォルトインターフェイスの操作と設定が簡単になります。ただし、Kubernetesの管理に干渉し、問題が発生する可能性があります。

NetworkManager が Cloud-Native Router インターフェース設定に干渉しないようにするには、Cloud-Native Router インターフェースを NetworkManager 制御から除外します。一部のLinuxディストリビューションでこれを行う方法の例を次に示します。

1. /etc/NetworkManager/conf.d/crpd.conf ファイルを作成し、NetworkManager に管理させないインターフェースをリストします。

   例えば：

   [keyfile]
    unmanaged-devices+=interface-name:enp*;interface-name:ens*

   ここで、enp*とens*は、Cloud-Native Routerインターフェイスを指します。
   メモ: enp* enpで始まるすべてのインターフェイスを示します。特定のインターフェイス名については、カンマ区切りのリストを提供します。
2. NetworkManager サービスを再起動します:

   sudo systemctl restart NetworkManager

   。
3. ホスト上の /etc/sysctl.conf ファイルを編集し、次の内容を貼り付けます。

   net.ipv6.conf.default.addr_gen_mode=0
   net.ipv6.conf.all.addr_gen_mode=0
   net.ipv6.conf.default.autoconf=0
   net.ipv6.conf.all.autoconf=0

4. コマンド sysctl -p /etc/sysctl.conf を実行して、新しい sysctl.conf 値をホストにロードします。

5. ボンド・インターフェースを手動で作成します。例えば：

   ifconfig ens2f0 down
   ifconfig ens2f1 down
   ip link add bond0 type bond mode 802.3ad
   ip link set ens2f0 master bond0
   ip link set ens2f1 master bond0
   ifconfig ens2f0 up ; ifconfig ens2f1 up; ifconfig bond0 up

JCNRを展開する前に、ホストにcore_pattern値が設定されていることを確認してください。

sysctl kernel.core_pattern
kernel.core_pattern = |/usr/lib/systemd/systemd-coredump %P %u %g %s %t %c %h %e

/etc/sysctl.confでcore_patternを更新できます。例えば：

kernel.core_pattern=/var/crash/core_%e_%p_%i_%s_%h_%t.gz