OpenShift デプロイメントのシステム要件

• インテルE810ファームウェア4.00 0x80014411 1.3236.0

• ファームウェア4.000x800144111.3236.0を搭載したIntel E810-CQDA2

• Intel XL710 ファームウェア 9.00 0x8000cead 1.3179.0

ブタン構成ファイル 100-worker-vfiopci.buを作成し、PCIデバイスをVFIOドライバーにバインドします。

variant: openshift
version: 4.8.0
metadata:
  name: 100-worker-vfiopci
  labels:
    machineconfiguration.openshift.io/role: worker 
storage:
  files:
  - path: /etc/modprobe.d/vfio.conf
    mode: 0644
    overwrite: true
    contents:
      inline: |
        options vfio-pci ids=10de:1eb8 
  - path: /etc/modules-load.d/vfio-pci.conf 
    mode: 0644
    overwrite: true
    contents:
      inline: vfio-pci

マシン構成を作成して適用します。

$ butane 100-worker-vfiopci.bu -o 100-worker-vfiopci.yaml

$ oc apply -f 100-worker-vfiopci.yaml

oc create -f hugepages-tuned-boottime.yaml 

# cat hugepages-tuned-boottime.yaml  
apiVersion: tuned.openshift.io/v1 
kind: Tuned 
metadata: 
  name: hugepages  
  namespace: openshift-cluster-node-tuning-operator 
spec: 
  profile:  
  - data: | 
      [main] 
      summary=Boot time configuration for hugepages 
      include=openshift-node 
      [bootloader] 
      cmdline_openshift_node_hugepages=hugepagesz=1G hugepages=8 
    name: openshift-node-hugepages 
  recommend: 
  - machineConfigLabels:  
      machineconfiguration.openshift.io/role: "worker-hp" 
    priority: 30 
    profile: openshift-node-hugepages 

oc create -f hugepages-mcp.yaml  

# cat hugepages-mcp.yaml  
apiVersion: machineconfiguration.openshift.io/v1 
kind: MachineConfigPool 
metadata: 
  name: worker-hp 
  labels: 
    worker-hp: "" 
spec: 
  machineConfigSelector: 
    matchExpressions: 
      - {key: machineconfiguration.openshift.io/role, operator: In, values: [worker,worker-hp]} 
  nodeSelector: 
    matchLabels: 
      node-role.kubernetes.io/worker-hp: "" 

cat /etc/modules-load.d/vlan.conf
8021q

lsmod | grep 8021q

カーネル引数を定義した MachineConfig オブジェクトを作成します。

apiVersion: machineconfiguration.openshift.io/v1
kind: MachineConfig
metadata:
  labels:
    machineconfiguration.openshift.io/role: worker 
  name: 100-worker-iommu 
spec:
  config:
    ignition:
      version: 3.2.0
  kernelArguments:
      - intel_iommu=on iommmu=pt

$ oc create -f 100-worker-kernel-arg-iommu.yaml

Cloud-Native RouterをL3モードで導入する前に、追加のカーネルモジュールをホストにロードする必要があります。これらのモジュールは通常、 linux-modules-extra または kernel-modules-extra パッケージで提供されます。次のコマンドを実行して、カーネルモジュールを追加します。

cat /etc/modules-load.d/crpd.conf
tun
fou
fou6
ipip
ip_tunnel
ip6_tunnel
mpls_gso
mpls_router
mpls_iptunnel
vrf
vxlan

Linuxホストで ip fou add port 6635 ipproto 137 コマンドを実行して、カーネルベースの転送を有効にします。

NetworkManagerは、ネットワークインターフェイスの管理を容易にする一部のオペレーティングシステムのツールです。NetworkManagerを使用すると、デフォルトインターフェイスの操作と設定が簡単になります。ただし、Kubernetesの管理に干渉し、問題が発生する可能性があります。

NetworkManager がインタフェース設定に干渉しないようにするには、次の手順を実行します。

1. ファイルを作成します /etc/NetworkManager/conf.d/crpd.conf。
2. ファイルに次の内容を追加します。

   [keyfile]
    unmanaged-devices+=interface-name:enp*;interface-name:ens*

   注: enp* は、enp で始まるすべてのインターフェイスを示します。特定のインターフェイス名については、カンマ区切りのリストを提供します。
3. コマンド sudo systemctl restart NetworkManager を実行して、NetworkManager サービスを再起動します。
4. ホスト上の sysctl ファイルを編集し、次の内容を貼り付けます。

   net.ipv6.conf.default.addr_gen_mode=0
   net.ipv6.conf.all.addr_gen_mode=0
   net.ipv6.conf.default.autoconf=0
   net.ipv6.conf.all.autoconf=0

5. コマンド sysctl -p /etc/sysctl.conf を実行して、ホストに新しい sysctl.conf 値をロードします。

6. ボンド・インターフェースを手動で作成します。例えば：

   ifconfig ens2f0 down
   ifconfig ens2f1 down
   ip link add bond0 type bond mode 802.3ad
   ip link set ens2f0 master bond0
   ip link set ens2f1 master bond0
   ifconfig ens2f0 up ; ifconfig ens2f1 up; ifconfig bond0 up

sysctl kernel.core_pattern
kernel.core_pattern = |/usr/lib/systemd/systemd-coredump %P %u %g %s %t %c %h %e

/etc/sysctl.confでcore_patternを更新できます。例えば：

kernel.core_pattern=/var/crash/core_%e_%p_%i_%s_%h_%t.gz