Instalación con redes administradas por clústeres
Utilice este procedimiento para abrir un clúster con redes administradas por clúster. Las redes administradas por clústeres se refieren a una implementación en la que el instalador asistido instala un equilibrador de carga e entrada integrados en el clúster por usted.
La Figura 1 muestra un clúster de 3 nodos de plano de control y 2 nodos de trabajo que se ejecutan en servidores sin sistema operativo o máquinas virtuales en una configuración de red administrada por clúster en la que el equilibrador de carga (no se muestra) está integrado en el clúster. El tráfico del instalador asistido y el tráfico del plano de control de Kubernetes utilizan la red virtual de estructura 172.16.0.0/24. El tráfico de plano de control de Contrail y el tráfico de plano de datos de usuario utilizan la red virtual de estructura 10.16.0.0/24.
administradas por clústeres
Una máquina independiente actúa como cliente del instalador asistido. El cliente del instalador asistido es donde utiliza comandos curl para emitir llamadas de API al servicio de instalador asistido para crear el clúster. En el ejemplo de este procedimiento, usamos el equipo cliente del instalador asistido para alojar un servidor DNS/DHCP para la subred también.
El administrador local se muestra adjunto a una red independiente en ambos diagramas. Esto es típico de muchas instalaciones en las que el administrador local administra la estructura y el clúster desde la LAN corporativa. En los procedimientos que siguen, nos referimos a la estación de administrador local como su equipo local.
La conexión de todos los nodos es la estructura del centro de datos, que se muestra en el ejemplo como dos subredes. En instalaciones reales, la estructura del centro de datos es una red de conmutadores spine-and-leaf que proporcionan la conectividad física para el clúster.
En un centro de datos administrado por Apstra, especificaría esta conectividad a través de las redes virtuales superpuestas que crea en los conmutadores de estructura subyacentes.
Este procedimiento utiliza el servicio de instalación asistida alojado en Red Hat y cubre el caso de uso de enlace temprano más común en el que se registra el clúster antes de crear los hosts.
- Inicie sesión en el equipo cliente del instalador asistido. El equipo cliente del instalador asistido es donde se emiten llamadas a la API del instalador asistido al servicio de instalador asistido.
- Prepare la implementación estableciendo las variables de entorno que utilizará en pasos posteriores.
- Cree una clave SSH que utilizará para tener acceso a los nodos del clúster. Guarde la clave en una variable de entorno.
root@ai-client:~# ssh-keygen
En este ejemplo, almacenamos la clave SSH en su ubicación predeterminada ~/.ssh/id_rsa.pub.export CLUSTER_SSHKEY=$(cat ~/.ssh/id_rsa.pub)
- Descargue la imagen pull secret de su cuenta de Red Hat en su computadora local. El pull secret permite que su instalación acceda a los servicios y registros que sirven imágenes de contenedor para componentes de OpenShift.
Si utiliza el instalador asistido alojado de Red Hat, puede descargar el archivo pull secret (pull-secret) de la página de descargas . Copie el archivo pull-secret en el equipo de cliente del instalador asistido. En este ejemplo, almacenamos el pull-secret en un archivo llamado pull-secret.txt.
Elimine cualquier espacio en blanco, convierta el contenido al formato de cadena JSON y almacene en una variable de entorno, de la siguiente manera:
export PULL_SECRET=$(sed '/^[[:space:]]*$/d' pull-secret.txt | jq -R .)
- Copie el token de acceso sin conexión de su cuenta de Red Hat. El token de API de OpenShift Cluster Manager le permite (en el equipo cliente del instalador asistido) interactuar con el servicio de API del instalador asistido alojado en Red Hat.
El token es una cadena que puede copiar y pegar en una variable de entorno local. Si utiliza el instalador asistido alojado de Red Hat, puede copiar el token de API desde la página de descargas .
export OFFLINE_ACCESS_TOKEN='<paste offline access token here>'
- Genere (actualizar) el token desde el OFFLINE_ACCESS_TOKEN. Utilizará este token generado cada vez que emita comandos de API.
export TOKEN=$(curl --silent --data-urlencode "grant_type=refresh_token" --data-urlencode "client_id=cloud-services" --data-urlencode "refresh_token=${OFFLINE_ACCESS_TOKEN}" https://sso.redhat.com/auth/realms/redhat-external/protocol/openid-connect/token | jq -r .access_token)Nota:Este token caduca regularmente. Cuando este token expire, obtendrá una respuesta HTTP 400 cada vez que emita un comando de API. Actualice el token cuando expire o, alternativamente, actualice el token regularmente antes de que expire. No hay ningún daño en la actualización del token cuando no ha caducado.
- Configure las variables de entorno restantes.
Cuadro 1 enumera todas las variables de entorno que debe establecer en este procedimiento, incluidas las descritas en los pasos anteriores.
Tabla 1: Variables de entorno Ejemplo de descripción de variable CLUSTER_SSHKEY La clave ssh (pública) que generó. Esta clave se instalará en todos los nodos del clúster. – PULL_SECRET La imagen pull secret que descargó, despojó y convirtió al formato de cadena JSON. – OFFLINE_ACCESS_TOKEN El token de API de Administrador de clústeres de OpenShift que copió. – TOKEN El token que generó (actualizó) desde el OFFLINE_ACCESS_TOKEN. – CLUSTER_NAME El nombre al que desea llamar al clúster. Este es el nombre que aparecerá en la interfaz de usuario de Red Hat Hybrid Cloud Console. Nota:Este nombre debe estar en minúscula.
mycluster CLUSTER_DOMAIN Dominio base que desea asignar al clúster. A los objetos de clúster se les asignarán nombres en este dominio. contrail.lan CLUSTER_NET La red de clústeres superpuestos. A los pods se les asignan direcciones IP en esta red. 10.128.0.0/14 CLUSTER_SVC_NET La red de servicios de superposición. A los servicios se les asignan direcciones IP en esta red. 172.31.0.0/16 CLUSTER_HOST_PFX La longitud del prefijo de subred para asignar direcciones IP desde CLUSTER_NET. Esto define el subconjunto de CLUSTER_NET direcciones IP que se usarán para la asignación de direcciones IP de pod. 23 CLUSTER_MACHINE_NET La red de la máquina a la que se adjuntan los hosts. Esta es la red virtual de estructura para el tráfico del plano de control de Kubernetes. 172.16.0.0/24 CLUSTER_API_VIP La dirección IP virtual que desea asignar al punto de conexión de LA API. Esta es la dirección IP de front-end que el equilibrador de carga interno utilizará para distribuir el tráfico de LA API a los nodos back-end.
Seleccione una dirección IP dentro del CLUSTER_MACHINE_NET que no esté en uso.
172.16.0.100 CLUSTER_INGRESS_VIP La dirección IP virtual que desea asignar como la entrada. Esta es la dirección IP de front-end que el equilibrador de carga interno utilizará para distribuir el tráfico de la aplicación a los nodos back-end.
Seleccione una dirección IP dentro del CLUSTER_MACHINE_NET que no esté en uso.
172.16.0.101 AI_URL La dirección URL del servicio de instalación asistida. En este ejemplo, se utiliza el instalador asistido alojado de Red Hat. https://api.openshift.com
- Cree una clave SSH que utilizará para tener acceso a los nodos del clúster. Guarde la clave en una variable de entorno.
- Registre el clúster con el servicio de instalación asistida. Al registrarse, le está informando al servicio del instalador asistido acerca de los atributos del clúster que desea crear. En respuesta, el servicio del instalador asistido crea un recurso de clúster y devuelve un identificador de clúster que identifica de forma única ese recurso de clúster.
- Cree el archivo que describe el clúster que desea crear. En este ejemplo, le damos nombre al archivo deployment.json.
cat << EOF > ./deployment.json { "kind": "Cluster", "name": "$CLUSTER_NAME", "openshift_version": "<openshift_version>", "ocp_release_image": "quay.io/openshift-release-dev/ocp-release:<coreOS_version>-x86_64", "base_dns_domain": "$CLUSTER_DOMAIN", "hyperthreading": "all", "machine_networks": [{"cidr": "$CLUSTER_MACHINE_NET"}], "ingress_vip": "$CLUSTER_INGRESS_VIP", "cluster_network_cidr": "$CLUSTER_NET", "cluster_network_host_prefix": $CLUSTER_HOST_PFX, "service_network_cidr": "$CLUSTER_SVC_NET", "user_managed_networking": false, "vip_dhcp_allocation": false, "ssh_public_key": "$CLUSTER_SSHKEY", "pull_secret": $PULL_SECRET } EOFNota:Asegúrese de especificar un <coreOS_version> (por ejemplo,
4.12.0) que se enumera en https://www.juniper.net/documentation/us/en/software/cn-cloud-native23.1/cn2-tested-integrations/index.html para el <openshift_version> (por ejemplo,4.12) que está utilizando. También asegúrese de que la <openshift_version> versión especificada es compatible con la versión de CN2 que está instalando. - Registre el clúster y guarde el CLUSTER_ID en una variable de entorno. Consulte el archivo deployment.json que acaba de crear.
export CLUSTER_ID=$(curl -s -X POST "$AI_URL/api/assisted-install/v2/clusters" -d @./deployment.json --header "Content-Type: application/json" -H "Authorization: Bearer $TOKEN" | jq -r '.id')
- Actualice los atributos del clúster para especificar que desea que el clúster use CN2 como tecnología de red.
curl --header "Content-Type: application/json" --request PATCH --data '"{\"networking\":{\"networkType\":\"Contrail\"}}"' -H "Authorization: Bearer $TOKEN" $AI_URL/api/assisted-install/v2/clusters/$CLUSTER_ID/install-config - Revise los cambios.
curl -s -X GET --header "Content-Type: application/json" -H "Authorization: Bearer $TOKEN" $AI_URL/api/assisted-install/v2/clusters/$CLUSTER_ID/install-config | jq -r
Una vez registrado el clúster, puede apuntar su navegador a Red Hat Hybrid Cloud Console ( https://console.redhat.com/openshift) para ver el progreso de la instalación. Puede buscar el clúster por nombre o ID de clúster. - Cree el archivo que describe el clúster que desea crear. En este ejemplo, le damos nombre al archivo deployment.json.
- Genere el ISO de arranque de descubrimiento. Utilizará esta ISO para arrancar los nodos del clúster.
El ISO se personaliza según su infraestructura según el entorno de infraestructura que configure.
- Cree un archivo que describa el entorno de infraestructura. En este ejemplo, lo denominamos infra-envs.json.
cat << EOF > ./infra-envs.json { "name": "$CLUSTER_NAME", "ssh_authorized_key": "$CLUSTER_SSHKEY", "pull_secret": $PULL_SECRET, "image_type": "full-iso", "cluster_id": "$CLUSTER_ID", "openshift_version": "4.12", "cpu_architecture": "x86_64" } EOF - Indique al servicio del instalador asistido que cree el ISO de arranque de descubrimiento en función del entorno de infraestructura especificado. Consulte el archivo infra-envs.json que acaba de crear. A cambio, el servicio de instalación asistida asigna un identificador infraEnv que necesitará almacenar.
export INFRA_ENVS_ID=$(curl -s -X POST "$AI_URL/api/assisted-install/v2/infra-envs" -d @infra-envs.json --header "Content-Type: application/json" -H "Authorization: Bearer $TOKEN" | jq -r '.id')
- Parchee el ISO con el certificado adecuado para el servidor de API extendido.
Para ello, se aplica un archivo de encendido. Copie el contenido a continuación en un archivo infra-ignition.json . El contenido contiene un script codificado que configura el servidor de API extendido con el certificado adecuado.
{"ignition_config_override": "{\"ignition\":{\"version\":\"3.1.0\"},\"systemd\":{\"units\":[{\"name\":\"ca-patch.service\",\"enabled\":true,\"contents\":\"[Service]\\nType=oneshot\\nExecStart=/usr/local/bin/ca-patch.sh\\n\\n[Install]\\nWantedBy=multi-user.target\"}]},\"storage\":{\"files\":[{\"path\":\"/usr/local/bin/ca-patch.sh\",\"mode\":720,\"contents\":{\"source\":\"data:text/plain;charset=utf-8;base64,IyEvYmluL2Jhc2gKc3VjY2Vzcz0wCnVudGlsIFsgJHN1Y2Nlc3MgLWd0IDEgXTsgZG8KICB0bXA9JChta3RlbXApCiAgY2F0IDw8RU9GPiR7dG1wfSB8fCB0cnVlCmRhdGE6CiAgcmVxdWVzdGhlYWRlci1jbGllbnQtY2EtZmlsZTogfAokKHdoaWxlIElGUz0gcmVhZCAtYSBsaW5lOyBkbyBlY2hvICIgICAgJGxpbmUiOyBkb25lIDwgPChjYXQgL2V0Yy9rdWJlcm5ldGVzL2Jvb3RzdHJhcC1zZWNyZXRzL2FnZ3JlZ2F0b3ItY2EuY3J0KSkKRU9GCiAgS1VCRUNPTkZJRz0vZXRjL2t1YmVybmV0ZXMvYm9vdHN0cmFwLXNlY3JldHMva3ViZWNvbmZpZyBrdWJlY3RsIC1uIGt1YmUtc3lzdGVtIHBhdGNoIGNvbmZpZ21hcCBleHRlbnNpb24tYXBpc2VydmVyLWF1dGhlbnRpY2F0aW9uIC0tcGF0Y2gtZmlsZSAke3RtcH0KICBpZiBbWyAkPyAtZXEgMCBdXTsgdGhlbgoJcm0gJHt0bXB9CglzdWNjZXNzPTIKICBmaQogIHJtICR7dG1wfQogIHNsZWVwIDYwCmRvbmUK\"}}]},\"kernelArguments\":{\"shouldExist\":[\"ipv6.disable=1\"]}}"}Aplique el archivo de encendido que acaba de crear.curl -s -X PATCH $AI_URL/api/assisted-install/v2/infra-envs/$INFRA_ENVS_ID -d @infra-ignition.json --header "Content-Type: application/json" -H "Authorization: Bearer $TOKEN" | jq -r '.id'
- Descargue el ISO. En este ejemplo, lo llamamos ai-liveiso-$CLUSTER_ID.iso, haciendo referencia al identificador de clúster en el nombre.
export IMAGE_URL=$(curl -H "Authorization: Bearer $TOKEN" -L "$AI_URL/api/assisted-install/v2/infra-envs/$INFRA_ENVS_ID/downloads/image-url" | jq -r '.url') curl -H "Authorization: Bearer $TOKEN" -L "$IMAGE_URL" -o /var/lib/libvirt/images/ai-liveiso-$CLUSTER_ID.iso
- Cree un archivo que describa el entorno de infraestructura. En este ejemplo, lo denominamos infra-envs.json.
- Arranque los tres nodos del plano de control con el ISO de arranque de descubrimiento.
- Elija el método de arranque más conveniente para su infraestructura. Asegúrese de que los equipos arranquen conectados a una red que tenga acceso al servicio de instalación asistida alojado de Red Hat.
En la red de ejemplo que se muestra en la figura 1, los nodos tienen dos interfaces, con una interfaz conectada a la red 172.16.0.0/24 y la otra interfaz adjunta a la red 10.16.0.0/24.Nota:
Configure el servidor DHCP para asignar direcciones IP en la red 10.16.0.0/24 (por ejemplo, 10.16.0.11 a 10.16.0.13 para los nodos del plano de control y 10.16.0.14 y 10.16.0.15 para los nodos de trabajo).
Asegúrese de configurar el manifiesto 99-network-configmap.yaml de acuerdo con el paso 4.e en Antes de instalar.
- Compruebe el estado del clúster:
curl -s -X GET --header "Content-Type: application/json" -H "Authorization: Bearer $TOKEN" -H "get_unregistered_clusters: false" $AI_URL/api/assisted-install/v2/clusters/$CLUSTER_ID?with_hosts=true | jq -r '.status'
El estado debe indicar cuándo los nodos están listos . - Compruebe el estado de las validaciones:
curl -s -X GET --header "Content-Type: application/json" -H "Authorization: Bearer $TOKEN" -H "get_unregistered_clusters: false" $AI_URL/api/assisted-install/v2/clusters/$CLUSTER_ID?with_hosts=true | jq -r '.validations_info' | jq .
El estado de las validaciones muestra si ha definido el clúster correctamente. No debería haber errores en el resultado. - Compruebe los hosts:
curl -s -X GET --header "Content-Type: application/json" -H "Authorization: Bearer $TOKEN" -H "get_unregistered_clusters: false" $AI_URL/api/assisted-install/v2/clusters/$CLUSTER_ID?with_hosts=true | jq -r '.hosts'
El resultado muestra detalles de todos los nodos que ha arrancado.Puede filtrar información específica, como los IDENTIFICA de host:curl -s -X GET --header "Content-Type: application/json" -H "Authorization: Bearer $TOKEN" -H "get_unregistered_clusters: false" $AI_URL/api/assisted-install/v2/clusters/$CLUSTER_ID?with_hosts=true | jq -r '.hosts[].id'
y funciones de host:curl -s -X GET --header "Content-Type: application/json" -H "Authorization: Bearer $TOKEN" -H "get_unregistered_clusters: false" $AI_URL/api/assisted-install/v2/clusters/$CLUSTER_ID?with_hosts=true | jq -r '.hosts[].role'
- Confirme que se asignaron las funciones.
En su navegador, vaya a Red Hat Hybrid Cloud Console (https://console.redhat.com/openshift) y haga clic en su clúster para ver los detalles del clúster. Puede buscar el clúster por nombre de clúster o por ID de clúster.
Pase al paso siguiente solo cuando los nodos (hosts) aparezcan y las funciones se hayan asignado correctamente como nodos del plano de control. Dado que solo iniciamos los 3 nodos del plano de control, verá las funciones asignadas en la interfaz de usuario como plano de control, trabajador.
- Elija el método de arranque más conveniente para su infraestructura. Asegúrese de que los equipos arranquen conectados a una red que tenga acceso al servicio de instalación asistida alojado de Red Hat.
- Establezca la dirección IP virtual para el tráfico de API.
curl -X PATCH "$AI_URL/api/assisted-install/v2/clusters/$CLUSTER_ID" -H "accept: application/json" -H "Content-Type: application/json" -H "Authorization: Bearer $TOKEN" -d "{ \"api_vip\": \"$CLUSTER_API_VIP\"}" - Repita el paso 5 para iniciar los nodos de trabajo.
Cuando consulte las funciones de host, verá los nodos de trabajo en estado de asignación automática . Esto se espera. El servicio de instalación asistida asigna roles para estos nodos más tarde cuando instala el clúster.
- Si está ejecutando sus nodos de trabajo con una ruta de datos DPDK, etiquete a cada nodo de trabajo que ejecute una ruta de datos DPDK de la siguiente manera:
curl --location --request PATCH $AI_URL'/api/assisted-install/v2/infra-envs/$INFRA_ENVS_ID/hosts/$HOST_ID --header 'Content-Type: application/json' -H "Authorization: Bearer $TOKEN" --data-raw '{"node_labels":[{"key": "agent-mode","value": "dpdk"},{"key": "node-role.kubernetes.io/dpdk","value" : ""}]}' - Cargue los manifiestos de CN2 (que descargó antes de instalar) al servicio de instalación asistida. Asegúrese de incluir los manifiestos adicionales específicos de las redes administradas por clústeres.
Para mayor comodidad, puede usar el siguiente script bash. El script da por sentado que ha colocado los manifiestos en el directorio de manifiestos . Si utiliza este script, asegúrese de que:
- se colocan todos los manifiestos que desea usar en este directorio, incluidos todos los manifiestos que desea usar desde los subdirectorios
- no coloca ningún otro archivo YAML en este directorio
El script recorre todos los archivos *.yaml del directorio de manifiestos, los codifica en base64 y los aplica al clúster.
#!/bin/bash MANIFESTS=(manifests/*.yaml) total=${#MANIFESTS[@]} i=0 for file in "${MANIFESTS[@]}"; do i=$(( i + 1 )) eval "CONTRAIL_B64_MANIFEST=$(cat $file | base64 -w0)"; eval "BASEFILE=$(basename $file)"; eval "echo '{\"file_name\":\"$BASEFILE\", \"folder\":\"manifests\", \"content\":\"$CONTRAIL_B64_MANIFEST\"}' > $file.b64"; printf "\nProcessing file: $file\n" curl -s -X POST "$AI_URL/api/assisted-install/v2/clusters/$CLUSTER_ID/manifests" -d @$file.b64 --header "Content-Type: application/json" -H "Authorization: Bearer $TOKEN" done echo echo echo "Total Manifests: $total" echo echo "Manifest List:" curl -s -X GET "$AI_URL/api/assisted-install/v2/clusters/$CLUSTER_ID/manifests" --header "Content-Type: application/json" -H "Authorization: Bearer $TOKEN" | jq -r - Inicie la instalación del clúster.
curl -X POST "$AI_URL/api/assisted-install/v2/clusters/$CLUSTER_ID/actions/install" -H "accept: application/json" -H "Content-Type: application/json" -H "Authorization: Bearer $TOKEN" | jq
El servicio de instalación asistida crea el clúster según el recurso de clúster que haya definido. En primer lugar, el instalador asistido asigna uno de los nodos del plano de control como el nodo de arranque, que a su vez prepara los otros nodos. Uno por uno, verá que los nodos que no son de arranque se reinician en el clúster, primero se reiniciarán los nodos del plano de control que no son de arranque, luego los nodos de trabajo y, por último, el nodo de arranque.
La instalación puede tardar una hora o más. Puede ver el progreso de la instalación en red Hat Hybrid Cloud Console (https://console.redhat.com/openshift).
Si Red Hat Hybrid Cloud Console muestra el estancamiento de la instalación, inicie sesión en cada nodo con el nombre de usuario core y asegúrese de que el host pueda resolver los nombres de dominio, especialmente los que configuró en su servidor DNS/DHCP, así como en el servicio de instalación asistida de Red Hat y los nombres de dominio del repositorio de Juniper Networks. Los problemas de instalación más comunes se pueden remontar a errores de configuración de red, como la configuración dns incorrecta. Además, en algunos entornos, es posible que los nodos se apaguen en lugar de reiniciarse. En ese caso, inicie manualmente los nodos que se han apagado.
- Descargue el kubeconfig para el clúster.
- Descargue el kubeconfig a un archivo kubeconfig local.
curl -s -X GET "$AI_URL/api/assisted-install/v2/clusters/$CLUSTER_ID/downloads/credentials?file_name=kubeconfig" -H "accept: application/octet-stream" -H "Authorization: Bearer $TOKEN" > kubeconfig
- Copie el kubeconfig a ~/.kube/config. El kubeconfig debe estar en esa ubicación predeterminada ~/.kube/config, ya que el contrailstatus comando que utilizará más tarde espera que el kubeconfig esté en su ubicación predeterminada.
- Descargue el kubeconfig a un archivo kubeconfig local.
- Compruebe la instalación.
- Compruebe el estado de todos los pods. Confirme que todos los pods se encuentran en estado de ejecución o completado.
kubectl get -pods -A -o wide
- Para aquellos pods que no estén en estado de ejecución o completado, use el comando kubectl describe para investigar más a fondo.
kubectl describe pod <pod name> -n <namespace>
Un problema común es no descargar una imagen. Si este es el caso:
- compruebe que su red pueda llegar al depósito de Juniper Networks
- comprobar que el nodo en el que reside el pod fallido está configurado para tener acceso a un servidor DNS
- comprobar que el nodo donde reside el pod fallido puede hacer ping al repositorio por nombre de host
- Compruebe el estado de todos los pods. Confirme que todos los pods se encuentran en estado de ejecución o completado.
- (Opcional) Inicie sesión en la consola web de OpenShift para supervisar el clúster.
La dirección URL de Web Console tiene el formato: https://console-openshift-console.apps.<cluster-name>.<cluster-domain>.
- Asegúrese de que el explorador en el que desea tener acceso a Web Console esté en un equipo que tenga acceso a la DIRECCIÓN URL de Web Console. Es posible que deba agregar una entrada para el nombre de host de esa consola al archivo /etc/hosts en esa máquina. Recuerde que esta asignación es la asignación *.apps.mycluster.contrail.lan que configuró en el servidor DNS en Antes de instalar.
- Descargue la contraseña kubeadmin.
curl -s -X GET "$AI_URL/api/assisted-install/v2/clusters/$CLUSTER_ID/downloads/credentials?file_name=kubeadmin-password" -H "accept: application/octet-stream" -H "Authorization: Bearer $TOKEN"
- Inicie sesión en openShift Web Console con el nombre de usuario kubeadmin y la contraseña descargada.