Como configurar uma spine colapsada com multihoming EVPN

Procedimento passo a passo

1. Por padrão, nenhuma interface Ethernet agregada é criada. Você deve definir o número de interfaces Ethernet agregadas antes de configurá-las. Depois de definir a contagem de dispositivos, o sistema cria esse número de interfaces Ethernet agregadas vazias, cada uma com um endereço MAC globalmente único. Você pode criar interfaces Ethernet mais agregadas aumentando a contagem de dispositivos para o número de interfaces ESI-LAG necessárias no dispositivo.

   Defina o número de interfaces Ethernet agregadas em todos os switches spine e ToR.

2. As portas de 0 a 47 em um QFX5120-48Y operam como portas de 10 gigabits por padrão. Os dispositivos SRX oferecem suporte a apenas 1 gigabit. Configure as portas no Spine 1 e Spine 2 que estão conectadas ao firewall da Série SRX para portas de 1 gigabit. Neste caso, essas portas são ge-0/0/10 e ge-0/0/11. Para habilitar 1 gigabit nessas portas, configure a velocidade da primeira porta no quad, que neste caso é ge-0/0/8.

   Use a declaração a seguir sobre Spine 1 e Spine 2:

   Nota:

   Você pode configurar as velocidades de porta de 1 gigabit e 25 gigabits apenas por quad (grupo de quatro portas) e não individualmente. Todas as portas operam em uma única velocidade dentro do quad. Por exemplo, se você configurar portas de 8 a 11 para operar como portas Ethernet de 1 gigabit e inserir um transceptor SFP+ de 10 gigabits na porta 10, uma interface não será criada para esta porta.

3. O modo de detecção de velocidade automática detecta interfaces Ethernet de 100 gigabits e interfaces Ethernet de 40 gigabits e as canaliza automaticamente. A canalização automática e a detecção de velocidade são habilitadas por padrão. Neste exemplo, a canalização automática dividiria cada interface Ethernet de 40 gigabits em quatro interfaces Ethernet de 10 gigabits.

   Desabilitar a canalização automática em portas et-0/0/2 e et-0/31 no Spine 3 e portas et-0/0/49 e et-0/0/50 no Spine 4 para que permaneçam interfaces Ethernet de 40 gigabits.

   Spine 3:

   Spine 4:

Procedimento passo a passo

1. Configure as interfaces no Spine 1.

2. Configure o underlay do EBGP.

3. Configure as políticas de importação e exportação.

4. Habilite a proteção rápida de redirecionamento ECMP e ECMP. Habilite o balanceamento de carga por fluxo, o que você faz com a per-packet palavra-chave.

   Se um link cair, o ECMP usa uma proteção de redirecionamento rápido para transferir o encaminhamento de pacotes para links operacionais, o que diminui a perda de pacotes. A proteção de redirecionamento rápido atualiza os conjuntos de ECMP para a interface sem precisar esperar a atualização da tabela de rotas. Quando a próxima atualização da tabela de rota ocorre, um novo conjunto de ECMP pode ser adicionado com menos links, ou a rota pode apontar para um único salto seguinte.

5. Por padrão, o tempor de envelhecimento de ARP é definido em 20 minutos e o tempor de envelhecimento MAC é definido em 5 minutos. Para evitar problemas de sincronização com entradas de ligação MAC e MAC-IP em um ambiente EVPN-VXLAN, configure o envelhecimento do ARP para ser mais rápido do que o envelhecimento mac.

Procedimento passo a passo

Repita a configuração do Spine 1 na Spine 2.

1. Configure as interfaces no Spine 2.

2. Configure o underlay do EBGP.

3. Configure as políticas de importação e exportação.

4. Habilite a proteção rápida de redirecionamento ECMP e ECMP.

5. Para evitar problemas de sincronização com entradas de ligação MAC e MAC-IP em um ambiente EVPN-VXLAN, configure o envelhecimento do ARP para ser mais rápido do que o envelhecimento mac.

Procedimento passo a passo

1. Verifique se ambas as sessões de vizinhos BGP estão estabelecidas no Spine 1.

2. Verifique se o endereço de loopback do Spine 2 (192.168.255.12) é recebido pelo Spine 1 de ambas as sessões vizinhas do BGP.

3. Ping o loopback do outro dispositivo spine do Spine 1.

Procedimento passo a passo

1. Configure o peering do IBGP entre os endereços de loopback Spine 1 e Spine 2.

2. Configure as VLANs e VLAN para o mapeamento VXLAN.

3. Configure as seguintes opções de switch:

   • A interface de origem do endpoint de túnel virtual (VTEP). Este é o endereço de loopback no Spine 1.

   • O diferencial de rota para rotas geradas por este dispositivo.

   • O alvo da rota.

   O alvo de rota configurado sob vrf-target é usado por rotas EVPN tipo 1. As rotas EVPN tipo 2 e Tipo 3 usam a meta de rota por VNI derivada automaticamente para exportação e importação.

4. Configure o protocolo EVPN. Primeiro, configure o VXLAN como o encapsulamento do plano de dados para EVPN.

   Em seguida, configure as VNIs que fazem parte deste domínio MP-BGP EVPN-VXLAN. Use set protocols evpn extended-vni-list all para configurar todas as VNIs ou configurar cada VNI separadamente, conforme mostrado abaixo.

5. Se o data center tiver apenas dois switches spine que tenham apenas sessões de vizinhos BGP entre si, você deve desabilitar o isolamento do núcleo em ambos os switches spine. Caso contrário, se um switch spine cair, o outro switch spine perde todas as sessões de vizinhos BGP, o que coloca as portas voltadas para ToR no modo de espera LACP e resulta em perda completa de tráfego. Veja o estado e a compreensão de quando desativar o isolamento do núcleo EVPN-VXLAN para obter mais informações.

Procedimento passo a passo

1. Para evitar problemas de sincronização com entradas de ligação MAC e MAC-IP em um ambiente EVPN-VXLAN, configure o envelhecimento do ARP para ser mais rápido do que o envelhecimento mac.

2. Configure o peering do IBGP.

3. Configure as VLANs e VLAN para o mapeamento VXLAN.

4. Configure as seguintes opções de switch.

5. Configure o protocolo EVPN.

   Em seguida, configure as VNIs que fazem parte deste domínio MP-BGP EVPN-VXLAN. Use set protocols evpn extended-vni-list all para configurar todas as VNIs ou configurar cada VNI separadamente, conforme mostrado abaixo.

6. Se o data center tiver apenas dois switches spine que têm apenas sessões de vizinhos BGP entre si, você deve desabilitar o isolamento do núcleo em ambos os switches spine.

Procedimento passo a passo

1. Verifique se o peering do IBGP entre Spine 1 e Spine 2 está estabelecido.

2. Verifique o VTEP de origem para o domínio EVPN.

3. Verifique todos os VTEP de origem e VTEPs remotos.

Procedimento passo a passo

1. Configure opções de roteamento e encaminhamento.

   Nota:

   Mudar as opções de roteamento e encaminhamento, como next-hop, overlay-ecmpou chained-composite-next-hop fazer com que o Mecanismo de encaminhamento de pacotes seja reiniciado, o que interrompe todas as operações de encaminhamento.

   • Definir o número de próximos saltos para pelo menos o número esperado de entradas ARP na sobreposição. Consulte next-hop (roteamento VXLAN) para obter mais informações sobre a configuração vxlan-routing next-hop.

   • Habilite um próximo salto multicaminho de dois níveis de igual custo usando a overlay-ecmp declaração. Essa declaração é necessária para uma rede de sobreposição EVPN-VXLAN de Camada 3 quando o roteamento tipo 5 puro também está configurado. Recomendamos fortemente que você configure esta declaração quando as rotas tipo 5 puras estiverem habilitadas.

   • A chained-composite-next-hop configuração é essencial para o tipo 5 puro de EVPN com encapsulamento VXLAN. Sem isso, o PFE não configurará o próximo salto do túnel.

   • Configure o ID do roteador para ser o mesmo que o endereço IP de loopback usado como fonte VTEP e o endereço local BGP overlay.

2. Para habilitar a função de gateway padrão, configure interfaces IRB cada uma com um endereço IP exclusivo e um endereço de gateway virtual (VGA), que deve ser um endereço IPcast qualquer. Quando você especifica um endereço IPv4 para a VGA, o gateway VXLAN de Camada 3 gera automaticamente 00:00:5e:00:01:01 como endereço MAC. Este exemplo mostra como configurar manualmente o endereço MAC do gateway virtual. Configure o mesmo endereço MAC de gateway virtual em ambos os dispositivos spine para um determinado IRB.

   Nota:

   Se o endereço IP VGA for menor que o endereço IP IRB, você deve usar a opção preferred na configuração IRB, conforme mostrado neste exemplo.

3. Você configurará os mesmos endereços IRB IP e MACcast nas interfaces IRB de cada dispositivo spine. Como os dispositivos spine agem como dispositivos spine e leaf em uma arquitetura spine colapsada, eles são os únicos dispositivos que precisam saber sobre as interfaces IRB. Desabile o anúncio das interfaces IRB para os outros dispositivos.

4. Coloque as IRBs pertencentes aos diferentes locatários em suas respectivas instâncias de roteamento. Isso permite que as IRBs nas mesmas instâncias de roteamento compartilhem uma tabela de roteamento. Como resultado, as IRBs em uma instância de roteamento podem rotear entre si. As IRBs em diferentes instâncias de roteamento podem se comunicar entre si, seja por meio de um agente externo de políticas de segurança, como firewalls SRX, ou se vazarmos explicitamente rotas entre as instâncias de roteamento.

5. Configure o VNI tipo 5 para as instâncias de roteamento. Ao configurar uma instância de roteamento para EVPN-VXLAN, você deve incluir uma interface de loopback e seu endereço IP. Se você omitir a interface de loopback e o endereço IP associado, os pacotes de controle de EVPN não poderão ser processados.

Procedimento passo a passo

1. Configure opções de roteamento e encaminhamento.

   Nota:

   Mudar as opções de roteamento e encaminhamento, como next-hop, overlay-ecmpou chained-composite-next-hop fazer com que o Mecanismo de encaminhamento de pacotes seja reiniciado, o que interrompe todas as operações de encaminhamento.

2. Configure IRB.

3. Como você configurou os mesmos endereços IRB IP e MACcast nas interfaces IRB de ambos os switches spine, desabite o anúncio das interfaces IRB para outros dispositivos.

4. Coloque as IRBs pertencentes aos diferentes locatários em suas respectivas instâncias de roteamento.

5. Configure o VNI tipo 5 para as instâncias de roteamento.

Procedimento passo a passo

1. Por padrão, as interfaces Ethernet agregadas não são criadas. Você deve definir o número de interfaces Ethernet agregadas no switch antes de configurá-las.

2. Configure uma ESI. Configure o mesmo em ambos os switches spine. Habilite modos totalmente ativos.

   Nota:

   Você também pode derivar automaticamente a ESI. Neste exemplo, você configura manualmente a ESI.

3. Configure o ID do sistema LACP. Configure o mesmo em ambos os switches spine para indicar aos switches ToR que os uplinks para os dois switches spine pertencem ao mesmo pacote LAG. Como resultado, os switches ToR coloca os uplinks para os dois switches spine no mesmo pacote LAG e a carga compartilha tráfego entre os links dos membros.

4. Configure a interface física no Spine 1 conectado ao ToR 1 como um membro do ae1 LAG.

Procedimento passo a passo

1. Defina o número de interfaces Ethernet agregadas no switch.

2. Configure uma ESI. Configure o mesmo em ambos os switches spine. Habilite modos totalmente ativos.

3. Configure o ID do sistema LACP. Configure o mesmo em ambos os switches spine.

4. Configure a interface física no Spine 2 conectado ao ToR 1 como um membro do ae1 LAG.

Procedimento passo a passo

1. Por padrão, as interfaces Ethernet agregadas não são criadas. Você deve definir o número de interfaces Ethernet agregadas no switch antes de configurá-las.

2. Configure as interfaces Ethernet agregadas.

3. Configure as VLANs.

Procedimento passo a passo

1. Verifique o status do ae1 e do ESI associados ao LAG.

2. Verifique se os membros da ae1 estão coletando e distribuindo.

3. Verifique se o status do Multihoming EVPN na instância EVPN está Resolved no Spine 1. Você também pode ver qual switch spine é o encaminhamento designado para tráfego BUM.

4. Verifique se todos os links de membros da interface ae1 estão coletando e distribuindo no ToR 1.

Procedimento passo a passo

Como os switches ToR estão configurados em um Virtual Chassis, você só precisa confirmar a configuração no switch principal. Neste exemplo, o ToR 1 é o switch principal.

1. Configure o LAG nas interfaces conectadas ao Endpoint 1: interface xe-0/2/10 no ToR 1 e interface xe-1/2/10 no ToR 2. O Endpoint 1 pertence às VLANs 201 e 202.

2. Configure o LAG nas interfaces conectadas ao Endpoint 11. O endpoint 11 pertence às VLANs 211 e 212.

Procedimento passo a passo

1. Verifique se os endereços MAC de ambos os endpoints aparecem na tabela de comutação Ethernet em ambos os switches ToR.

2. Verifique se os dois endereços MAC aparecem na tabela de comutação Ethernet em ambos os switches spine. Os dois endereços MAC são aprendidos com os switches ToR no LAG (ae1 e ae2) conectados a cada switch ToR. As bandeiras DLMAC , DRe DLR indicam se o tráfego para o endereço MAC foi aprendido localmente pelo switch spine, pelo switch spine remoto, ou por ambos os switches spine.

3. Verifique se o primeiro endereço MAC está no banco de dados EVPN no Spine 1. Essa saída indica que o endereço MAC foi aprendido localmente por este switch spine por meio da ESI 00:00:00:00:00:00:00:01:02 e LAG ae2. Este endereço MAC é anunciado na EVPN para o outro switch spine.

4. Verifique se o segundo endereço MAC está no banco de dados EVPN no Spine 1. Este endereço MAC foi aprendido pelo switch spine remoto e anunciado para o switch spine local sobre EVPN. Essa saída também mostra que este endereço MAC é mapeado para ESI 00:00:00:00:00:00:00:01:01:01. O tráfego destinado a este endereço MAC pode ser trocado localmente para ToR 1 usando o mesmo segmento Ethernet.

5. Verifique as rotas EVPN na Spine 1. Essa saída mostra que esses endereços MAC são anunciados pelos switches spine como rotas BGP.

6. Verifique as rotas EVPN na Spine 2. Essa saída mostra que as rotas BGP receberam o peering do IBGP com o Spine 1. Vamos analisar detalhadamente essas rotas.

   As duas rotas do Tipo 1 enfatizadas acima mostram que o Spine 1 está conectado a dois segmentos de Ethernet (ES). Os números de ESI são 0101 e 0102.

   Essas duas rotas são rotas do Tipo 2 mostradas acima são anunciadas pela Spine 1. Eles mostram que os dois endereços MAC podem ser alcançados pelo Spine 1.

7. Verifique o plano de controle para os seguintes endereços MAC na Spine 1.

8. Verifique as entradas da tabela de encaminhamento para esses endereços MAC no Spine 1. A saída a seguir mostra que a interface Ethernet agregada local é usada para comutação de tráfego destinado a esses endereços MAC.

9. Teste o que acontece quando um uplink falha. Se um uplink do ToR 1 falhar, a saída mostra que o estado nessa interface é Detached.

   A Figura 6 mostra a topologia quando a interface conectada ao ToR 1 no Spine 1 está baixa.

   Figura 6: topologia quando o uplink falha

   Verifique se o Spine 1 está aprendendo agora este endereço MAC da Spine 2, já que a Spine 1 não tem uma conexão direta com o ToR 1.

   Os detalhes da tabela de encaminhamento da Spine 1 mostram que o tráfego destinado a este endereço MAC é enviado à Spine 2.

Procedimento passo a passo

1. No Spine 1, verifique se os dois endereços MAC estão em VLANs diferentes.

2. No Spine 1, verifique a resolução de ARP para os dois endpoints.

3. Na Spine 1, verifique o aprendizado do plano de controle para o endereço MAC 00:10:94:00:11:11. Você pode ver que existe uma rota MAC para o endereço MAC e uma rota MAC/IP para este endereço MAC.

4. Verifique as entradas da tabela de encaminhamento para esses endereços MAC. Como o Spine 1 está conectado a ambos os switches ToR localmente, o tráfego é trocado localmente para o switch ToR correspondente do Spine 1.

Problema

Se os links entre os switches spine estiverem desativados, fazendo com que o peering BGP seja desativado, ambos os switches spine estão ativos e encaminhando. As interfaces Ethernet agregadas a downstream estão ativas e em encaminhamento. Esse cenário é conhecido como estado split-brain e pode causar vários problemas.

Solução

Para evitar que esse problema ocorra, escolha um switch spine para ser o switch de espera.

Também recomendamos:

• Usando pelo menos duas ligações entre os switches spine. Isso torna menos provável que todos os links entre os switches spine dimerão.

• Multihoming de todos os servidores. Se houver um servidor de casa única em um dos switches spine, o servidor pode ser inalcançável.