Passo a passo da configuração
Este passo a passo resume as etapas necessárias para configurar a interconectividade de data center usando o Juniper Apstra.
Conforme discutido em Caso de uso e arquitetura de referência, este JVD cobrirá apenas três casos de uso de DCI usando diferentes designs de malha e dispositivos Juniper. Esse JVD também incluirá segurança de controle de acesso ao meio (MACSEC) entre DCI, no entanto, a configuração é provisionada como configlet, pois o Apstra 5.0 não pode suportar.
Pré-requisito
Provisionar o data center de 3 estágios, o data center de malha colapsada e o data center EVPN VXLAN de 5 estágios, conforme discutido no respectivo JVD de projeto de data center.
Design exagerado (com MACSEC)
Para o projeto DCI OTT, dois data centers de 3 estágios são interconectados usando switches de Camada 2 (QFX10002-36Q) ou quaisquer switches ISP que ofereçam suporte à configuração de conexão cruzada de comutação de Camada 2, conforme mostrado no diagrama abaixo. Para switches QFX10002-36Q, são necessárias licenças para circuito MPLS e L2. Para obter mais informações sobre a conexão cruzada de comutação de Camada 2, consulte o guia da Juniper sobre configuração de conexão cruzada de circuito de Camada 2 (CCC). Este JVD abordará brevemente a configuração nesses dois switches, pois isso pode variar para diferentes implementações de DCI e, portanto, está fora do escopo deste JVD.
Por uma questão de clareza, os dois data centers são chamados de DC1 e DC2, conforme mostrado abaixo na Figura 1.
Certifique-se de cabear fisicamente os switches leaf de borda em ambos os data centers, conforme mostrado na Figura 1 , aos switches de interconexão (ISP), antes de prosseguir com a configuração da DCI no Apstra. Para provisionar a interconectividade de data center usando o Apstra, aqui estão as etapas.
- Faça logon na interface do usuário do Apstra e navegue até o blueprint do primeiro data center de 3 estágios (doravante denominado DC1). Configure os links para os switches ISP de interconexão conforme mostrado abaixo para ambas as folhas de borda. Certifique-se de que o cabeamento também esteja atualizado, refletindo a interface que conecta os switches ISP em cada uma das folhas de borda. Para obter mais informações sobre como criar um servidor genérico externo, consulte o guia do Apstra para adicionar links ao Blueprint existente.
Figura 2: Links de folhas de borda para o switch ISP 1
Figura 3: Conectividade do Border Leaf 2 com o switch ISP 2
- Crie a política de roteamento para permitir o IP de loopback dos switches leaf de borda do data center remoto, neste caso DC2. Navegue até Blueprint > Políticas de > preparadas > Políticas de roteamento e crie ou modifique a política relevante para permitir as rotas de importação de IPs de loopback de switches leaf de borda de data center (DC2).
Figura 4: Adicionar rotas de importação para Switches
leaf de borda DC2
- Em seguida, crie modelos de conectividade para conectar switches leaf de borda no blueprint atual (DC1) ao blueprint de data center remoto (DC2). Essa etapa cria a conectividade underlay entre os dois data centers, que é marcada com VLAN. A política de roteamento definida na etapa anterior é atribuída para importação de rotas. Um eBGP underlay também é criado entre o switch leaf de borda1 de ambos os data centers. Da mesma forma, configure a conectividade underlay, eBGP, entre o switch Border Leaf2 de ambos os data centers. Deve haver dois modelos de conectividade criados para cada conectividade leaf de borda. Consulte a Figura 1 para examinar a conectividade.
Figura 5: Modelo
de conectividade do switch leaf de borda1
Figura 6: Modelo
de conectividade do Border Leaf Switch2
Depois que os modelos de conectividade forem criados, atribua-os aos switches leaf de borda, conforme mostrado abaixo. Para obter mais informações sobre os modelos de conectividade do Apstra, consulte o Guia do Juniper Apstra.
Figura 7: Atribuir modelo de conectividade ao switch leaf de borda1
Figura 8: Atribuir modelo de conectividade ao switch leaf de borda 2
- Depois de atribuir o modelo de conectividade, navegue até Blueprint > Staged > Virtual > Routing zone e clique na zona de roteamento padrão para alocar endereços IP IPV4 e IPV6 para criar a conectividade leaf de borda entre os dois data centers.
Figura 9: Atribuir endereços IP para criar um link IP entre os Switches Leaf de borda de ambos os data centers
Para criar a conectividade de sobreposição, navegue até Blueprint > Staged > DCI e selecione Over the Top ou External Gateway e insira os detalhes dos switches leaf de borda remota do data center remoto. Esta etapa deve ser realizada para ambos os switches leaf de borda, pois ambos usam switches de interconexão diferentes para se conectar às folhas de borda do data center remoto.
Figura 10: Criar gateway externo ou por cima entre a Folha de Borda DC1 e a Folha de Borda DC21
Figura 11: Criar gateway externo ou por cima entre a Folha de Borda DC12 e a Folha
de Borda DC22
- Em seguida, certifique-se de que o ASN, os IPs de loopback nos switches ISP reflitam os dos switches leaf de borda do data center remoto, ou seja, o ASN do switch leaf de borda do DC2 e os IPs de loopback, conforme mostrado abaixo. Navegue até Blueprint > Staged > Physical > Topology , clique na representação genérica do servidor dos switches ISP e, na próxima tela, no lado direito, navegue até as propriedades conforme mostrado abaixo e atualize o ASN e o IP loopback. Repita a mesma etapa para o switch ISP de servidor genérico 2 também.
Figura 12: Atualização de ASN e loopback do data center remoto para eBGP
- Navegue até o Blueprint do DC1 > Não confirmado e confirme todas as alterações. Observe que a conectividade não estará ativa neste ponto, pois os switches do ISP e o blueprint do data center remoto (DC2 neste caso) não estão configurados com conectividade DCI. Isso será discutido na próxima etapa.
- Repita todas as etapas acima para o data center remoto, por exemplo, DC2. Em seguida, prossiga para criar a configuração nos Switches ISP, consulte Configuração de switches ISP de interconexão.
Observação: para os fins deste laboratório, a configuração nos switches do ISP foi aplicada manualmente.
- A configuração MACSEC também foi aplicada a switches leaf de borda para criptografar o tráfego entre os data centers DC1 e DC2. Como o Apstra não oferece suporte a MACSEC, ele foi aplicado usando configlet, consulte a seção 1 para obter mais informações.
- Depois que a configuração nos switches do ISP e no data center remoto (DC2) for confirmada, a conectividade deverá estar ativa e o Apstra não mostrará anomalias relacionadas à conectividade DCI. Se o Apstra mostrar anomalias para BGP, Interface etc., analise e solucione essas anomalias.
Configuração de Switches ISP de Interconexão
Para a conectividade DCI, a escolha da conectividade entre os data centers depende de fatores como latência, tempos de convergência durante falhas de link ou nó, tipo de transporte (Camada 2/Camada 3) e hardware usado para fornecer interconectividade.
Para os propósitos deste laboratório, dois QFX10002-36Q são usados e as folhas de borda se conectam usando links 10G. MPLS e circuito L2 são usados para configurar a conexão cruzada de Camada 2. Os snippets de configuração mostram a configuração necessária aplicada em um dos switches ISP para fornecer conectividade. Licenças para MPLS e L2-circuito também foram aplicadas. Para obter mais informações sobre a conexão cruzada interface-switch, consulte o guia de conexão cruzada de Camada 2.
- As interfaces são criadas com encapsulamento de conexão cruzada de circuito (CCC) como ethernet-ccc (configurou toda a interface física,
[set interfaces <interface_name> encapsulation ethernet-ccc]. Para que o circuito funcione, a interface lógica (unidade 0) também deve ser configurada com familyccc [edit interfaces <interface_name> unit 0 family ccc]para interfaces que se conectam às folhas de borda em ambos os data centers. - Além disso, a chave
[edit protocols connections]de conexão cruzada do circuito é configurada usando as interfaces configuradas como CCC na etapa 1. - Por fim, para que as conexões cruzadas de comutação de Camada 2 funcionem, o protocolo MPLS deve ser habilitado.
root@must-qfx10k-2> show configuration interfaces xe-0/0/18:0 description "OTT:DC1-BL1 to DC2-BL1"; mtu 9216; encapsulation ethernet-ccc; unit 0 { family ccc; } {master:0} root@must-qfx10k-2> show configuration interfaces xe-0/0/18:2 description "OTT:DC1-BL1 to DC2-BL1"; mtu 9216; encapsulation ethernet-ccc; unit 0 { family ccc; } {master:0} root@must-qfx10k-2> show configuration protocols connections { interface-switch DC1-DC2 { interface xe-0/0/18:0.0; interface xe-0/0/18:2.0; } } mpls { interface all; } lldp { interface all; }
Design de costura sem costura EVPN-VXLAN tipo 2 (somente camada 2 com MACSEC)
Para o projeto DCI de costura contínua Tipo 2, apenas um subconjunto de VLAN/VNI que se estende entre locais é configurado. Nesse design, o MACSEC também é usado para criptografar o tráfego entre os dois data centers. Para este projeto, um data center de 3 estágios e um data center de malha colapsada são interconectados usando switches de camada 2 (QFX10002-36Q), conforme descrito em Over-the-Top (OTT) (com MACSEC).
Por uma questão de clareza, os dois data centers são chamados de DC1 e DC3, conforme mostrado na Figura 17. Certifique-se de que ambos os data centers estejam fisicamente conectados aos switches ISP de interconexão.
As etapas de configuração, neste caso, são semelhantes ao Design OTT. Para isso, o blueprint de 3 estágios (DC1) e de malha colapsada (DC3) deve estar em execução antes de prosseguir. As etapas para DCI Tipo 2 e para configurar o MACSEC são as seguintes:
- Navegue até o blueprint do primeiro data center de 3 estágios (doravante denominado DC1). Configure os links para os switches ISP de interconexão conforme mostrado abaixo para ambas as folhas de borda. Certifique-se de que o link também esteja atualizado. Para obter mais informações sobre como criar um servidor genérico externo, consulte o guia do Apstra para adicionar links ao Blueprint existente. Abaixo está um exemplo do switch Border Leaf1 mostrando a conectividade. Repita as mesmas etapas para o switch Border Leaf2.
Figura 18: Conectividade
do switch leaf de borda 1
- Crie uma política de roteamento e permita o IP de loopback dos switches leaf de borda do data center remoto, neste caso DC3. Navegue até Blueprint > Políticas de > preparadas > Políticas de roteamento e crie ou modifique a política relevante e permita as rotas de importação de IPs de loopback de switches leaf de borda de data center remoto (DC3).
Figura 19: Política de roteamento que permite a importação de rotas do DC3
- Crie modelos de conectividade para conectar switches leaf de borda no blueprint atual (DC1) ao blueprint de data center remoto (DC3). Esta etapa cria a conectividade underlay entre os dois data centers que são marcados com VLAN. A política de roteamento definida na etapa anterior é atribuída para importação de rotas. Um eBGP underlay também é criado entre o switch leaf de borda1 de ambos os data centers. Da mesma forma, configure a conectividade underlay, eBGP, entre o switch Leaf de borda2 de ambos os data centers. Deve haver dois modelos de conectividade criados para cada switch leaf de borda.
Figura 20: Modelo de conectividade criado para a folha de borda1
Figura 21: Modelo de conectividade criado para o switch leaf de borda2
- Depois que os modelos de conectividade forem criados, atribua-os aos switches leaf de borda, conforme mostrado abaixo. Para obter mais informações sobre os modelos de conectividade do Apstra, consulte o Guia do Juniper Apstra.
Figura 22: Border Leaf Switch1 atribuído ao modelo de
conectividade
Figura 23: Switch Leaf de Borda2 atribuído ao modelo de
conectividade
- Para criar a conectividade de sobreposição, navegue até Blueprint > Preparado > DCI e selecione a Interconexão integrada para criar o domínio de interconexão. Isso garante que o ESI de interconexão seja diferente em ambos os data centers (DC1 e DC3).
Nota importante: Para costura perfeita, é obrigatório selecionar ambas as folhas de borda remotas para criar conectividade lógica de sobreposição de malha completa (conforme mostrado na Figura 26). No caso de uma falha de link ou nó do switch leaf de borda principal, digamos em DC1, a função de encaminhador designado é movida para o switch leaf de borda secundária. Se o switch leaf de borda secundária DC1 enviar tráfego para o switch leaf de borda remota, que não é o encaminhador designado, as rotas não serão compartilhadas com o switch leaf de borda primária no DC remoto. Portanto, a implementação de uma malha completa lógica é recomendada e obrigatória.Figura 24: Criar domínio de
interconexão
Em seguida, clique em "Gateway Local e Remoto" para preencher o gateway remoto, ou seja, informações do switch leaf da borda DC3, como ASN, loopback, etc., conforme mostrado na Figura 25 e na Figura 26.
Figura 25: Gateway
local e remoto
Figura 26: Criar gateway remoto e local para ambos os Border Leaf Switches
-
Antes de continuar a associar o VXLAN/VNI para se estender pela DCI, navegue até Blueprint > Preparado > Rede Virtual e crie Rede Virtual. Consulte o guia do Apstra para criar uma rede virtual. As mesmas Redes Virtuais devem ser criadas no blueprint do data center remoto para que o alongamento contínuo funcione.
Em seguida, navegue de volta para Blueprint > Preparado > DCI > Interconexão Integrada , selecione o tipo de conexão, selecione as redes virtuais listadas e habilite a Camada 2 (EVPN Tipo 2). Se necessário, o VNI de tradução também pode ser configurado. Se o VNI de tradução estiver configurado, o switch converterá o VNI enquanto estiver encaminhando o tráfego para um VNI comum configurado em todo o data center. O switch leaf de borda traduz o VNI somente se o VNI traduzido estiver incluído na lista de VNI interconectada, que o Apstra inclui[edit routing-instance evpn-1 protocols evpn interconnect interconnected-vni-list], conforme mostrado abaixo na configuração renderizada do switch leaf de borda1.Figura 27: Trecho de configuração renderizada do Apstra do switch Border Leaf1
Figura 28: Selecionando a rede virtual para estender e aplicar o VNI
de tradução
-
Neste ponto, a configuração de interconectividade do data center deve estar pronta. E, se confirmada, a conectividade entre os dois data centers deve ser estabelecida e o tráfego entre os data centers não será criptografado. Para este projeto JVD, o MACSEC é configurado entre os dois DCs que foram configurados usando o configlet, pois o Apstra não oferece suporte nativo ao MACSEC, consulte a seção 1 para aplicar o MACSEC usando o configlet.
- Em seguida, certifique-se de que o ASN, os IPs de loopback nos switches ISP reflitam os dos switches leaf de borda do data center remoto, ou seja, o ASN do switch leaf de borda do DC3 e IPs de loopback, conforme mostrado abaixo. Navegue até Blueprint > Staged > Physical > Topology e clique no switch leaf de borda1 e, conforme mostrado, na próxima tela do lado direito. Navegue até as propriedades conforme mostrado abaixo e atualize o ASN e o IP de loopback. Repita a mesma etapa para o switch ISP de servidor genérico 2 também.
Figura 29: Configuração de ASN, loopback do switch
leaf de borda de data center remoto
- Navegue até o Blueprint do DC1 > Não confirmado e confirme todas as alterações. Observe que a conectividade não estará ativa, pois neste ponto os switches ISP e o blueprint do data center remoto (DC3, neste caso) não estão configurados com conectividade DCI. Isso será discutido na próxima etapa.
- Repita todas as etapas acima para o data center remoto, por exemplo, DC3. Em seguida, prossiga para criar a configuração nos Switches ISP, conforme discutido na seção Configuração de switches ISP de interconexão.
- Depois que a configuração nos switches do ISP e no data center remoto (DC3) for confirmada, a conectividade deverá estar ativa e o Apstra não deverá mostrar anomalias relacionadas à conectividade DCI. Se o Apstra mostrar anomalias para BGP, cabeamento, interface, etc., analise e solucione esses problemas.
leaf de borda DC1 1
leaf DC3
Durante a validação da costura do VXLAN Tipo 2, percebeu-se que o Apstra omitiu a aplicação da configuração da política EVPN BGP de overlay DCI nos switches leaf de malha colapsados para interromper o anúncio de rotas overlay entre switches leaf colapsados. No entanto, o mesmo foi aplicado em switches spine de malha de 3 estágios para interromper a publicidade de rotas de sobreposição. A configuração abaixo foi aplicada usando configlet em switches leaf de malha colapsados na configuração EVPN eBGP existente.
protocols {
bgp {
group l3clos-l-evpn {
neighbor 192.168.253.1 export ( LEAF_TO_LEAF_EVPN_OUT && EVPN_EXPORT );
}
}
}
policy-options {
policy-statement LEAF_TO_LEAF_EVPN_OUT {
term LEAF_TO_LEAF_EVPN_OUT-10 {
from {
community FABRIC_EVI_TARGET;
protocol bgp;
protocol evpn;
}
then accept;
}
term LEAF_TO_LEAF_EVPN_OUT-20 {
from {
community EVPN_DCI_L2_TARGET;
community EVPN_DCI_L3_TARGET_blue;
community EVPN_DCI_L3_TARGET_red;
protocol bgp;
protocol evpn;
}
then reject;
}
term LEAF_TO_LEAF_EVPN_OUT-30 {
then accept;
}
}
}
EVPN-VXLAN Tipo 2 e Tipo 5 Design de costura sem costura
Esse design e configuração são semelhantes ao design de costura sem costura EVPN-VXLAN tipo 2 (somente camada 2 com MACSEC), com a exceção de que envolve o design de costura tipo 2 e tipo 5. No entanto, ao selecionar as Redes Virtuais para alongamento, o Tipo 2 (Camada 2) e o Tipo 5 (Camada 3) são habilitados. Ao permitir que a Camada 3 para redes virtuais se estenda pelos data centers, os VRFs na guia Política de Camada 3 no Apstra também devem ser habilitados e uma política de roteamento deve ser associada ao VRF. Consulte o guia do Apstra para obter mais informações.
Ao habilitar a rota Tipo 5 para o VRF, o Apstra aplica a configuração abaixo para unir as rotas EVPN entre data centers. O mesmo destino de rota de interconexão deve ser aplicado no data center remoto para que a costura funcione perfeitamente.
evpn {
interconnect {
vrf-target target:65655L:22222;
route-distinguisher 192.168.255.2:65530;
}
Configurações adicionais aplicadas
- MACSEC
Para este design JVD, o MACSEC é configurado entre os dois DCs que foram configurados usando configlet, pois o Apstra não oferece suporte nativo a MACSEC, consulte mais informações sobre a configuração do MACSEC no Guia do primeiro dia.
Observação: para algumas plataformas, como QFX5700, o MACSEC de nível de interface lógica (IFL) não é suportado. Portanto, QFX5700 (gateways de borda) são configurados com interface física (IFD).O conjunto de propriedades para a costura OTT e Type2 sem costura é importado para o Blueprint usando o Blueprint > Catalogue > Property se.
Figura 35: Conjunto de propriedades para o configlet
MACSEC
O Configlet para MACSEC usa o conjunto de propriedades conforme mostrado na Figura 35 . O mesmo configlet é usado para OTT e Type2 Seamless Stitching.
Figura 36: Configlet MACSEC no Apstra
Abaixo está a configuração renderizada aplicada no switch leaf de borda1 e no switch leaf de borda2 em ambos os data centers.
security { macsec { connectivity-association dci_macsec { cipher-suite gcm-aes-xpn-128; security-mode static-cak; pre-shared-key { ckn 1234abcd1234abcd1234abcd1234abcd1234abcd1234abcd1234abcd1234abcd; cak "$9$g2oaUiHmTQnwYP5zF/9KMW8-Vws4JZjlKLNdVY25Qz6tuIEcyrv5QnCApRE-VbYaZjHq5z3-Vs4ZGq.Tz36tuBIEyev1I"; } } interfaces { et-0/0/0:0 { connectivity-association dci_macsec; } } } } - As rotas EVPN Tipo 5 hospedam rotas específicas
Para rotas específicas do host na configuração de malha do Apstra, habilite as rotas EVPN Tipo 5, conforme mostrado abaixo. Isso aumentará as rotas dependendo do número de hosts na malha. A configuração padrão para rotas EVPN Tipo 5 está desabilitada. Para a costura contínua DCI Tipo 2 e Tipo 5, navegue até Blueprint > Configurações de malha > Staged. Se essa configuração estiver desabilitada, as rotas compartilhadas serão o prefixo de sub-rede configurado na Sub-rede IP da Rede Virtual.
Figura 37: Configuração de malha para habilitar rotas IP específicas do
host
- BFD para melhores tempos de convergência durante falhas de nó
Para melhorar o tempo de convergência durante falhas de link e nó, o BFD foi aplicado à sessão BGP de sobreposição DCI. O Apstra não aplica BFD para sessão BGP de overlay DCI. Portanto, o configlet foi usado para configurar o BFD para a sessão BGP de sobreposição DCI. Para a sessão de sobreposição BFD, o modelo de conectividade foi usado para aplicar BFD.
set protocols bgp group evpn-gw bfd-liveness-detection minimum-interval 3000 multiplier 3