InfiniBand: do SDR ao XDR

A pergunta de negócio

Você vai aprovar um cluster de várias centenas de milhares de dólares e, em algum momento da planilha, aparece uma linha chamada “interconexão” que custa entre 15% e 25% do total. Alguém vai dizer que dá para economizar ali.

Essa é uma das poucas linhas do orçamento onde economizar destrói o ativo inteiro. Este texto explica por quê, sem exigir que você seja engenheiro de redes.

O que InfiniBand realmente faz

O problema que ele resolve

Numa rede convencional, quando um servidor envia dados a outro, os dados sobem do disco ou da memória até o sistema operacional, são copiados para uma área de trabalho do núcleo do sistema, empacotados, entregues à placa de rede, e o caminho inverso acontece do outro lado. Cada uma dessas etapas custa tempo e, pior, custa processador, o mesmo processador que deveria estar coordenando o seu cálculo.

Quando o trabalho é uma simulação ou um treinamento distribuído, esse ciclo se repete milhões de vezes. O que era um detalhe vira o gargalo.

InfiniBand foi projetado, desde o início, para eliminar esse caminho. A placa de rede, chamada HCA (Host Channel Adapter), recebe permissão para ler e escrever diretamente na memória do servidor remoto. O sistema operacional autoriza uma vez, no começo, e depois sai da frente. Chama-se RDMA (Remote Direct Memory Access): acesso direto à memória remota.

Duas consequências práticas:

• A latência despenca, porque o caminho é fisicamente mais curto.
• O processador fica livre, porque a transferência acontece sem ele. Numa máquina com oito GPUs, isso significa que a CPU continua alimentando as GPUs em vez de gerenciar pacotes.

Por que isso importa mais em IA do que em qualquer outra carga

Treinar um modelo grande em várias GPUs exige que, a cada passo, todas as GPUs troquem e combinem seus resultados parciais. É uma operação coletiva: ninguém avança enquanto o último não terminar.

O efeito é implacável. Se as GPUs passam 30% do tempo esperando a rede, você comprou um cluster e está usando 70% dele, permanentemente, por todos os anos de vida do ativo. É o mesmo que pagar por oito GPUs e receber cinco e meia.

InfiniBand ataca isso por duas frentes: reduz o tempo de cada troca e, nas gerações recentes, executa parte da combinação dentro do próprio switch, tecnologia que a NVIDIA chama de SHARP. Em vez de todos os dados viajarem até um nó, serem somados e voltarem, a soma acontece no caminho.

As três garantias estruturais

Três características, presentes desde a concepção, separam InfiniBand de uma rede de escritório adaptada:

Rede sem perda. Em Ethernet clássico, congestionou, descarta-se o pacote e retransmite. InfiniBand usa controle de fluxo por crédito: o emissor só transmite quando o receptor já garantiu espaço. O pacote não é descartado porque nunca é enviado sem destino garantido. Numa operação coletiva, uma única retransmissão atrasa o grupo inteiro.

Gerenciamento centralizado. Um componente chamado Subnet Manager enxerga a topologia inteira, calcula as rotas e as distribui. A rede é planejada, não descoberta, o que torna o comportamento previsível sob carga.

Roteamento adaptativo. Quando um caminho congestiona, o tráfego é desviado em tempo real, sem esperar que a camada de aplicação perceba.

Tabela canônica · As gerações InfiniBand

Cada geração dobra a taxa por lane. A largura de link mais comum em cluster é x4, quatro lanes agrupadas em uma porta. É por isso que “NDR” significa 400 Gb/s na prática, embora a lane individual seja de 100 Gb/s.

Duas leituras que a tabela esconde e que valem dinheiro:

Codificação não é detalhe. Até QDR, a cada 10 bits transmitidos, 2 eram sobrecarga de sincronismo, 20% do link. É por isso que QDR, anunciado como “40 Gb/s”, entrega 32. A partir de FDR, a codificação 64b/66b derruba a sobrecarga para cerca de 3%. Se você compara equipamento antigo com novo pelo número do folheto, está comparando grandezas diferentes.

PAM4 muda a física. Até EDR, o sinal era binário: alto ou baixo. De HDR em diante, cada símbolo carrega quatro níveis, dois bits por símbolo. Dobra-se a taxa sem dobrar a frequência, mas os níveis ficam mais próximos e a tolerância a ruído cai. Consequência direta: correção de erro obrigatória (que adiciona latência) e alcance de cobre menor. A física é a razão pela qual seu cluster novo precisa de mais fibra que o antigo.

Latência típica ponta a ponta em NDR: [DATA TBC], a preencher com medição própria ou documentação NVIDIA citada; não publicar número de fabricante sem atribuição.

O ecossistema que roda sobre InfiniBand

InfiniBand raramente aparece sozinho na conversa. Estes são os nomes que você vai ouvir e o que cada um significa:

“NVMe over InfiniBand” é o nome informal da combinação NVMe-oF sobre RDMA sobre InfiniBand.

As interfaces e os cabos

Conectores

O conector muda com a geração porque a física muda. A regra prática: QSFP foi a família dominante de QDR a HDR; OSFP, maior e com dissipação térmica muito superior, tornou-se necessária em NDR; OSFP-XD é a resposta para 1,6 Tb/s.

Um detalhe que gera confusão real: em NDR, uma gaiola (cage) OSFP de switch frequentemente comporta duas portas de 400 Gb/s. Um switch com 32 gaiolas OSFP oferece 64 portas de 400 Gb/s. Contar gaiolas em vez de portas leva a subdimensionar o switch pela metade.

Os três meios

A tendência que decide o projeto: a cada geração, o alcance útil do cobre encolhe. O que era resolvido com cobre barato em EDR exige cobre ativo em HDR e óptica em NDR. O custo de interconexão por porta sobe mais rápido que a taxa de transmissão, e isso precisa entrar no orçamento antes da compra, não depois.

Nas variantes ópticas, o sufixo diz o alcance: SR curto em fibra multimodo, DR em torno de meio quilômetro, FR alguns quilômetros, LR dezenas.

A matemática que decide

Considere um cluster de 32 nós com 8 GPUs cada, 256 GPUs, com custo de aquisição de GPU na casa de US$ 8M, número ilustrativo, substitua pelo seu.

Cenário A, economizar na rede. A interconexão é dimensionada abaixo do necessário. As GPUs ficam ociosas 25% do tempo esperando comunicação. Economia na compra: digamos US$ 400K.

Cenário B, rede dimensionada. Ociosidade cai para 8%.

A conta que importa:

• Diferença de aproveitamento: 17 pontos percentuais sobre um ativo de US$ 8M.
• Valor de GPU efetivamente perdido no Cenário A: US$ 1,36M de capacidade que você comprou e não usa.
• Ao longo de 4 anos de vida útil, o cluster subdimensionado entrega o trabalho de um cluster significativamente menor, enquanto consome a mesma energia, ocupa o mesmo espaço e custa o mesmo contrato de suporte.

Os US$ 400K economizados custaram US$ 1,36M de capacidade instalada. E, diferente de quase todo erro de especificação, este é irreversível sem trocar o cabeamento e os adaptadores, ou seja, sem parar o cluster.

Há um segundo efeito, menos visível e igualmente caro: um cluster com má comunicação não escala. Adicionar nós melhora pouco, porque o custo de coordenação cresce mais rápido que a capacidade. Você perde não só desempenho hoje, mas a opção de crescer amanhã.

Este é o raciocínio por trás do princípio de arquitetura que a ARETE aplica: especificar a interconexão para a fronteira, não para a carga de hoje. A rede é o subsistema de vida mais longa do cluster e o de troca mais cara. Os nós de cálculo serão substituídos duas ou três vezes; o cabeamento estruturado, quase nunca.

Erros de especificação mais comuns

1 · Confundir taxa nominal com taxa útil. “QDR 40 Gb/s” entrega 32. É codificação 8b/10b, não marketing enganoso, mas quem compara gerações pelo folheto compara grandezas diferentes.

2 · Ler “1,6 Tb/s” como uma porta de 1,6 Tb/s. Na esmagadora maioria dos casos, o número se refere a um módulo de porta dupla (2 × 800 Gb/s), a uma capacidade agregada, ou ao roteiro futuro (GDR). Pergunte sempre: isto é por porta, por gaiola, ou agregado? A resposta muda o dimensionamento do switch.

3 · Contar gaiolas OSFP como se fossem portas. Em NDR, uma gaiola comumente serve duas portas de 400 Gb/s. Errar aqui subdimensiona o switch em 50%.

4 · Planejar cobre onde a geração já exige óptica. O alcance de cobre encolhe a cada salto. Um layout de sala herdado da geração anterior, reaproveitado sem revisão, transforma-se em compra emergencial de transceptores, no pior momento, com o pior preço.

5 · Tratar a rede como componente e não como cadeia. Um adaptador rápido atrás de um switch subdimensionado entrega o desempenho do switch. Um switch excelente atrás de um cabeamento inadequado entrega o desempenho do cabo. A rede é uma cadeia em série: o resultado é o do elo mais fraco, e o elo mais fraco raramente é o componente que aparece na proposta.