AI Cluster Network Design: Spine-Leaf, RoCE & NICs

AI-klyngenettverksdesign er prosessen med å dimensjonere GPU-server-NIC-er, blad-ryggbåndbredde, overabonnementsforhold, RoCE-innstillinger, optikk og kabling, slik at distribuert treningstrafikk forblir forutsigbar ettersom klyngen skaleres. Få noen av disse feil, og nettverket - ikke GPU - blir flaskehalsen.

Hvorfor AI Cluster Networking er annerledes

I et tradisjonelt bedriftsdatasenter håndterer nettverket en blanding av nord-sør-brukertrafikk, lagringstilgang, virtualisering og administrasjon. Øst-vesttrafikk finnes, men er sjelden den dominerende belastningen. I en AI-klynge snur situasjonen. GPU-servere som kjører distribuert opplæring, utveksler gradienter og synkroniserer parametere under hvert trinn i jobben. Denne kommunikasjonen er en del av beregningen, ikke en bieffekt av den.

Hvis en GPU på 30 000 USD bruker 30 % av tiden sin på å vente på nettverket under alle -reduseringsoperasjoner, betaler klyngen i praksis for 30 % av sin beregningskapasitet for å være inaktiv. Det er den økonomiske grunnen til at AI-nettverk får så mye oppmerksomhet.

Tre arbeidsbelastningsegenskaper driver designet:

• Sprengt øst-vesttrafikk.Kollektive kommunikasjonsoperasjoner som alle-redusere, alle-samle og redusere-spredning produserer synkroniserte serier på tvers av mange noder samtidig.
• Haal-latensfølsomhet.En enkelt sakte node forsinker hele treningstrinnet. Forutsigbar ventetid betyr mer enn gjennomsnittlig ventetid.
• Skalere-veksten.Klynger som starter på 32 GPUer vokser ofte til 256 eller 1024 innen 18 måneder. Stoffet må skalere uten redesign.

Hvorfor Spine-Leaf Passer AI-klynger

Spine-leaf er standardstoffet for hyperskalering av datasentre fordi det gir hver server-til-server samme hoppantall og samme teoretiske båndbredde. For AI-arbeidsbelastninger oversetter denne enhetligheten seg direkte til mer forutsigbare trinntider for trening.

I en ryggrad-bladtopologi kobles GPU-servere til bladbrytere, og hvert blad kobles til hver ryggrad. Enhver GPU-til-GPU-kommunikasjon krysser nøyaktig ett blad, en ryggrad og ett blad til. Det er ingen aggregeringslag som introduserer variabel latens eller chokepoints.

Forutsigbar ventetid

Equal-cost multi--ruting (ECMP) sprer flyter over ryggradsbrytere. Når det er konfigurert riktig med adaptiv ruting eller dynamisk lastbalansering, forhindrer dette hash-kollisjonene som gjør at noen strømmer går mye langsommere enn andre - et kjent problem i statiske ECMP-stoffer som bærer få, men store strømmer, som er nøyaktig hva AI-trening genererer.

Høy halveringsbåndbredde

Biseksjonsbåndbredde er tilgjengelig gjennomstrømning mellom to like halvdeler av klyngen. AI-opplæring drar nytte av ikke-blokkerende eller nesten-ikke-blokkerende design der blad-til-opplinkkapasiteten er lik eller nesten lik nedlinkkapasiteten som vender mot serverne. IETF definerer og diskuterer disse konseptene iRFC 7938, som dekker BGP-rutede Clos-stoffer som er mye brukt i store-datasentre.

Enklere utskalering-

Legg til flere blader for å legge til flere servere. Legg til flere ryggrader for å legge til mer båndbredde i snitt. For klynger utover noen få tusen GPUer, utvider en super-ryggrad (5-Clos) eller skinneoptimalisert topologi det samme prinsippet ett lag lenger.

Kjernekomponenter i et AI-klyngenettverk

GPU-servere og nettverkskort

NIC er der stoffet møter verten. I AI-klynger driver NIC-valg alt nedstrøms - bryterporthastighet, optikkvalg og kablingstetthet.

Utvalgskriterier for AI-arbeidsbelastninger:

• Porthastighet:200G, 400G eller 800G per port. Match med GPU-generering og PCIe-båndbredde.
• PCIe generasjon:En 400G NIC trenger PCIe Gen5 x16 for å unngå verts-sidegass. PCIe Gen4 x16 caps ved ~256 Gbps brukbare.
• RDMA og RoCEv2-støtte:Nødvendig for kjerne-omgå GPU-kommunikasjonsbiblioteker som NCCL.
• GPUDirect RDMA:Tillater direkte GPU-til-NIC DMA, fjerner vertsminnekopier.
• Mulighet for flere-skinne:Mange AI-servere bruker 4 eller 8 NIC per node, én per GPU-par, for skinne-optimaliserte topologier.

En typisk 8-GPU-server bruker i dag enten 4× 400G NIC (én per to GPUer) eller 8× 400G NIC (en per GPU) avhengig av arbeidsbelastning og budsjett. Referansearkitekturer fraNVIDIA-nettverksdokumentasjondekke designavveiningene i detalj.

Blad- og ryggbrytere

Brytervalgskriterier for AI-stoffer skiller seg fra bedriftsvalg. Bufferstørrelse, overbelastningskontroll og telemetri betyr mer enn funksjonsbredde.

• Per-porthastighet og radix:En 51,2 Tbps switch ASIC leverer 64× 800G-porter eller 128× 400G-porter. Radix bestemmer hvor flatt stoffet kan være.
• Bufferarkitektur:Dype buffere absorberer innkastede utbrudd, men legger til latens. Grunne buffere reduserer ventetiden, men krever presis overbelastningskontroll.
• RoCE-funksjonssett:ECN-merking, PFC, DCQCN eller tilsvarende overbelastningskontroll, og riktig håndtering av prioriterte køer ende-til-ende.
• Telemetri:Inband network telemetri (INT), per-kødybderapportering og mikrosekund-oppløsningstellere for ECN-merker og PFC-pauser.

Optikk, DAC og AOC kabling

Ved 400G og 800G blir kablingsanlegget et reelt ingeniørproblem. Formfaktorer, koblingsbudsjetter og breakout-konfigurasjoner trenger alle tidlig planlegging.

• DAC (Direct Attach Copper):Opptil ~3 meter for 400G, lavest pris og lavest effekt. Tung og klumpete i skala.
• AOC (aktiv optisk kabel):Opptil ~30 meter, tynnere enn DAC, men fast-lengde og bruker optikkkraft i begge ender.
• Pluggbar optikk:Påkrevd utover AOC-avstand. QSFP-DD- og OSFP-formfaktorer dominerer 400G/800G. MPO/MTP-fibersammenstillinger håndterer de parallelle-fiberforbindelsene.

For inter-rack-koblinger og strukturert kabling på 400G/800G er parallelloptikk over MPO-termineringer nå standard. Valget mellom trunk-kabler og breakout-enheter avhenger av svitsjportallokeringen din - se vårMPO breakout kabel guidefor den praktiske utvalgslogikken, og den bredereSammenligning av MPO trunk vs breakoutnår du planlegger løp-til-blader.

RoCE og Lossless Ethernet i AI Fabrics

RoCEv2 (RDMA over Converged Ethernet v2) er den dominerende Ethernet-transporten for AI-arbeidsbelastninger. Den lar NIC-er flytte data direkte mellom GPU-minneregioner uten kjerneinvolvering i begge ender. NCCL, GPU-kommunikasjonsbiblioteket som ligger til grunn for nesten alle distribuerte treningsrammeverk, bruker RoCEv2 når InfiniBand ikke er tilgjengelig.

RoCE fungerer bra når den er riktig konfigurert. Den feiler stygt når den er konfigurert feil. DeInfiniBand Trade Associationpubliserer RoCE-spesifikasjonene, og de fleste NIC- og bytteleverandører publiserer detaljerte konfigurasjonsveiledninger som bør følges -til-.

Hvorfor tapsfri atferd er viktig

RDMA ble designet forutsatt en tapsfri transport. Når pakker faller, er RDMA-gjenoppretting dyrt - gå-tilbake-N-omsending kan stoppe et treningstrinn i millisekunder, noe som er enormt i forhold til RDMA-budsjettet for mikrosekunders-skala.

For å tilnærme tapsfri oppførsel på Ethernet, bruker stoffet to mekanismer som fungerer sammen:

• PFC (Priority Flow Control, IEEE 802.1Qbb):En svitsj stopper innkommende trafikk på en bestemt prioritetskø når bufferen fylles. Dette er en siste-utveismekanisme.
• ECN (Explicit Congestion Notification, RFC 3168):Bytter merkepakker når køer nærmer seg en terskel. NIC reduserer sendehastigheten før buffere faktisk fylles, og unngår ideelt sett PFC helt.

Målet er at ECN skal gjøre nesten all håndtering av overbelastning, med PFC som sikkerhetsnett. Hvis du ser hyppige PFC-pauser i jevn-trafikk, er ECN-terskelverdiene dine feil eller stoffet er underdimensjonert.

Vanlige RoCE-implementeringsfeil

Hvordan designe et AI-klyngenettverk: et arbeidsrammeverk

Dette er den delen de fleste "AI-nettverk"-artikler hopper over. De syv trinnene nedenfor gir deg konkrete input og output på hvert trinn.

Trinn 1: Definer arbeidsmengde og skala

Innganger:Arbeidsbelastningstype (foropplæring,-finjustering, inferens, blandet), mål-GPU-antall i dag, mål-GPU-antall om 18 måneder, modellstørrelsesområde.

Produksjon:En arbeidsbelastningsprofil som informerer NIC-hastighet og overabonnementstoleranse. Stor foropplæring av grensemodeller krever ikke-blokkerende 400G+-stoffer. Finjusteringsarbeidsbelastninger kan tolerere 2:1 overabonnement. Inferensklynger trenger ofte lavere båndbredde, men lavere halelatens.

Trinn 2: Velg NIC-hastighet og antall per server

Beslutningslogikk:

• Foropplæring av store modeller, 8-GPU-servere → 4–8× 400G NIC per server, eller 4×800G
• Midt-opplæring, 8-GPU-servere → 2–4× 400G NIC per server
• Inferensservering → 1–2× 200G eller 400G NIC per server, avhengig av modellparallellisme

Bekreft PCIe-båndbredden på verten. En enkelt 400G-port krever at PCIe Gen5 x16 kjører med linjehastighet; dobling til 800G krever Gen6 eller deling på to spor.

Trinn 3: Større størrelse på bladlaget

Eksempel på - 32-nodeklynge, 8 GPUer per node, 4× 400G NIC per node:

• Totalt behov for server-vendte porter: 32 × 4=128 porter ved 400G
• Nedkoblingsbåndbredde per node: 4 × 400=1.6 Tbps
• Total nedkoblingsbåndbredde for klynge: 32 × 1.6=51.2 Tbps

Ved å bruke en 64-ports 400G leaf switch (25,6 Tbps total kapasitet), kan hver blad koble til 32 serverporter og bruke de resterende 32 portene som opplinker. Med 4 blader dekker du alle 128 serverporter. Hvert blad bidrar med 32 × 400 G=12.8 Tbps med opplink mot ryggraden.

Trinn 4: Dimensjoner ryggraden

For en ikke-blokkerende (1:1) design, må total oppkoblingskapasitet tilsvare total nedkoblingskapasitet. Fra trinn 3:

• Total bladoppkobling kreves: 4 blader × 12,8 Tbps=51.2 Tbps
• Hvis hver ryggrad har 32× 400G-porter=12.8 Tbps, trenger du 4 ryggrader
• Hvert blad kobles til alle 4 ryggradene ved hjelp av 8 oppkoblinger per rygg (8 × 400G × 4=12.8 Tbps per blad - samsvarer)

Hvis du bruker 64-porters 400G ryggradsbrytere, har hver ryggrad ledig kapasitet til å vokse klyngen, nyttig for 18-måneders planen fra trinn 1.

Trinn 5: Still inn overtegningsforholdet

Trinn 6: Separat beregnings-, lagrings- og administrasjonstrafikk

Tre alternativer, i rekkefølge for økende isolasjon:

• Delt stoff med QoS-klasser:Beregning, lagring og administrasjon på separate DSCP-prioriteter. Laveste kostnad; krever nøye QoS-konfigurasjon.
• Logisk atskilte VLAN/VRF:Samme maskinvare, separate kontrollplan. Nyttig for klynger med flere-leietakere.
• Fysisk separate stoffer:Dedikerte nettverkskort, brytere og kabling for databehandling kontra lagring. Høyeste kostnad; vanlig i frontier-modellklynger der enhver påstand er uakseptabel.

Lagringstrafikk for AI er i seg selv tung --sjekkpunktskriving for en stor modell kan flytte hundrevis av gigabyte i korte støt. Planlegg det eksplisitt. Et strukturert kablingsanlegg med høy-tetthet som brukerMPO/MTP stamkablerforenkler kjøring av parallelle tekstiler i samme fysiske infrastruktur.

Trinn 7: Valider før produksjon

Nettverks-tester fanger opp noen problemer. Arbeidsbelastning-tester fanger resten.

• Båndbredde:iperf3 eller ib_send_bw mellom hvert nodepar; bør nå 90 %+ av NIC-linjehastigheten.
• Latens:ib_read_lat eller lignende; sjekk distribusjon, ikke bare gjennomsnittlig. P99.9 betyr mer enn gjennomsnittlig.
• Pakketap:Kjør 24-timers bløtleggingstest under belastning; ethvert tap som ikke er null i RoCE-trafikkklassen er et problem.
• ECN-merkingsadferd:Kontroller at merker vises før PFC utløses; Hvis PFC-pauser er hyppige i steady state, må du stille inn på nytt.
• Kollektiv kommunikasjon:Kjør NCCL-tester (all_reduce_perf, all_gather_perf) med full klyngestørrelse. Sammenlign med leverandørens referansenummer.
• Job-nivåtest:Kjør en representativ opplæringsjobb i 4–6 timer. Se GPU-bruk - vedvarende verdier under 50 % på en modell med riktig-størrelse indikerer vanligvis et nettverksproblem.

Tradisjonelt datasenternettverk vs AI-ryggrad-Løvstoff

Ethernet RoCE vs InfiniBand: Quick Decision Guide

Spørsmålet kommer opp i nesten alle AI-klyngeprosjekter. Begge fungerer. Valget kommer vanligvis ned til operativ passform, ikke ren ytelse.

• Velg InfiniBand hvis:Teamet ditt driver allerede InfiniBand-stoffer, du vil ha den enkleste veien til tapsfri transport, eller du kjøper en fullt-integrert leverandørreferansearkitektur.
• Velg Ethernet RoCE hvis:Driftsteamet ditt er Ethernet-innfødt, du vil ha alternativer for flere-leverandørswitch, du må integrere AI-stoffet med eksisterende datasenternettverk, eller du forventer skalering utover det gjeldende InfiniBand-topologier støtter rent.

Ultra Ethernet Consortium, dannet i 2023, jobber aktivt med å standardisere Ethernet-forbedringer spesielt for AI-arbeidsbelastninger. For de fleste nye klynger i 2026 er Ethernet RoCE en forsvarlig standard med mindre det er en spesifikk grunn til å velge noe annet.

Vanlige feil å unngå

Oppgradere brytere uten å sjekke NIC

Et 800G-svitsjstoff gjør ingenting for deg hvis NIC-ene kjører på 400G eller verts-PCIe-en går tom for båndbredde. Design vertssiden først, deretter brytersiden. PCIe Gen5 x16 begrenser en enkelt port til omtrent 504 Gbps i den virkelige-verdenens gjennomstrømning - behagelig for 400G, marginal for 800G.

Optimaliserer porthastighet, men ignorerer kablingstetthet

Ved 64-port 400G kan kablene under hver svitsj bli fysisk uhåndterlig uten planlegging. Bruk bruddkabler der det er hensiktsmessig, rute fibre gjennom strukturerte veier og standardiser på koblingstyper. Koblingskvalitet og terminering betyr noe ved høye hastigheter - vårfiberoptiske kontakttyper guidedekker avveiningene mellom LC, MPO og nye formfaktorer med høy-tetthet.

Behandle RoCE som Plug-and-Play

Den største designfeilen i ekte AI-klynger er å ikke velge feil bryter - det er å undervurdere hvor mye ende-til-end RoCE-konfigurasjonsarbeid som kreves. Budsjetttid for innstilling av ECN-terskler, PFC-prioriteringer og MTU-konsistens. Planlegg en dedikert valideringsfase før produksjonsbelastningen kjøres.

Blande all trafikk på ett stoff uten QoS

Lagringsreplikering, overvåkingsagenter og administrasjonstrafikk kan ødelegge treningstrinntider hvis de deler buffere med datatrafikk. Enten skille dem fysisk eller håndheve strenge QoS-klasser med separate prioriteter og ECN-konfigurasjon.

Bygg kun for dagens klynge

De fleste AI-klynger vokser 4–8× innen to år etter første utrulling. Velg bryterradix og ryggradskapasitet som tillater ikke-forstyrrende utvidelse. Å trekke kabler i et live AI-datasenter er dyrt; planleggingskanal og oppdateringskapasitet ved utrulling er billig.

Når skal du gå opp fra 400G til 800G

800G NIC og svitsjer er tilgjengelige, men dyrere per port. Vurder å øke når:

• Per-GPU-båndbreddebehov overstiger det 400G kan gi -, for eksempel forventer H100 og nyere GPUer med NVLink 5 høyere ekstern båndbredde
• NCCL alle-reduserer tidsskalaen dårlig med klyngestørrelse, noe som indikerer nettverksmetning
• Kabeltetthet ved 400G blir fysisk uhåndterlig - færre 800G-porter kan erstatte flere 400G-porter
• Den neste GPU-generasjonen i veikarten din forventes å trenge den innenfor klyngens avskrivningsvindu
• Du bygger en grenseoverskridende-modellopplæringsklynge der en hvilken som helst ledig datatid koster betydelig mer enn optikkoppgraderingen

For de fleste produksjonsklynger i 2026 er 400G fortsatt den rette balansen mellom kostnader, økosystemmodenhet og kapasitet. 800G er fornuftig i den høye enden og som en fremtidsinvestering for klynger som bygges i dag og forventes å vare i 4–5 år.

Konklusjon

Det sterkeste AI-klyngenettverket er ikke det med de raskeste bryterne. Det er den der NIC-valg, dimensjonering av blad/ryggrad, overabonnement, RoCE-konfigurasjon, trafikkseparasjon og fysisk kabling alle støtter hverandre og arbeidsbelastningen de ble valgt for.

Start fra arbeidsmengden og 18-måneders vekstplan. Beregn båndbreddebehov for hvert lag ved å bruke reelle tall, ikke bare tommelfingerregler. Konfigurer RoCE end-to-ende og valider med ekte kollektive kommunikasjonsstandarder. Budsjett for kabelanlegget - ved 400G og 800G er det fysiske laget ikke lenger trivielt.

Klyngen som holder GPU-ene opptatt med 95 %+ utnyttelse gjennom hvert treningstrinn, er den som tok hensyn til alle disse lagene. Klyngen som leveres med en raskere bryter og et tregere stoff, vil bruke år på å forklare hvorfor GPU-ene er inaktive.

Videre lesing

• RFC 7938 - BGP i store-datasentre
• InfiniBand Trade Association - RoCE-spesifikasjoner
• NVIDIA-nettverksdokumentasjon
• Installasjonsveiledning for fiberoptisk kabel
• Innsettingstap vs returtap forklart