Kunstig intelligens omformer design av datasenter. Mesteparten av oppmerksomheten går til GPUer, akseleratorer og kjøling, men laget som i det stille avgjør om resten av bygget lykkes, er kablingen. I en AI-klynge avgjør det fysiske laget om du faktisk kan nå 400G og 800G, om høyhastighetslinker forblir rene nok til å passere trafikk, om luftstrømmen overlever et fullt fylt stativ, og om det neste fartshoppet ditt er et kortbytte eller en gaffeltruckoppgradering.
Denne veiledningen er skrevet for infrastruktur- og optiske-nettverksteam. Den forklarer hva som gjør AI-kabling annerledes, kravene som betyr noe med reelle tall, hvordan man sammenligner DAC, AOC og strukturert fiber, en trinn-}for-arbeidsflyt for planlegging, hva du skal forberede før en 400G- eller 800G-migrering, og en sjekkliste du faktisk kan bruke. De tekniske referansene her er basert på gjeldende IEEE 802.3 og ANSI/TIA-942 standarder.
Hvorfor AI-arbeidsbelastninger endrer kabelkravene til datasenteret
Tradisjonelle bedriftsdatasentre ble bygget rundt ganske forutsigbar applikasjonstrafikk, mye av den nord-sør, og beveget seg mellom brukere, applikasjoner og eksterne nettverk. AI-klynger inverterer det mønsteret. Under trening og stor-inferens er den dominerende flyten øst-vest: GPU-er utveksler stadig gradienter og aktiveringer med hverandre gjennom kollektive operasjoner som alle-redusere, vanligvis over en RDMA-struktur (Remote Direct Memory Access).
Dette er synlig i leverandørreferansedesign. NVIDIA bygger GPU-datanettverket som et RDMA-basert blad-ryggradsstoff ved hjelp av enskinne-optimalisert topologi slik at en hvilken som helst GPU maksimalt er ett hopp fra alle andre, som er det som holder multi-GPU-kommunikasjon effektiv i skala. Konsekvensen av kablingen er rent portantall: én enkelt åtte-GPU-node kan presentere åtte 400G (eller 800G) øst-vestporter, og en treningspod med flere bladbrytere per stativ multipliserer trunkfiber og patching veldig raskt.
Når det fysiske laget er under-planlagt, dukker ikke problemene opp på dag én. De vises senere, som overbelastede veier som kveler luftstrømmen, som feilisolering som tar timer i stedet for minutter, og som omarbeiding under den første oppgraderingssyklusen. En detalj som ser triviell ut, for eksempel en omvendt MPO-polaritet eller en forurenset endeflate, kan ta en hel skinne offline. For AI-infrastruktur hører kabling hjemme i arkitekturen fra starten, ikke som siste oppgave før igangkjøring.
Tradisjonell vs AI-Klart datasenterkabling
Gapet mellom tradisjonell og AI-klar kabling er et skifte i designprioriteter, ikke bare et større kabelantall. Tradisjonell design optimaliserer for dagens tilkoblingsmuligheter; AI--klare design optimerer for hastighetsmigrering, tetthet, forutsigbar koblingskvalitet og servicevennlighet over flere oppgraderingssykluser.
| Designfaktor | Tradisjonell datasenterkabling | AI-klar datasenterkabling |
|---|---|---|
| Trafikkmønster | Forutsigbar, ofte nord-sørtung | Tung øst-vest GPU-til-GPU-trafikk over RDMA-stoffer |
| Hastighetsplanlegging | Størrelse for gjeldende nettverkshastigheter | Planlagt for 400G og 800G, med en vei mot 1,6T |
| Tetthet | Moderat port- og fibertetthet | Parallell fiber med høy-tetthet, base-8 og base-16 MTP/MPO |
| Kabelhåndtering | Behandles hovedsakelig som organisasjon | Behandles som en del av luftstrøm, oppetid og vedlikehold |
| Oppgraderingsbane | Krever ofte om-trekk av kabel | Modulær: bytt optikk og kassetter, behold fiberanlegget |
| Vedlikehold | Manuell sporing, tregere | Testet, merket, dokumentert, med definerte veier |
Målet er et fiberanlegg som kan absorbere minst ett fartshopp og en kapasitetsutvidelse uten redesign.
Viktige kablingskrav for AI-datasentre
Planlegg det fysiske laget for 400G og 800G, ikke bare dagens hastighet
AI-klynger beveger seg raskt oppover hastighetsstigen, fra 100G mot 400G, 800G og til slutt 1,6T. 400G- og 800G-grensesnittene er nå formelt standardiserte:IEEE 802.3df, godkjent i 2024, definerer MAC, fysiske lag og administrasjonsparametere for 400 Gb/s og 800 Gb/s Ethernet, inkludert fysiske medietyper som 800GBASE-SR8 og 800GBASE-DR8. På utstyrssiden lever 400G vanligvis i formfaktorene QSFP-DD eller QSFP112, mens 800G bruker OSFP eller QSFP-DD800. Hvis du sammenligner transceiver-emballasje og banekartlegging, detteQSFP-DD teknisk oversikter et nyttig utgangspunkt.
Den praktiske regelen: størrelse fibertype, fiberantall og koblingsbase slik at planten overlever neste hopp. En trunk dimensjonert kun for dagens havnehastighet blir flaskehalsen i det øyeblikket bytte av silisium og optikk beveger seg fremover.
Bruk MTP/MPO-fiber med høy-densitet for GPU-klyngetilkobling
Høyhastighets AI-koblinger-er parallelloptikk, og parallelloptikk kartlegges direkte på fibertall. En 400G-DR4-kobling bruker fire baner, eller åtte fibre, vanligvis avsluttet i en MPO-12-hylse. En 800G-SR8- eller 800G-DR8-kobling bruker åtte baner, eller seksten fibre, ofte en MPO-16 med APC-endesider. Base-8 og base-16 MTP/MPO-trunker sammen med kassetter konsoliderer hundrevis av disse koblingene per rack og gjør utplassering til repeterbare, fabrikktestede trekk i stedet for feltspleising. ForhåndsterminertMTP/MPO trunk kablerog breakout-sammenstillinger (MPO til LC eller MPO til MPO) er ryggraden i denne tilnærmingen.
Tettheten må fortsatt planlegges, ikke maksimeres. Å pakke fiber inn i et stativ uten å tenke på banefylling og luftstrøm skaper tilbake-trykk på utstyrets eksos og gjør porter umulige å betjene. Angi fyllforhold og slakke-administrasjonsregler før, ikke etter, den første installasjonen.
Administrer tap av innsetting, renslighet av koblinger og polaritet
Høyhastighets AI-optikk er mindre tilgivende enn koblingene som kom før dem. PAM4-signaleringen som brukes ved 400G og 800G kjører på strammere kanaltapsbudsjetter enn eldre NRZ-koblinger, og hvert parede MPO- eller LC-par legger til innsettingstap, ofte noen få tideler av en desibel per tilkobling. På tvers av en strukturert kanal med flere tilkoblingspunkter og en fiberlengde forsvinner dette budsjettet raskt, så antall koblinger er en designvariabel, ikke en ettertanke. Skillet mellom innsettingstap og returtap, og hvorfor begge har betydning for parallelloptikk, er verdt å forstå før du sluttfører en kanal; denne forklaringen påinnstikkstap i fibernettdekker mekanikken.
Kontaminering er en av de viktigste årsakene til feil i feltkoblingen, så hver endeflate bør inspiseres og rengjøres før sammenkobling. Polaritet trenger et eksplisitt skjema (metode A, B eller C), og enkel-modus parallellkoblinger bruker vanligvis vinklede APC-kontakter for å kontrollere returtapet. Bøyeradius er viktig i tette paneler, der bøye-ufølsom fiber kjøper margin. Pålitelighet her er en installasjons- og vedlikeholdsdisiplin like mye som et komponentvalg.
Design en modulær, skalerbar strukturert-kablingsarkitektur
AI-infrastruktur endres over en kort syklus, så et anlegg som er vanskelig å modifisere bremser hver fremtidig distribusjon. Strukturert kabling, bygget av stammer, kassetter, kabinetter og definerte veier, lar team legge til kapasitet eller re-reile et stoff uten å-trekke kabelen på nytt.ANSI/TIA-942 spesifiserer minimumskravene til telekommunikasjonsinfrastruktur for datasentreog en kablingstopologi ment å imøtekomme fremtidige applikasjoner, som er akkurat den holdningen en AI-bygning trenger. Med dette grunnlaget blir de fleste hastighetsoppgraderinger et spørsmål om å bytte optikk og kassetter i stedet for å gjenoppbygge det fysiske laget.
Legg kabler for luftstrøm og kjøling i stativer med høy-tetthet
AI-stativer går varme. Strømtettheten i de tetteste GPU-stativene kan overstige 100 kW, og på disse nivåene forårsaker overbelastet kabling direkte resirkulering og lokaliserte hot spots.ASHRAE TC 9.9-veiledning rammer termisk kontroll rundt IT-utstyrsinnløpet og en ren separasjon av varm-gang/kald-gang, og kabling enten støtter det eller motvirker det. I praksis betyr det overliggende fiberbaner der det er mulig, tydelig separasjon av kraft og data, vertikale og horisontale ledere tilpasset det virkelige kabelantallet, disiplinert slakk og ruting som aldri blokkerer bakeksos eller et skorsteinsskap. Kabelhåndtering som holder koblinger sporbare reduserer også menneskelige feil under bevegelser og endringer.
DAC, AOC eller strukturert fiber? En AI-datasenter-kablingsvalgmatrise
Det finnes ikke et enkelt beste medium for en AI-klynge; det riktige valget er drevet av rekkevidde og rolle. Inne i et stativ vinner kobber med kort-rekkevidde fortsatt på kostnader, kraft og ventetid. Ettersom koblinger spenner over rader og haller, blir enkelt-fiber den skalerbare ryggraden. Matrisen nedenfor sammenligner de vanlige alternativene slik en designanmeldelse faktisk veier dem.
| Alternativ | Typisk rekkevidde | Typisk hastighet | Hvor det passer | Media og kontakt | Kostnad og kraft | Best-tilpasset bruksområde |
|---|---|---|---|---|---|---|
| Passiv DAC | Opp til ca 3 m | Opptil 400G (for eksempel 400G-CR8) | Intra-stativ og tilstøtende-stativ-av-stativ | Twinax kobber, integrerte ender | Laveste kostnad, lavest effekt, lavest ventetid | GPU eller server for å bla i samme eller neste rack |
| AOC | Noen få meter til rundt 30 m, lengre i noen tilfeller | 400G og 800G | På rekke og rad, på tvers av stativer i nærheten | Multimode kjerne, faste transceiverender | Lav effekt, ingen rengjøring av yttersiden | Permanent server-for-å legge koblinger utenfor DAC-rekkevidde |
| Multimode strukturert fiber (OM4/OM5) | Titalls meter, opp til ca 100 m, kortere ved 800G | 400G og 800G SR/VR | Blad-rygg i en hall | OM4/OM5 med MTP/MPO og LC | Gjenbrukbar og brukbar | Kort blad-til-rygg og rad-til-radlinker |
| Enkel-modus strukturert fiber (OS2) | 500 m til 2 km (DR/FR), opptil 10 km (LR) | 400G og 800G DR/FR/LR | Rygg, kryss-rom, kryss-bygning | OS2 med MTP/MPO (APC) og LC/APC | Høyest rekkevidde og skalerbarhet | Spine uplinks, cross-hall og større GPU-stoffer |
Dette er også grunnen til at et teppeutsagn som "fiber er alltid foretrukket" trenger en advarsel: fiber er det skalerbare grunnlaget for stoffet, men en passiv DAC er fortsatt det bedre tekniske valget for en-meters hop inne i et stativ.
Hvordan planlegge AI-datasenterkabling, trinn for trinn
Trinn 1: Kartlegg AI-arbeidsbelastningen og nettverkstopologien
Start med arbeidsmengden. En stor treningsstasjon, en flåte med høy-gjennomstrømning, en HPC-klynge og en lagrings-tung distribusjon deler ikke samme trafikkprofil. Kartlegg deretter hvor GPU-beregningsnettverket (øst-vest), lagring, nord-sør og ut-av-båndadministrasjonsnettverk kobles til. En ren slutningsdistribusjon trenger kanskje ikke et stort øst-vest-stoff i det hele tatt, mens en treningspod med flere{10}rack vil. Design til den faktiske trafikkflyten, ikke bare høyden på stativet.
Trinn 2: Lås nåværende og fremtidige hastighetsmål
Definer både den første fasen og den neste. Hvis en pod kjører 400G i dag og 800G neste år, må fiberanlegget dimensjoneres for 800G nå. Utover denne horisonten er arbeidet med terabit-klasse Ethernet allerede i gang:IEEE P802.3dj arbeidsgruppe definerer 200G, 400G, 800G og 1,6 Tb/s drift ved å bruke 200 Gb/s-per-banesignalering. Å vite hvor veikartet er på vei forteller deg hvor mye fiberantall og veikapasitet du skal reservere.
Trinn 3: Velg medier og kontakter med marg
OS2-versus-OM4-spørsmålet er stort sett et rekkeviddespørsmål. OM4 er bra for under-100 m blad-ryggledd, men rekkevidden krymper etter hvert som hastigheten øker, så når koblingene krysser rader eller haller, eller når du vil ha 800G DR/FR takhøyde, er enkeltmodus OS2 det tryggere grunnlaget. Gjennomgang avavstandsgrenser for OM1 til OM5 multimodusfibergjør handelen-konkret. Match MPO-basen (12 versus 16) til optikkens fiberkart, og planlegg polariteten tidlig; for paneler med høy-tetthet detteMTP vs MPO valgguidedekker forskjellene som betyr noe. Der en transceiver og porthastighet ikke stemmer overens, planlegg utbrudd (MPO til LC) i stedet for å improvisere ved installasjonstidspunktet.
Trinn 4: Planlegg stativtetthet, ruter og luftstrøm sammen
Racklayout, kabelruting og kjøling er én beslutning i et AI-miljø med høy-tetthet, ikke tre. Før installasjon, tell hvor mange kabler som kommer inn og ut av hvert rack, bestem hvor patchpaneler sitter, planlegg slakk, og bekreft at en tekniker kan nå og erstatte en port uten å forstyrre strømforbindelser. La veksthøyde stå i brett og fyllforhold. Et stativ som ser rent ut ved igangkjøring blir ubrukelig etter to oppgraderingssykluser hvis banene ble maksimalt ut på dag én.
Trinn 5: Test, dokumenter og vedlikehold til spes
Test hver kobling til prosjektspesifikasjonen, som for høy-hastighetsfiber betyr innsettings-taptesting, OTDR der det er aktuelt, polaritetsverifisering og endesideinspeksjon. Dokumenter hver port, trunk, kassett og bane, inkludert polaritetsskjema, lengde og målt tap, med etiketter som tilordnes som-bygde tegninger. Vedlikehold blir da rutine: rengjøring av yttersiden, periodiske revisjoner og merking og endringskontroll. Følgende lydpraksis for installasjon av fiberoptisk kabelfor å trekke spenning og bøyeradius beskytter tapsbudsjettet du testet for.
Hva du skal forberede før en 400G- eller 800G-migrering
Migreringer mislykkes på det fysiske laget oftere enn på optikken. Før du skjærer over, arbeid gjennom følgende:
- Bekreft fibertype og -antall, og kontroller at eksisterende OM4 fortsatt når målhastigheten, fordi støttet avstand synker når linjehastigheten øker.
- Sjekk at kontaktbasen samsvarer med den nye optikken (MPO-12 versus MPO-16) og at polaritetsskjemaet fortsatt holder ende til ende.
- Beregn på nytt budsjettet for koblingstap for PAM4, reduser deretter antallet tilkoblinger der du kan, og inspiser hver endeflate på nytt-.
- Bekreft bane- og skuffkapasitet for den ekstra kablingen, og bekreft rackets termiske takhøyde for optikk med høyere-effekt.
- Scenekassetter, kofferter, etiketter og en testplan på forhånd, slik at cutoveren er et bytte-i, ikke et re-trekk.
Vanlige feil å unngå
Dimensjonering kun for dagens båndbredde.Et anlegg bygget for gjeldende hastigheter dateres raskt. Bygg inn en realistisk vei til høyere hastighet og høyere porttetthet.
Behandle kabelhåndtering som kosmetikk.Ryddig kabling er nyttig, men ledelse handler egentlig om luftstrøm, tilgang og feilisolering, ikke utseende.
Ofrer vedlikeholdstilgang for tetthet.Høy-tetthet er ikke «så kompakt som mulig». Hvis en tekniker ikke trygt kan spore og erstatte en forbindelse, vil designet koste deg under reelle operasjoner.
Kjøpe komponenter isolert.Kabler, kontakter, paneler, transceivere, stativer og veier danner én kanal. En del som ser billig ut i seg selv kan dekke hele stoffet når den skalerer.
AI-sjekkliste for klar kabling
Arbeid gjennom disse før du skalerer GPUer. Hver vare har en konkret passbetingelse, ikke et vagt ja eller nei.
- Hastighet overhøyde:Kan den installerte fiberen støtte minst ett hastighetshopp (for eksempel 400G til 800G) uten å trekke på nytt, og er fiberantallet tilpasset optikkens banekart (åtte eller seksten fibre)?
- Tapsbudsjett:Er hver-høyhastighetskanal innenfor dens PAM4-innsettings-tap, med antall tilkoblinger og inspeksjon av endesiden bekreftet?
- Tetthet kontra service:Kan en tekniker nå, spore og erstatte en hvilken som helst port uten å forstyrre en strømførende skinne?
- Luftstrøm:Holder veier bakeksos og midtgang rene, og er strøm og data atskilt?
- Dokumentasjon:Er hver kobling testet og registrert med polaritetsskjema, lengde og tap, og merket for å matche som-bygde tegninger?
- Skala:Utvider den blad-rygg-, skinne--optimaliserte topologien til neste pod uten en ny design?
- Medietilpasning:Er hver koblings medium valgt etter rekkevidde, hastighet, termisk påvirkning og servicevennlighet, med DAC i-rack og OS2 på tvers av haller?
Hvis flere svar er nei, redesign det fysiske laget før AI-arbeidsbelastningen skaleres, ikke etter den første utvidelsen.
FAQ
Spørsmål: Hvilken kabling trenger 400G og 800G AI-nettverk?
A: De kjører på parallelloptikk over MTP/MPO-fiber. En 400G-DR4-kobling bruker åtte fibre, vanligvis en MPO-12, mens 800G-SR8 eller 800G-DR8 bruker seksten fibre, ofte en MPO-16 med APC. OM4 eller OM5 dekker kort rekkevidde, OS2 dekker lengre rekkevidde, og passiv DAC håndterer de korteste hoppene i rack. Selve grensesnittene er definert i IEEE 802.3df.
Spørsmål: Er enkelt-modus- eller multimodusfiber bedre for AI-datasentre?
A: Det avhenger av avstanden. Multimode OM4 eller OM5 er kostnads-effektivt for blad-ryggradskoblinger under omtrent 100 m, men støttet avstand krymper ved 800G. Enkel-modus OS2 er det beste grunnlaget når koblinger krysser rader eller haller, eller når du vil ha 800G DR/FR rekkevidde og fremtidig 1,6T takhøyde. Mange store stoffer standardiserer på OS2 av den grunn.
Spørsmål: Når bør et AI-datasenter bruke DAC, AOC eller optiske transceivere?
A: Bruk passiv DAC for koblinger opptil omtrent tre meter inne i eller mellom tilstøtende stativer, der det gir lavest kostnad, kraft og latens. Bruk AOC for permanente koblinger fra noen få meter til omtrent titalls meter. Bruk pluggbare transceivere med strukturert fiber når du trenger rekkevidde, gjenbruk og muligheten til å betjene koblingen.
Spørsmål: Hvordan beregner du et kabeltapbudsjett for høyhastighetskoblinger-?
Sv: Start fra kanalinnsettings-tapsgodtgjørelsen transceiverstandarden spesifiserer (for eksempel 800GBASE-SR8 eller 800GBASE-DR8). Trekk fra fiberdempning multiplisert med lengde, pluss tapet av hvert sammenkoblede koblingspar, som ofte er noen få tideler av en desibel, pluss eventuelle skjøter, og hold margin i reserve. PAM4-budsjetter er strammere enn eldre NRZ-koblinger, så antall tilkoblinger og renslighet av yttersiden avgjør direkte om en kanal passerer.
Spørsmål: Hvordan påvirker kabling kjøling i AI-stativer med høy-tetthet?
A: Overbelastede kabelbunter hindrer luftstrømmen, skaper tilbake-trykk på utstyrets eksos og forårsaker resirkulasjon og varme punkter, noe som betyr noe ved GPU-racktettheter som kan overstige 100 kW. Overheadveier, separert strøm og data, administratorer med riktig størrelse og ruting som holder eksos og inneslutning rydde, alt beskytter kjøledesignet.
Spørsmål: Er kobber fortsatt egnet for AI-datasentre?
A: Ja, kort sagt i-rack- og tilstøtende-rack-tilkoblinger, der DAC er det effektive valget. Høy-tetthet og lengre kjøringer går over til fiber for båndbredde, rekkevidde og skalerbarhet.
Spørsmål: Hvorfor er MTP/MPO-kontakter vanlige i AI-kabling?
A: De bærer åtte til tjue-fire fibre i en enkelt hylse, som er akkurat det parallelloptikk trenger, og de muliggjør forhånds-terminerte trunks for raske, repeterbare installasjoner med høy-tetthet.
Viktige takeaways
AI-arbeidsbelastninger omskriver krav til kabling av datasenter rundt høyere båndbredde, tettere parallellfiber, trange tapsbudsjetter, -luftstrømbevisst ruting og korte oppgraderingssykluser. Det fysiske laget vil ikke gjøre GPU-er raskere alene, men feil lag begrenser ytelsen, påliteligheten og oppgraderingshastigheten til hele miljøet.
Det sikreste designprinsippet er å planlegge fiberanlegget, banekapasiteten, patchingsarkitekturen og dokumentasjonsmodellen før GPU-stativene lander, ikke etter den første utvidelsessyklusen. Bygg for minst ett hastighetshopp, velg media etter rolle i stedet for etter vane, og betrakt koblingens renslighet, polaritet og luftstrøm som første-designbegrensninger. Før du distribuerer eller utvider, bør du vurdere din nåværende kabling mot sjekklisten ovenfor; for strukturert kabling og MTP/MPO-komponenter, utforsk vårfiberoptiske løsninger.
