100G QSFP28 Rygg-Løvdesign: Unngå portfeil

Et 100G rygg-blad er en av de mest pålitelige måtene å koble til 25G-servere, 100G-oppkoblinger, lagringsklynger og øst{4}}vest-arbeidsbelastninger i et moderne datasenter. Appellen til QSFP28 er dens fleksibilitet: en enkelt port kan bære en innebygd 100G-kobling eller bryte ut i fire 25G-servertilkoblinger, slik at én bryter kan betjene både tilgangskanten og stoffkjernen.

Raske brytere er den enkle delen. En 100G-design lever eller dør på avgjørelsene som ble tatt før innkjøpsordren: hvordan hver port er allokert, hvordan overabonnementsforholdet ser ut under normale forhold og feilforhold, hvilken optikk som matcher de virkelige kabelføringene, hvor mye varme disse optikkene tilfører, og om stoffet kan vokse mot 400G uten en gaffeltruckoppgradering.

Denne veiledningen er en-leverandørnøytral planleggingsreferanse for nettverks- og infrastrukturteam. Figurene nedenfor følger gjeldende IEEE 802.3 Ethernet-spesifikasjoner og de relevante optiske multi-kildeavtalene, men hver svitsj og sender/mottaker har sitt eget datablad, så bekreft de nøyaktige tallene for maskinvaren du kjøper.

Slik leser du eksemplene i denne veiledningen.Med mindre annet er oppgitt, antar de enkelt-hjemmeservere med én 25G NIC hver, 48 vertsporter per blad, 100G blad-til-oppkoblinger, en full mesh der hvert blad kobles til hver ryggrad, og fremadrettet feilretting aktivert der optikken krever det. Dobbel-homeing, raskere NIC eller forskjellige porttellinger vil endre hvert tall som følger.

Hva er et 100G Spine-Leaf Network?

Spine-leaf er en to-datasenterarkitektur bygget av bladbrytere og ryggsvitsjer. Bladbrytere sitter på toppen av hvert rack og gir server-porter pluss oppkoblinger til ryggraden. Brytere for ryggraden danner høyhastighets-ryggraden. Hvert blad kobles til hver ryggrad, så trafikk mellom stativer flytter blad til rygg til blad langs en bane som er like lang.-

Designet er populært fordi det gir:

• Forutsigbar, lik banelengde mellom to rack
• Innebygd støtte for tung øst-vesttrafikk
• Alle oppkoblinger aktive gjennom ECMP i stedet for blokkert av spenningstreet
• Enkel horisontal skalering - legg til blader for porter, legg til ryggrader for kapasitet

I et 100G-stoff kjører blad-til-ryggkoblinger på 100G, mens server-vendte porter kjører på 10G, 25G, 50G eller 100G, avhengig av arbeidsbelastningen. I dag er 25G-tilgang med 100G-oppkoblinger den vanligste bedriftskombinasjonen.

Fysisk design vs logisk design

"Nettverksdesign" dekker to lag som er enkle å blande sammen. Denne veiledningen konsentrerer seg om de fysiske og kapasitetslags - portene, optikk, overabonnement, kabling - fordi det er det du forplikter deg til når du kjøper maskinvare. Men det logiske laget bestemmer hvordan stoffet videresender trafikk, og det former flere fysiske valg.

På den fysiske siden sitter bryter og portvalg, NIC-hastigheter, overabonnement, optikk, kabling, strøm og kjøling. På den logiske siden sitter ECMP-belastningen-balansert på tvers av oppkoblinger; et overlegg som VXLAN med et BGP EVPN-kontrollplan for fler-leielag 2 og lag 3 over et rutet underlag; dobbel-homing med MLAG eller MC-LAG og LACP ved tilgangskanten; og feil-domenestørrelse. For RDMA-stoffer må du også konstruere et nesten-tapsfritt nettverk, beskrevet nedenfor. Avgjør den logiske modellen tidlig, fordi den påvirker antallet opplinker, hvor mange spines du vil ha for ECMP-bredde, og om blader er distribuert som MLAG-par.

Trinn 1 - Definer serverhastighet og arbeidsbelastning

Start med arbeidsmengden, ikke optikken. En generell virtualiseringsklynge, et lagringsstoff og en AI-opplæringspod har svært forskjellige behov, og riktig design følger trafikken.

25G servere med 100G oppkoblinger

For de fleste bedrifts- og private-skymiljøer er 25G-tilgang med 100G leaf-to-opplinker det perfekte stedet: et stort hopp over 10G samtidig som NIC-, kabel- og byttekostnadene holdes rimelige. En typisk versjon parer 25G nedkoblinger, 100G oppkoblinger og et forhold på 2:1 til 3:1 for generell databehandling, med lavere overabonnement reservert for lagrings- og{13}}sensitive nivåer. Den passer til virtualisering, privat sky, nettnivåer og hoveddelen av bedriftsdatasentre.

Native 100G for lagring, AI og HPC

Noen arbeidsbelastninger trenger innebygd 100G til serveren: distribuert og NVMe-av lagring, AI og maskin-opplæring, HPC, stor-analyse og lav-latency RDMA. Her bør overabonnementet være lavt - ofte ikke-blokkerende eller nær det - fordi trafikkmønsteret er problemet, ikke bare volumet.

AI-, HPC- og RDMA-arbeidsbelastninger genererer tett, synkronisert, alt-til-all østlig-vest-trafikk: mange noder overfører til mange noder samtidig, så den statistiske utjevningen som sparer deg for en virtualiseringsstruktur, gjelder ikke lenger. RDMA over Converged Ethernet (RoCE) legger til en ny begrensning, fordi den forventer et nesten-tapsfritt stoff, som i praksis betyr Priority Flow Control (PFC) og Explicit Congestion Notification (ECN) innstilt ende til ende. Et stoff som slipper rammer under overbelastning vil se RoCE-ytelsen kollapse, så disse klyngene bygges vanligvis i 1:1 med nøye buffer- og overbelastningskonfigurasjon.

Trinn 2 - Hvordan beregne blad- og ryggbryterporter for et 100G stoff

Havneplanlegging starter ved bladet, ikke ryggraden. Arbeid utover fra serverne:

1. Tell server-vendte porter per rack.
2. Bestem om hver er innebygd 25G, native 100G eller en breakout-bane.
3. Reserver QSFP28-porter for ryggradsoppkoblinger.
4. Legg til ekstra porter for vekst, redundans, test og utskifting.
5. Beregn overabonnementet på nytt etter at breakout er tildelt, ikke før.

Tell server-vendte porter

For hvert rack, pin ned servertall, NIC-hastighet, NIC per server, enkelt- eller dobbel-hjemmeside og nødvendige reservedeler. Et rack med 48 servere med én 25G NIC trenger 48 vertsporter. Dobbelt-hjem disse serverne til et bladpar og tilgangsporten teller over paret dobles.

Reserver opplink-porter, og se dobbelttellingen-

Etter vertsporter, reserver QSFP28-porter for ryggraden. Det er her den vanligste feilen skjuler seg: hvis de samme QSFP28-portene brukes til 4x25G-utbrudd, er de ikke lenger tilgjengelige som oppkoblinger. Den største planleggingsfeilen er ikke å feilberegne 100G-opplinker, men å overvurdere opplink-portene som er igjen når utbruddet har spist seg inn i dem. Tilordne breakout før overtegningen matematikk, eller forholdet du beregnet er fiksjon.

Et utført eksempel hjelper. Ta et vanlig 1U-blad med 48 SFP28-vertsporter og 8 QSFP28-porter:

Med seks oppkoblinger som bærer 1200G tilgangstrafikk, kjører bladet på 2:1, og to QSFP28-porter forblir i reserve. Gi hver port en enkelt, eksplisitt rolle på et regneark før du bestemmer noe annet.

La det være ledig kapasitet

Ikke konsumer hver port på dag én. Reserver takhøyde for nye servere, ekstra spines, midlertidige testkoblinger, mislykkede-portbytte, overvåkingstrykk og migrering. Litt ubrukt kapasitet er langt billigere enn en redesign.

Trinn 3 - Beregn overabonnement, inkludert N-1

Overabonnement sammenligner den totale server-vendt båndbredde på et blad med dens totale opplinkbåndbredde til ryggraden:

Overabonnementsforhold=total nedlinkbåndbredde / total opplinkbåndbredde

For bladet ovenfor, 48 x 25G=1,200G ned og 6 x 100G=600G opp, noe som gir 1200 / 600=2:1. Det betyr dobbelt så mye teoretisk tilgangsbåndbredde som uplink-båndbredde - vanligvis greit for generell databehandling, der servere sjelden sender med linjehastighet samtidig, men en reell begrensning for lagring, AI, HPC og RDMA.

Sjekk alltid N-1-kassen

Et stoff kan se sunt ut i normal drift og kveles under en feil. Tenk på et blad med åtte 100G oppkoblinger fordelt jevnt over fire ryggrader - to per ryggrad, 800G totalt, så 1200G tilgang gir 1,5:1. Mister den ene ryggraden og bladet faller to oppkoblinger til 600G, og presser forholdet til 2:1 så lenge strømbruddet varer. Hvis målet ditt er "ikke verre enn 2:1 selv under feil", må du starte nær 1,5:1. Beregn både det normale forholdet og N-1-forholdet etter å ha mistet en ryggrad eller opplink; det andre tallet er det som biter under vedlikehold.

Planlegging varierer etter arbeidsmengde

Det er ikke noe universelt forhold, så behandle følgende som planleggingsområder, ikke standarder, og valider mot målt trafikk der du kan:

Ved en oppgradering, se gjennom gjeldende oppkoblingsbruk, topp- og øst-vest-mønstre, lagringsflyter og sikkerhetskopieringsvinduer før du forplikter deg til et forhold.

Trinn 4 - Velg QSFP28 Optikk og kabler

QSFP28 100G-grensesnitt er standardisert av IEEE 802.3 -802.3bm endringlagt til 100GBASE-SR4, sammen med enkelt-modus LR4 PHY. Velg optikk etter avstand, fibertype, kontakt, strøm og bryterkompatibilitet, og motstå standardinnstilling til lengste rekkevidde: rekkevidde du ikke trenger betyr vanligvis kostnad og kraft du ikke trenger. Match modulen til oppkjøringen med fornuftig margin.

DAC og AOC for korte serverkoblinger

For tilkoblinger i-rack og tilstøtende-rack er QSFP28 direkte-kobber (DAC) og aktive optiske kabler (AOC) praktiske. Passiv DAC passer de korteste hoppene - noen få meter - til lavest pris og kraft, mens AOC utvider rekkevidden og er lettere og mer fleksibel der kobberbulk blir et problem. For 25G-tilgang er QSFP28-til-4x SFP28 breakout DAC eller AOC vanlig når bryteren støtter breakout.

100GBASE-SR4 for korte multimodus-oppkoblinger

SR4 bærer 100G overåtte fibre av parallell multimodusved å bruke en MPO/MTP-kontakt, noe som gjør det til et kostnadseffektivt-valg for kortblads-til-ryggradsløp på rad. Rekkevidden avhenger av fiberkvaliteten -, omtrent 70 m på OM3 og 100 m på OM4 -, så det lønner seg å vite hvilken rekkevidde du kan forvente fraOM3, OM4 og OM5 multimodusfiberi gulvet ditt. Hovedplanleggingsbegrensningen er parallellkabling: MPO-patching og polaritet må utarbeides på forhånd.

CWDM4 eller FR for enkelt-modus går til ca. 2 km

For koblinger mellom-rader, mellom-rom eller mellom-haller passer enkelt-modusoptikk som CWDM4 eller FR bedre. De100G CWDM4 MSAdefinerer en rekkevidde på 2 km over et enkelt par enkelt-modusfibre med en dupleks LC-kontakt og FEC. Fordi de bruker dupleksfiber i stedet for parallell MPO, faller CWDM4- og FR-optikk ofte inn i et enkelt-modusanlegg mer rent enn SR4 -, og over disse avstandene er valget mellomOS1 og OS2 enkel-fiberbegynner å ha betydning for tapsbudsjettet ditt. Kortere enkeltmodusvarianter som DR dekker omtrent 500 m der det er alt du trenger.

100GBASE-LR4 for campus og DCI

LR4 er alternativet for lang-rekkevidde, og har 100Gopptil ca. 10 km over dupleks enkel-fiberfor campus, bygning-til-bygning eller koblinger til-datasenter-. Bruk den bare der avstanden virkelig krever det; optikk med lang-rekkevidde på korte hopp i-datasenter-tillegg ganske enkelt kostnader, kraft og varme uten å forbedre stoffet.

QSFP28 100G Optics Comparison

Tabellen oppsummerer hvor hvert alternativ passer. Behandle rekkeviddene som typiske planleggingstall, og bekreft de nøyaktige tallene, fiberkvaliteten og FEC-kravet på hver moduls dataark.

Bearbeidede eksempler: små, mellomstore og store stoffer

Dette er forenklede planleggingsmodeller, ikke tegninger. Ryggantall velges vanligvis for å dele opplinker jevnt og sette ECMP-bredde: to rygger er det praktiske minimum for redundans, fire gir finere N-1-granularitet og bedre belastningsspredning, og åtte passer til store stoffer. Bladtelling skalerer med serverportene du trenger.

Lite stoff

• 8 bladbrytere
• 2 ryggradsbrytere
• 48 x 25G serverporter per blad
• 4 x 100G oppkoblinger per blad
• 384 enkelt-hjemmebaserte 25G-serverporter

Per blad: 1200G ned, 400G opp, altså 3:1. Fungerer for generell databehandling, men tett for tung lagring eller AI. Legg til oppkoblinger eller trim tilgang per blad hvis du trenger et lavere forhold.

Middels stoff

• 16 bladbrytere
• 4 ryggradsbrytere
• 48 x 25G serverporter per blad
• 6 x 100G oppkoblinger per blad
• 768 enkelt-hjemmebaserte 25G-serverporter

Per blad: 1200G ned, 600G opp, altså 2:1. En solid balanse for virtualisering og bedriftsarbeidsbelastninger, og fire spines sprer ECMP bedre enn to.

Stort stoff

• 32 bladbrytere
• 8 ryggradsbrytere
• 48 x 25G serverporter per blad
• 8 x 100G oppkoblinger per blad
• 1536 enkelt-hjemmebaserte 25G-serverporter

Per blad: 1200G ned, 800G opp, altså 1,5:1. Mer takhøyde på opplinken, men mer optikk, fiber, kostnader, strøm og kabling å administrere. I denne skalaen er dokumentasjon en del av designet: merking, portkart, polaritet, reserveoptikk, luftstrøm og overvåking må planlegges før installasjon.

QSFP28 Breakout Planning (100G til 4x25G)

Breakout er den mest nyttige og mest misforståtte delen av QSFP28-design. Der svitsjen, kabelen og konfigurasjonen tillater det, deles én QSFP28-port i fire 25G SFP28-koblinger, og kobler fire 25G-servere fra en enkelt 100G-port. Den tjener sin plass når du trenger høy 25G-tetthet, har rikelig med QSFP28-porter, ønsker å redusere kostnadene per servertilkobling, eller bygger et overgangs 25G/100G-stoff ved å bruke QSFP28-til-4x SFP28 DAC, AOC ellerMTP/MPO breakout kableravhengig av avstand.

Haken er at breakout bruker QSFP28-porter. Hvis en QSFP28-svitsj med 32-porter dedikerer 16 porter til 4x25G breakout, støtter disse 16 portene 64 servere – men bare 16 QSFP28-porter gjenstår for oppkoblinger, lagring, sammenkoblinger og reservedeler. Tommelfingerregelen er å telle breakout-porter først, og deretter telle hva som er igjen for uplinks.

Før du forplikter deg, bekreft et par ting, og bestem tidlig om hvert løp skal være enbagasjerom eller en breakout-enhet:

• Hvilke porter støtter breakout, og er det portgruppebegrensninger-?
• Deaktiverer aktivering av breakout tilstøtende porter?
• Støtter bryteroperativsystemet modusen du trenger?
• DAC, AOC eller breakout-optikk for hver kjøring?
• Er alle fire kjørefelt nødvendig nå, eller først senere?
• Hvordan vil breakout påvirke en fremtidig flytting til native 100G-servere?

Strøm, kjøling og kabelhåndtering

Et 100G-stoff produserer mer enn båndbredde - det produserer varme, luftstrømbelastning og kabeltetthet. Strømbudsjettering bør dekke bryterchassis og vifter, QSFP28 optiske moduler (og DAC eller AOC der brukt), redundante rekvisita, rack-nivåkapasitet og vekstmargin. Kjøling bør ta hensyn til varm- og kald-gangoppsett, konsistent front-til-bak eller bak-til-luftstrøm, blankingspaneler, kabelhinder, omgivelsestemperatur og modul-temperaturovervåking, fordi en ryggrad fullpakket med optikk er en reell belastning.

Kabling skaleres raskt: 16 blader til 4 spines er allerede 64 blader-til-ryggledd, som hver må merkes, rutes, testes og dokumenteres. Et stoff i full-netting er mye enklere å bygge og vedlikeholde med forhånds-terminertMPO/MTP trunkkablingenn med felt-terminert fiber. Lag bør også avgjøre kontakt- og polaritetskonvensjoner på forhånd; depraktiske forskjeller mellom MTP og MPOer verdt å bekrefte før du bestiller. Slurvete dokumentasjon koster ingenting på dag én og mye under det første strømbruddet.

Designer for en 400G-oppgradering

Design stoffet med en realistisk oppgraderingsbane. Du trenger ikke 400G overalt på dag én, men du bør unngå valg som gjør flyttingen smertefull senere. Begynn å tenke på 400G-beredskap når ryggradens oppkoblinger allerede er tungt belastet, når det blir vanskelig å legge til flere 100G-rygger, når antallet ECMP-baner nærmer seg plattformgrensene, eller når AI, lagring eller øst-vestvekst akselererer.

Den vanlige strategien er å oppgradere ryggraden først: bladene beholder sine 100G-oppkoblinger mens en ryggrad med høyere-kapasitet - bruker porter som f.eks.QSFP-DD- gir takhøyde, ofte med 400G-porter som brytes ut i 4x100G tilbake mot de eksisterende bladene. Den bredere banen er satt av industrien: denEthernet Alliance veikartkjører nå gjennom 400G, 800G og utover, hovedsakelig drevet av AI. Når du evaluerer brytere, sjekk at plattformen støtter hastighetene, optikken, breakout-modusene og programvarefunksjonene en trinnvis oppgradering trenger.

Når en 100G-rygg-bladdesign ikke er det riktige valget

Denne utformingen er ikke universell, og noen få tilfeller krever noe annet. En håndfull servere i ett eller to rack rettferdiggjør sjelden en full rygg-bladbygging, der et par redundante brytere er enklere og billigere. Svært store AI-treningsklynger kan presse forbi det et 100G-tilgang og 100G-ryggstoff håndterer godt, og lande på 400G- eller 800G-stoffer - eller til og med et dedikert InfiniBand-nettverk - fra starten. Og hvis nesten all trafikk er nord-sør til en gateway i stedet for øst-vest mellom stativer, betyr de østlige-vestfordelene ved ryggraden- mindre, så topologien bør rettferdiggjøres på grunnlag av vekst og drift i stedet for antatt. Tilpass arkitekturen til trafikken og skalaen, ikke omvendt.

Vanlige 100G-ryggrad-Utformingsfeil for blader

• Teller QSFP28-porter to ganger.En port er enten en 4x25G breakout eller en 100G uplink, aldri begge deler. Gi hver port én rolle.
• Velge optikk etter maksimal rekkevidde.Lengre rekkevidde øker kostnadene og kraften; match optikk til faktisk fiberavstand og type.
• Ignorerer N-1.Sjekk forholdet under normal drift og etter å ha mistet en ryggrad.
• Glemte optisk kraft og varme.En ryggrad full av QSFP28-moduler er en ekte termisk belastning, så ta med optikk i strøm- og kjølematematikken.
• Behandle kabling som en ettertanke.Ruting, merking, polaritet og dokumentasjon hører hjemme i designet, ikke installasjonen.
• Designer kun for dagens serverhastighet.Hvis 25G-tilgang vil skifte til 100G, la det være plass til innebygd 100G eller en 400G-ryggrad.

Konklusjon

En god 100G rygg-design er summen av avgjørelser som er tatt før maskinvaren kommer: definer arbeidsmengden, tell porter riktig, beregn overabonnement under både normale forhold og feilforhold, velg optikk etter avstand, planlegg utbrudd bevisst, budsjett for strøm og kjøling, og la plass til 400G. For de fleste bedriftsdatasentre er 25G-tilgang med 100G QSFP28-oppkoblinger fortsatt en sterk balanse mellom ytelse, kostnader og skala, mens lagring, AI og HPC ganske enkelt krever lavere overabonnement og tettere validering. Den pålitelige tilnærmingen endres ikke: design fra serveren og utover, bevis regnestykket under normale og N-1 forhold, og dokumenter hver kobling før distribusjon.