I kapløbet om at fremskynde kunstig intelligens tager Silicon Valley -virksomheden Cerebras en usædvanlig strategi: Gå stort.
Mens en typisk computerchip er på størrelse med en negl, er Cerebras' chip er på størrelse med en tallerken.
Deep learning, en AI-teknologi, der driver stemmeassistenter, selvkørende biler og Go-mestre, er afhængig af komplekse" neurale netværk" software arrangeret i lag. Deep learning -systemer kan køre på en enkelt computer, men de største systemer er spredt på tusinder af tilsluttede maskiner, nogle gange i store datacentre, f.eks. Dem, der drives af Google. I en stor klynge glider op til 48 servere i pizza-box-størrelse ind i en mandshøje stativer; Hylderne er stillet op i rækker og fylder en bygning på størrelse med et lager. De neurale netværk i disse systemer kan løse skræmmende problemer, men de står også over for åbenlyse udfordringer. Et netværk, der formerer sig i en klynge, er som en hjerne spredt over et rum og forbundet med hinanden. Elektroner bevæger sig hurtigt, men alligevel er kommunikation på tværs af chips langsom og forbruger meget energi.
Eric Vishria, en general partner i San Francisco venturekapitalfirma Benchmark, indså først problemet, da han hørte Cerebras Systems, et nyt computerchipselskab, tale i foråret 2016. Benchmark er kendt for at være en tidlig investor i virksomheder som Twitter, Uber og ebay - det vil sige i software, ikke hardware. Virksomheden ser på omkring 200 nystartede virksomheder om året og investerer i en." Vi spillede dette spil med at kysse tusind frøer," Vishria fortalte mig. I begyndelsen af sin tale besluttede han at smide frøen tilbage." Jeg tænkte, hvorfor gik jeg med til dette?" Vi' kommer ikke til at investere i hardware,&", mindede han om at tænke." Det&er dumt."
Cerebras medstifter Andrew Feldman startede med diasdækslet til sit holds dias og fangede Vishria' s opmærksomhed: hans talent var imponerende. Feldman sammenlignede derefter de to typer computerchips. Først kiggede han på grafikbehandlingsenheder eller Gpus - chips designet specielt til at skabe 3D -billeder. I dag er&maskinlæringssystemer afhængige af disse grafikchips af forskellige årsager. Dernæst kiggede han på centrale behandlingsenheder eller cpus, de generelle chips, der udfører det meste af arbejdet i en typisk computer." Det tredje dias var omkring' Gpus,' som faktisk er dårlige til dyb læring - de er tilfældigvis hundrede gange bedre end cpus." Cerebras er kommet med en ny type chip, der ikke er designet til grafik, men specielt designet til kunstig intelligens.
Vishria er vant til at høre pladser fra virksomheder, der planlægger at bruge dyb læring inden for cybersikkerhed, medicinsk billeddannelse, chatbots og andre applikationer. Efter Cerebras' s tale talte han med ingeniører i virksomheder finansieret af Benchmark, herunder Zillow, Uber og Stitch Fix; De fortalte ham, at de havde problemer med AI, fordi det tog for lang tid at" træne" det neurale netværk. Google er begyndt at bruge superhurtige" tensor-behandlingsenheder," eller Tpus, specielle chips designet til ARTIFICIAL intelligence. Vishria vidste, at der var et guldrus i gang, og nogen måtte lave pluk og skovle.
Det år førte Benchmark og Foundation Capital, et andet venture -kapitalfirma, en finansieringsrunde på 27 millioner dollars til Cerebras, som har skaffet næsten 500 millioner dollars. Andre virksomheder laver også såkaldte kunstig intelligensacceleratorer; Cerebras' konkurrenterne groq, Graphcore og Sambanova skaffede mere end $ 2 milliarder i kapital mellem sig. Men Cerebras' tilgang er unik. I stedet for at printe snesevis af wafers på et stort stykke silicium, afskære dem og forbinde dem med hinanden, har virksomheden skabt et kæmpe" wafer level" chip. Mens en typisk computerchip er på størrelse med en negl, er Cerebras omtrent på størrelse med en tallerken og er den største computerchip i verden.
Selv konkurrenter fandt bedriften imponerende." Dette er ny videnskab," Nigel Toon, Graphcore [GG ]'s administrerende direktør og medstifter, fortalte mig." Det' er et utroligt stykke teknik. Det' et mesterværk." I mellemtiden beskrev en anden ingeniør, jeg talte med, det som et videnskabeligt projekt - stort for&s skyld. Tidligere har virksomheden forsøgt og undladt at lave kæmpe chips; Cerebras' plan udgør et væddemål om, at overvinde tekniske udfordringer er muligt og det værd." For at være ærlig er uvidenhed for mig en fordel," Sagde Vishria." Jeg ved ikke' hvis jeg vidste, hvor svært det er at gøre det, de gør, ville jeg have mod på at investere."
Det er let at tage for givet, at computere bliver hurtigere og hurtigere. Dette forklares ofte af Moore' s lov: det mønster, der blev etableret i 1965 af halvlederpioneren Gordon Moore, ifølge hvilken antallet af transistorer på en chip fordobles hvert år eller hvert andet år. Selvfølgelig er Moore' s lov ikke' virkelig en lov, og ingeniører arbejder utrætteligt med at krympe transistorer og forbedrer samtidig" arkitektur" af hver chip for at skabe mere effektive og kraftfulde designs.
Chip-arkitekter har længe spekuleret på, om en enkelt, storstilet computerchip måske er mere effektiv end en flok mindre chips, ligesom en by med koncentrerede ressourcer og tætte blokke er mere effektiv end en forstad. Ideen blev først prøvet i 1960'erne, da Texas Instruments begrænsede produktionen af chips et par centimeter bred. Men firmaets' s ingeniører løb ind i udbytteproblemer. På en given siliciumskive bringer produktionsfejl uundgåeligt et bestemt antal kredsløb i fare. Hvis en wafer indeholder 50 chips, kan virksomheden smide de dårlige og sælge de gode. Men hvis hver succesrig chip var afhængig af arbejdskredsløbet for en enkelt wafer, ville mange dyre wafers blive kasseret. Texas Instruments fandt en løsning, men teknologien og behovet var der' endnu ikke.
I 1980'erne forsøgte en ingeniør ved navn Gene Amdahl igen at løse problemet med et firma, han grundlagde, kaldet Trilogy Systems. Det blev den største opstart i Silicon Valley' s historie, med omkring $ 250 millioner i finansiering. For at løse udbytteproblemet udskrev Trilogy redundante komponenter på chippen. Denne metode øger produktionen, men reducerer chipens hastighed. I mellemtiden kæmper Trilogy på andre måder. Amdahl kørte over en motorcyklist med sine ruller Royce, hvilket forårsagede juridiske problemer; Dens præsident døde af en hjernesvulst; Kraftig regn har forsinket opførelsen af fabrikker, rustende klimaanlæg og opsamling af støv på chips. I 1984 opgav Trilogy." Jeg vidste ikke' hvor svært det ville være," Amdahl' s søn fortalte The Times.
Hvis Trilogy' s teknologi er vellykket, kan den nu bruges til dyb læring. I stedet løser Gpus (chips, der bruges i videospil) videnskabelige problemer i nationale laboratorier. Genbrug af gpus til AI afhænger af, at neurale netværk, selvom de er meget komplekse, er afhængige af en masse multiplikation og tilføjelse. Når" neuroner" i netværket affyrer hinanden, de forstærker eller reducerer hinandens' s signaler og multiplicerer dem med koefficienter kaldet forbindelsesvægte. En effektiv AI -processor beregner mange aktiveringer parallelt; Det kombinerer dem i en række tal kaldet vektorer eller tavler med tal kaldet matricer eller højere dimensionelle blokke kaldet tensorer. Ideelt set vil du gange en matrix eller tensor med en anden på én gang. Gpus er designet til at gøre noget lignende:
& quot; Trilogiens skygge er så stor," Feldman fortalte mig for nylig," at folk holder op med at tænke og begynder at sige,' Det' er umuligt.'" GPU -virksomheder, herunder Nvidia, sprang på muligheden for at tilpasse deres chips til dyb læring. I 2015 begyndte Feldman og en gruppe computerarkitekter at diskutere ideen om større chips, efter at de var med til at stifte en computerserverproducent, Seamicro, som de solgte til chipproducenten AMD for 334 millioner dollars. De arbejdede med spørgsmålet i fire måneder på et kontor lånt fra et venturekapitalfirma. Da de havde en oversigt over en levedygtig løsning, talte de med otte virksomheder; Fik finansiering fra Benchmark, Foundation Capital og Eclipse og begyndte at ansætte.
Cerebras' første opgave er at løse de produktionsproblemer, der plager store chips. Chippen var oprindeligt en cylindrisk barre af krystallinsk silicium med en fod i diameter, og stålbarren blev skåret i skiver, der var mindre end en millimeter tykke. Kredsløbet er derefter" trykt" på skiven gennem en proces kaldet litografi. UV-følsomme kemikalier afsættes omhyggeligt på overfladen, og derefter projiceres en stråle af UV-lys gennem en detaljeret skabelon kaldet en maske. Disse kemikalier reagerer på dannelse af kredsløb.
Normalt bliver det område, der dækkes af lys, der udsendes gennem masken, en chip. Derefter bevæger chippen sig, og lyset projiceres igen. Efter at snesevis eller hundredvis af chips er blevet udskrevet, laserskæres de fra skiven." Den nemmeste måde at gøre det på er ved din mor at tage en rund kagedej ud," Sagde Feldman." Hun har en kageform, og hun skærer kagerne omhyggeligt." Lovene i fysik og optik gør det umuligt at lave en større cookie cutter. Som et resultat udviklede vi&en teknologi, så du kan kommunikere gennem en lille dej mellem to cookies."
I tryksystemet Cerebras udviklet i samarbejde med TSMC, det firma, der laver chippen, overlapper kanterne af cookies, så deres ledninger er forbundet. Resultatet er en enkelt" wafer size" wafer, kobberfarvet firkant og 21 cm på hver side. (Den største Gpus er lidt mindre end 3 cm i diameter.) Cerebras producerede sin første chip, Wafer-scale Engine 1, i 2019. Wse-2, der blev introduceret i år, bruger et tættere kredsløb med 2.6 billioner transistorer pakket i 850.000 processorenheder , eller" kerner" ;. (Top Gpus har kun et par tusinde kerner, mens de fleste cpus har færre end 10.)
& quot; 2,6 billioner transistorer er forbløffende," sagde Aart de Geus, formand og co-CEO for Synopsys. Synopsys leverer noget software, som Cerebras og andre chipmakere bruger til at lave og validere deres chipdesign. De Geus siger, at ingeniører først skal overveje to centrale spørgsmål, når de designer chips," Hvor kommer dataene fra?" Hvor håndteres det?" Når chips var enklere, kunne designere besvare disse spørgsmål med en blyant på et tegnebord; Når du arbejder med dagens mere komplekse chips &, skal du indtaste kode, der beskriver den arkitektur, de vil oprette, og derefter gå videre til visualiserings- og kodningsværktøjer." Tænk på, hvordan huset ser ud fra taget," sagde de Geus." Er garagen i nærheden af køkkenet? Eller er det tæt på soveværelset? Du vil have det i nærheden af køkkenet - ellers skal du' transportere dagligvarer gennem hvert hjørne af huset." Efter at have designet plantegningen, forklarede han," du kan bruge ligninger til at beskrive, hvad der sker i rummet."
Designkompleksiteten af chips er forbløffende." Der er mange lag her," sagde de Geus med kredsløb på kryds og tværs oven på hinanden, ligesom en større motorvejsovergang. For Cerebras -ingeniørerne, der arbejder på en wafers skala, øges kompleksiteten. Synopsys' software hjælper i form af kunstig intelligens: mønstermatchingsalgoritmer identificerer almindelige problemer og foreslår løsninger; Optimizer -programmet flytter rummet til et hurtigere og mere effektivt arrangement. Hvis for mange baner forsøger at presse sig ind i en to-blok-bygning, giver softwaren ingeniører mulighed for at spille Robert Moses og flytte blokken.
I sidste ende, siger Feldman, er der flere fordele ved overdimensionerede chipdesign. Når kernerne er på den samme chip, kommunikerer de hurtigere: computerens' s hjerne er nu koncentreret i et enkelt kranium, frem for spredt over et rum. Større chips håndterer også hukommelsen bedre. Typisk skal en lille chip, der er klar til at behandle en fil, først hente filen fra en delt hukommelseschip, der er placeret andre steder på kredsløbskortet; Kun de mest almindeligt anvendte data cachelagres tættere på hjemmet. I sin beskrivelse af effektiviteten af chips på wafer-niveau tilbød Feldman en analogi: Han bad mig om at forestille mig en gruppe af bofæller (kerne), der boede i en kollegie (chip), der ville se en fodboldkamp (udføre computerarbejde). For at se spillet, siger feldman, skal roommates opbevare øl i køleskabet (data gemmes i hukommelsen); Cerebras opbevarer et køleskab i hvert værelse, så værelseskammerater behøver ikke' at risikere at gå til kollegiets' s fælles køkken eller Safeway. Dette har den ekstra fordel, at hver kerne hurtigere kan behandle forskellige data." Så jeg kan have Bud i mit kollegieværelse," Sagde Feldman." I din kollegie kan du have Schlitz."
Endelig skal Cerebras overvinde udbytteproblemer. Virksomhedens' s ingeniører bruger Trilogy' s trick: redundans. Men her har de en fordel i forhold til deres forgængere. Trilogy forsøger at lave generiske chips med mange forskellige komponenter, så ledninger omkring en enkelt mislykket komponent kan kræve forbindelse til en fjern udskiftning. På Cerebras' chip, er alle kernerne identiske. Hvis en kiks er forkert, er dem omkring den lige så gode.