AI i enheden
Ni millisekunder, altid, slår hundrede og firs, når forbindelsen er oppe
En model i et køretøj eller på en maskine kan ikke vente på et net. Budgettet låses, før noget vælges.
Hvorfor enheden og ikke skyen
Tre grunde, og de forstærker hinanden. Forsinkelse, fordi en reguleringssløjfe, der skal krydse et net, arver nettets dårligste dag. Tilgængelighed, fordi forbindelser falder. Og privatliv, fordi det, der aldrig forlader enheden, ikke kan lække fra noget andet sted.
Prisen er, at alt nu er et budget. Hukommelse, regnekraft og effekt er låst af hardwaren, og modellen skal passe ind i det, der er tilbage.
Budgettet
Modellen skrumper, indtil budgettet passer
Arbejdsrækkefølgen er den modsatte af den sædvanlige. Mål hvad sløjfen skal gøre og hvor ofte, træk fra hvad alt andet på enheden kræver, og det, der er tilbage, er det, modellen får.
Derefter tilpasses modellen til den ramme gennem kvantisering, beskæring eller ved at vælge en mindre arkitektur. Det er ingen ydmygelse, det er konstruktion.
Resultatet er som regel mindre, end folk venter, og bedre end de frygter. En model, der skal være lille, bliver også en model, nogen faktisk har målt.
Valgene
Det, hardwaren afgør for dig
Chippen vælges tidligt og er svær at skifte, hvilket gør dette til den dyre række at tage fejl på.
| Begrænsning | Hvad den låser | Hvor den som regel strammer først |
|---|---|---|
| Forsinkelsesbudget | Hvor meget regnekraft én inferens må bruge | Reguleringssløjfer, hvor fristen er hård |
| Hukommelse | Hvor stor modellen overhovedet må være | Små mikrocontrollere, længe før regnekraften gør det |
| Effekt | Hvor ofte den må køre | Alt, der kører på batteri |
| Varme | Vedvarende takt frem for spidstakt | Tætte kabinetter, og det opdages altid sent |
Den sidste række er den, der overrasker folk. En del, der kører hurtigt på en bænk, kører langsommere i en lukket kasse, og kassen er som regel allerede tegnet.
Eller skriv her
Tre felter, og et menneske læser det
Navn, en adresse vi kan svare til, og hvad du prøver at bygge. Du får en reference tilbage med det samme.
Hvad skal afgøre uden net?
Sig fristen og hardwaren. De to afgør, om dette er muligt, før nogen skriver kode.
