KI i enheten
Ni millisekunder, alltid, slår hundre og åtti når sambandet er oppe
En modell i et kjøretøy eller på en maskin kan ikke vente på et nett. Budsjettet låses før noe velges.
Hvorfor enheten og ikke skyen
Tre grunner, og de forsterker hverandre. Forsinkelse, fordi en reguleringssløyfe som må krysse et nett arver nettets dårligste dag. Tilgjengelighet, fordi sambandet faller. Og personvern, fordi det som aldri forlater enheten ikke kan lekke fra noe annet sted.
Prisen er at alt nå er et budsjett. Minne, regnekraft og effekt er låst av maskinvaren, og modellen må passe inn i det som er igjen.
Budsjettet
Modellen krymper til budsjettet passer
Arbeidsrekkefølgen er den motsatte av den vanlige. Mål hva sløyfen skal gjøre og hvor ofte, trekk fra det alt annet på enheten trenger, og det som er igjen er det modellen får.
Så tilpasses modellen til den rammen gjennom kvantisering, beskjæring, eller ved å velge en mindre arkitektur. Det er ingen fornedrelse, det er konstruksjon.
Resultatet er som regel mindre enn folk venter og bedre enn de frykter. En modell som må være liten blir også en modell noen faktisk har målt.
Valgene
Det maskinvaren avgjør for deg
Brikken velges tidlig og er vanskelig å bytte, som gjør dette til den dyre raden å ta feil på.
| Begrensning | Hva den låser | Hvor den som regel biter først |
|---|---|---|
| Forsinkelsesbudsjett | Hvor mye regnekraft én inferens får bruke | Reguleringssløyfer, der fristen er hard |
| Minne | Hvor stor modellen i det hele tatt får være | Små mikrokontrollere, lenge før regnekraften gjør det |
| Effekt | Hvor ofte den får kjøre | Alt som går på batteri |
| Varme | Vedvarende takt heller enn topptakt | Tette kabinetter, og det oppdages alltid sent |
Den siste raden er den som overrasker folk. En del som går fort på en benk går saktere i en lukket kasse, og kassen er som regel allerede tegnet.
Eller skriv her
Tre felt, og et menneske leser det
Navn, en adresse vi kan svare til, og hva du prøver å bygge. Du får en referanse tilbake med en gang.
Hva må avgjøre uten nett?
Si fristen og maskinvaren. De to avgjør om dette er mulig før noen skriver kode.