Hoppa till innehållet
DaylitedSimply Awesome

AI i kanten

Nio millisekunder, alltid, slår hundraåttio när länken är uppe

En modell i ett fordon eller på en maskin kan inte vänta på ett nät. Budgeten är satt innan något väljs, och modellen krymper tills den ryms.

Varför apparaten och inte molnet

Tre skäl, och de förstärker varandra. Fördröjningen, eftersom en styrslinga som måste korsa ett nät har ett värsta fall mätt i sekunder i stället för millisekunder. Tillgängligheten, eftersom en maskin som slutar fungera när uppkopplingen faller är en maskin ingen litar på. Och data, eftersom det billigaste sättet att hålla något privat är att inte skicka det.

Priset är att allting nu är en budget. Minne, beräkning och effekt är låsta av den hårdvara som faktiskt går att köpa, och modellen ska rymmas i det som blir kvar när resten av produkten tagit sin del.

Two paths from sensor to action, one through the cloud and one on the device The upper row runs sensor, cloud, action with a measurement spanning it marked one hundred and eighty milliseconds and only when the link is up. The lower row runs sensor, on device, action, drawn heavier, with violet arrows and a measurement marked nine milliseconds, always. A glowing line joins the two rows at a blinking point. THE ROUND TRIP YOU DO NOT TAKE SENSOR CLOUD ACTION 180 ms . AND ONLY WHEN THE LINK IS UP SENSOR ON DEVICE ACTION 9 ms . ALWAYS THE MODEL SHRINKS UNTIL THE BUDGET FITS

Budgeten

Modellen krymper tills budgeten räcker

Arbetsordningen är den omvända mot den vanliga. Mät vad slingan ska göra och hur ofta, dra bort vad resten av programvaran behöver, och det som blir kvar är modellens tilldelning.

Sedan anpassas modellen till den tilldelningen genom kvantisering, beskärning, eller genom att välja en mindre arkitektur och träna den ordentligt. Varje steg mäts mot utvärderingsmängden, så ni ser exakt vilken träffsäkerhet som byttes mot vilka millisekunder.

Resultatet är oftast mindre än folk väntar sig och bättre än de befarar. En modell som ska ha rätt om något smalt behöver inte vara stor.

Valen

Vad hårdvaran avgör åt er

Kretsen väljs tidigt och är svår att byta, vilket gör det här till den dyra raden att ha fel om.

BegränsningVad den låserVar den brukar bita först
TidsbudgetHur mycket beräkning en enskild inferens får användaStyrslingor, där tidsgränsen är hård
MinneHur stor modellen alls får varaSmå mikrokontroller, långt innan beräkningen gör det
EffektHur ofta den får köraAllt som går på batteri
VärmeUthållig takt snarare än topptaktSlutna kapslingar, och det hittas alltid sent

Sista raden överraskar. En krets som går snabbt på en bänk går långsammare i en sluten låda, och lådan är oftast redan verktygsatt.

Eller skriv här

Tre fält, och en människa läser det

Namn, en adress vi kan svara till, och vad du försöker bygga. Du får en referens tillbaka direkt.

Vi använder det här för att svara dig och, när det passar, förbereda en omfattning. Rättslig grund är åtgärder på din egen begäran före ett avtal. Det lagras på vår egen server inom Europeiska unionen, lämnas aldrig vidare, och raderas efter tolv månader om det inte blir ett uppdrag. Hela texten står på den juridiska sidan.

Two paths from sensor to action, one through the cloud and one on the device The upper row runs sensor, cloud, action with a measurement spanning it marked one hundred and eighty milliseconds and only when the link is up. The lower row runs sensor, on device, action, drawn heavier, with violet arrows and a measurement marked nine milliseconds, always. A glowing line joins the two rows at a blinking point. THE ROUND TRIP YOU DO NOT TAKE SENSOR CLOUD ACTION 180 ms . AND ONLY WHEN THE LINK IS UP SENSOR ON DEVICE ACTION 9 ms . ALWAYS THE MODEL SHRINKS UNTIL THE BUDGET FITS

Vad ska besluta utan nät?

Berätta tidsgränsen och hårdvaran. De två avgör om det här är möjligt innan någon skriver kod.

Ta ett samtalAllt tillsammans