KI im Gerät
Neun Millisekunden, immer, schlagen hundertachtzig, wenn die Verbindung steht
Ein Modell in einem Fahrzeug oder auf einer Maschine kann nicht auf ein Netz warten. Das Budget steht fest, bevor irgendetwas gewählt wird, und das Modell schrumpft, bis es hineinpasst.
Warum das Gerät und nicht die Cloud
Drei Gründe, und sie verstärken einander. Die Verzögerung, weil eine Regelschleife, die ein Netz überqueren muss, einen schlimmsten Fall hat, der in Sekunden statt in Millisekunden gemessen wird. Die Verfügbarkeit, weil eine Maschine, die stehen bleibt, sobald die Verbindung abreißt, eine Maschine ist, der niemand traut. Und die Daten, weil der billigste Weg, etwas privat zu halten, darin besteht, es nicht zu übertragen.
Der Preis dafür ist, dass jetzt alles ein Budget ist. Speicher, Rechenleistung und Strom sind durch die Hardware festgelegt, die man tatsächlich kaufen kann, und das Modell muss in das passen, was übrig bleibt, nachdem der Rest des Produkts seinen Anteil genommen hat.
Das Budget
Das Modell schrumpft, bis das Budget passt
Die Arbeitsreihenfolge ist die umgekehrte der üblichen. Messen Sie, was die Schleife tun muss und wie oft, ziehen Sie ab, was der Rest der Firmware braucht, und was übrig bleibt, ist das Kontingent des Modells.
Dann wird das Modell an dieses Kontingent angepasst, durch Quantisierung, Beschneidung, oder indem man eine kleinere Architektur wählt und sie ordentlich trainiert. Jeder Schritt wird gegen den Prüfdatensatz gemessen, sodass Sie genau sehen, welche Treffsicherheit gegen welche Millisekunden getauscht wurde.
Das Ergebnis ist meist kleiner, als die Leute erwarten, und besser, als sie befürchten. Ein Modell, das über eine enge Sache recht haben muss, braucht nicht groß zu sein.
Die Entscheidungen
Was die Hardware für Sie entscheidet
Der Chip wird früh gewählt und ist schwer zu wechseln, was das hier zur teuren Zeile macht, wenn man sie falsch trifft.
| Randbedingung | Was sie festlegt | Wo sie meist zuerst greift |
|---|---|---|
| Zeitbudget | Wie viel Rechenleistung eine einzelne Auswertung verbrauchen darf | Regelschleifen, wo die Frist hart ist |
| Speicher | Wie groß das Modell überhaupt sein darf | Kleine Mikrocontroller, lange bevor die Rechenleistung es tut |
| Strom | Wie oft es laufen darf | Alles, was auf einer Batterie läuft |
| Wärme | Dauerleistung statt Spitzenleistung | Geschlossene Gehäuse, und es wird immer spät gefunden |
Die letzte Zeile überrascht die Leute. Ein Bauteil, das auf der Werkbank schnell läuft, läuft in einem geschlossenen Kasten langsamer, und der Kasten ist meist schon werkzeuggebunden.
Oder schreiben Sie hier
Drei Felder, und ein Mensch liest es
Name, eine Adresse, an die wir antworten können, und was Sie bauen wollen. Sie bekommen sofort eine Referenz zurück.
Was muss ohne Netz entscheiden?
Sagen Sie uns die Frist und die Hardware. Die beiden klären, ob das möglich ist, bevor jemand Code schreibt.