IA en el dispositivo
Nueve milisegundos, siempre, gana a ciento ochenta cuando hay enlace
Un modelo en un vehículo o en una máquina no puede esperar a una red. El presupuesto se fija antes de elegir nada, y el modelo encoge hasta caber.
Por qué el dispositivo y no la nube
Tres razones, y se refuerzan entre sí. La latencia, porque un bucle de control que tiene que cruzar una red tiene un peor caso medido en segundos y no en milisegundos. La disponibilidad, porque una máquina que deja de funcionar cuando cae la conexión es una máquina en la que nadie confía. Y los datos, porque la forma más barata de mantener algo privado es no transmitirlo.
El precio es que ahora todo es un presupuesto. La memoria, el cálculo y el consumo los fija el hardware que realmente se puede comprar, y el modelo tiene que caber en lo que queda después de que el resto del producto se lleve su parte.
El presupuesto
El modelo encoge hasta que el presupuesto cuadra
El orden de trabajo es el contrario del habitual. Mida qué tiene que hacer el bucle y con qué frecuencia, reste lo que necesita el resto del firmware, y lo que quede es la asignación del modelo.
Después el modelo se ajusta a esa asignación mediante cuantización, poda, o eligiendo una arquitectura más pequeña y entrenándola bien. Cada paso se mide contra el conjunto de evaluación, de modo que se ve exactamente qué precisión se cambió por qué milisegundos.
El resultado suele ser más pequeño de lo que la gente espera y mejor de lo que teme. Un modelo que tiene que acertar sobre algo estrecho no necesita ser grande.
Las decisiones
Lo que el hardware decide por usted
El chip se elige pronto y es difícil de cambiar, lo que convierte esta en la fila cara si se equivoca.
| Restricción | Qué fija | Dónde suele apretar primero |
|---|---|---|
| Presupuesto de latencia | Cuánto cálculo puede usar una sola inferencia | Bucles de control, donde el plazo es rígido |
| Memoria | Cómo de grande puede ser el modelo | Microcontroladores pequeños, mucho antes que el cálculo |
| Consumo | Con qué frecuencia puede ejecutarse | Todo lo que va con batería |
| Térmica | Ritmo sostenido en lugar de ritmo punta | Carcasas selladas, y siempre se descubre tarde |
La última fila es la que sorprende. Una pieza que corre rápido en un banco corre más lenta en una caja cerrada, y la caja suele estar ya con molde hecho.
O escriba aquí
Tres campos, y lo lee una persona
Nombre, una dirección a la que podamos responder, y qué quiere construir. Recibe una referencia de vuelta al instante.
¿Qué tiene que decidir sin red?
Díganos el plazo y el hardware. Esos dos resuelven si esto es posible antes de que nadie escriba código.