El giroscopio de 2 dólares que resolvió lo que la red neuronal no pudo

Esta semana en nuestro laboratorio chocamos contra una pared y la atravesamos con un sensor de 2 dólares.
Durante dos semanas intentamos que una sola cámara siguiera la rotación completa de 360° del cuerpo de una intérprete. Probamos 9 algoritmos distintos. MediaPipe (3,5 millones de parámetros), PCA de silueta de profundidad, detección de cambio de hombros, seguimiento de visibilidad del rostro: todos los enfoques fallaron después de los 180°.

Después de conversar con Eilif B. Muller, sujetamos un giroscopio MPU-6050 a un cinturón. 360° completos. Continuo. Sin puntos ciegos. El giroscopio le da a la criatura lo que la cámara no puede: un sentido de propiocepción, la sensación de hacia dónde mira, incluso cuando está de espaldas. Cuando la intérprete vuelve a girar hacia la cámara, el seguimiento facial de MediaPipe corrige con suavidad la deriva del giroscopio. Dos sistemas de detección contradictorios, cada uno llenando los vacíos del otro.

Esto es fusión de sensores aplicada a la animación en tiempo real de personajes no humanoides. Ocho pipelines de criaturas activos. La música guía la performance, el cuerpo de la intérprete la traduce, los sensores capturan esa traducción y las criaturas la encarnan en vivo.

El giroscopio de 2 dólares resolvió lo que la red neuronal no pudo. A veces un sentido distinto resuelve más que un modelo más grande.