Hacia una inteligencia encarnada para personajes no humanos
Detección de profundidad, cámaras robóticas, integración con MediaPipe y sistemas de movimiento espacial más allá de los conjuntos de datos de poses humanas.
Desde nuestro pequeño laboratorio en las montañas de Cochabamba, estamos desarrollando nuevos enfoques para animar personajes digitales no humanoides.
La mayoría de los marcos de visión por computadora se entrenaron con conjuntos de datos de poses humanas. Al trabajar con criaturas, plantas o cuerpos poco convencionales, estos sistemas llegan rápido a su límite. También hay pocos datos sobre el comportamiento espacial: cómo se mueven de verdad los cuerpos en la profundidad, la rotación y el espacio físico real. Optimizamos los sistemas de visión para reconocer humanos en imágenes, pero no necesariamente para entender cómo se despliega el movimiento en el mundo real. Nos falta inteligencia encarnada.
Para resolverlo, estamos integrando el seguimiento de MediaPipe con la detección de profundidad estéreo de una cámara robótica. Esto nos permite estimar la orientación espacial y la rotación del cuerpo con medidas del mundo real en milímetros, en lugar de depender solo de heurísticas de imagen 2D.
Gran parte del trabajo pasa por la experimentación práctica: prototipar nuevos pipelines, combinar sistemas de sensores y probar ideas iterando.