El mono aprende a moverse: cuaterniones y titiritería humanoide

En mayo de 2026, Violeta Ayala, Dan Fallshaw, Brian Condori y el laboratorio de creatividad computacional koa.xyz entraron en una pelea de una semana contra la matemática equivocada. Pipeline 15: Mona, el mono, se volvió la primera criatura humanoide del laboratorio capaz de seguir en tiempo real el movimiento de todo el cuerpo, la inclinación de la columna, el rostro y cada dedo por separado, pero solo después de sobrevivir a tres rigs fallidos, sistemas IK rotos, ciclos de dependencia, ejes en espejo y días atrapado dentro de rotaciones de Euler.

La semana empezó con retargeting directo de la rotación XYZ de los huesos. Cada intento de arreglar los hombros del mono creaba nuevas distorsiones en otra parte del cuerpo. Un brazo se levantaba mientras el otro se torcía. Un aplauso colapsaba hacia adentro. El problema estaba en la representación misma. Las articulaciones humanoides se mueven con rotación esférica, mientras que los ángulos de Euler descomponen el movimiento en ejes secuenciales que interfieren entre sí. A mitad de semana, el laboratorio abandonó por completo la lógica de Euler y reconstruyó el sistema con retargeting de dirección de huesos por cuaterniones: calcula vectores de dirección a partir de los puntos de referencia de MediaPipe y rota cada hueso con un cuaternión que transforma la pose de reposo en pose en vivo. El mono se estabilizó de inmediato.

Al mismo tiempo, el equipo pasó por tres rigs distintos en busca de un cuerpo que funcionara. El metarig original de Brian Condori traía anatomía detallada y una cola de 26 huesos, pero sufría de restricciones IK rotas y errores de dependencia recursiva. Una versión regenerada con Rigify introdujo controladores IK que funcionaban, pero no lograba propagar el movimiento por el esqueleto. Al final, un auto-rig de Mixamo se volvió el cuerpo de trabajo del sistema de cuaterniones: sacrificó la cola y permitió un retargeting estable y la performance en vivo.

La semana también produjo una arquitectura de seguimiento híbrida que combina MediaPipe Pose y MediaPipe Hands en un solo emisor en vivo. Doce articulaciones del cuerpo, diez valores de flexión de los dedos, la orientación del rostro, el parpadeo, las cejas, el movimiento de la boca y los estados emocionales ahora viajan juntos por un solo flujo UDP hacia Blender, y el mono actúa como una criatura continua de cuerpo completo en lugar de un conjunto de sistemas desconectados. Una nueva cascada de columna distribuyó la flexión del torso en tres vértebras con pesos anatómicos, y una compensación adicional de ganancia corrigió el eje de profundidad comprimido de MediaPipe, así que inclinarse hacia adelante por fin se comportó con naturalidad.

En paralelo, el modo autónomo de la llama, roto durante semanas por un movimiento de boca distorsionado y expresiones degradadas, se reparó con un hallazgo simple pero fundamental: el modelo neuronal entrega valores normalizados y el receptor había olvidado desnormalizarlos. Tres líneas que faltaban restauraron todo el sistema de comportamiento.

Al final de la semana, el ecosistema koa.xyz había crecido a quince pipelines activos en tiempo real que traducen movimiento del cuerpo, latido, música, sensores, voz, emoción y datos ambientales en plantas, aves, arañas, ballenas, monos, geckos, shaders y luz, en Blender y en sistemas de VR compartidos. El mono se volvió la primera criatura del ecosistema en heredar la lógica de movimiento por cuaterniones, un cambio matemático que ahora se propagará por las criaturas y los mundos que vienen.

Financiado por Abundant Intelligences con la subvención CF00159672.