Titiritería somática entre plantas, aves y latidos

En las dos primeras semanas de marzo de 2026, el laboratorio de creatividad computacional koa.xyz entró en una fase intensiva de construcción en todos sus pipelines de expresión de lo humano a lo no humano en tiempo real. La primera semana abrió con el títere facial Bromelias, un sistema de 31 esqueletos de plantas movidos por seguimiento facial con una cámara OAK-D Pro. Ahí resolvimos el ajuste de la influencia de los huesos y conectamos la detección de emociones directamente a los nodos de color del shader. Así quedó establecida la arquitectura de tres códigos (seguimiento en Python, shaders en Blender, huesos en Blender) que hoy sostiene todos los pipelines del laboratorio.

Esa misma semana pusimos en marcha el sistema audiorreactivo de la orquídea Cattleya: un pipeline donde la música en vivo se descompone con FFT en seis bandas de frecuencia, del subgrave a los agudos. Cada banda gobierna una cualidad distinta del movimiento de la planta, desde el vaivén profundo de la raíz hasta el temblor fino de las puntas, y la detección de beats dispara pulsos visibles de apertura a lo largo de la cadena de huesos. Conectamos un microcontrolador ESP32 a un sensor de pulso y construimos un motor de análisis cardíaco basado en derivadas que extrae sístole, diástole, BPM, HRV y eventos de latido de los datos crudos de fotopletismografía. Esos datos alimentan una planta de 1.081 huesos, optimizada con rotación por saltos para mantener la tasa de fotogramas en tiempo real.

Brian Condori reconstruyó desde cero el rig del Cóndor. Reemplazó un esqueleto centrado en el animador por una arquitectura solo FK centrada en el intérprete, diseñada específicamente para el seguimiento somático, con huesos reorientados manualmente, estructura de una sola capa en espacio global y pesos pintados a mano en plumas, cola, patas y cabeza. También generó cinco nuevas especies de plantas procedurales con el complemento Sapling de Blender (Palma de Asaí, Guaraná, Cacao, Patujú, Sangre de Drago) y afinó el rig de Flor Boca: renombró los huesos de los labios, agregó nuevas formas clave (alegre, triste, mueca) y quitó restricciones para que los labios se muevan de forma independiente. Al final de la primera semana, el pipeline de Boquita Ch’ixi ya funcionaba: una planta con forma de boca donde los huesos de los labios imitan en tiempo real la geometría de tu boca mientras las formas clave expresan la emoción opuesta. Sonríes y la planta se abre de par en par pero se ve triste. Frunces el ceño y la planta se estrecha pero se ve feliz. Es el concepto aymara de ch’ixi (la coexistencia de estados contradictorios) implementado como sistema computacional. La detección de soplido crea viento simulado entre las ramas, un filtro de habla evita los cabeceos involuntarios al hablar y cada dedo controla una rama.

La segunda semana se vuelca a la integración y la documentación: conectar el cóndor reconstruido al seguimiento de cuerpo completo, pulir Boquita para su demostración pública, estabilizar la conexión del latido con la respiración de la planta, texturizar las nuevas especies procedurales, extender a todos los pipelines el sistema de shaders de emoción a color y grabar videos de demostración de cada sistema en acción. Así se va armando un cuerpo de obra que ya abarca doce pipelines distintos en tiempo real, que traducen el rostro, las manos, el cuerpo, la voz, el latido y la música de una persona en el movimiento de plantas, aves, criaturas y luz.