Investigación

Un robot aprende la kullawada

Una danza ajustada a un robot es solo una lista de ángulos. Para bailarla el robot tiene que practicar: miles de copias suyas prueban la kullawada al mismo tiempo en simulación, se caen, y vuelven a probar. Esta nota trata de esa práctica, y de la revisión que encontró lo que a la práctica se le había pasado.

Los mismos ocho segundos, tres veces

Izquierda: Lucía baila la kullawada. Centro: el modelo del robot copia su movimiento como 29 ángulos de motor, sin nada que lo sostenga. Derecha: después de practicar, una política mantiene al robot de pie, en simulación. Video y simulación: Paqarina.

A la izquierda, Lucía.

Al medio, el robot la copia. Se ve bien, y en un piso real se caería al instante: no hay nada en un ángulo que mantenga un cuerpo de pie.

A la derecha, el robot ya practicó. Esta nota trata de la distancia entre el medio y la derecha.

Cómo practica un robot

4.096 copias del robot prueban la danza al mismo tiempo. Cada copia recibe premio por quedarse cerca de la danza y por no caerse. La copia que se cae empieza de nuevo.

Una ronda de práctica toma más o menos un segundo. A cada danza le tocan 30.000 rondas. Para 32 segundos de kullawada son más de nueve horas en una tarjeta gráfica alquilada.

Lo que sale es una política: una red neuronal chica. 50 veces por segundo lee 154 números sobre sus propias articulaciones, su inclinación y la danza, y responde con 29 números, uno para cada motor.

Una política sabe una sola danza. Otra danza es otra política y otras nueve horas. Ocho danzas son ocho políticas, y con cada vez que volvimos a entrenar una, gastamos más de 250 dólares en total.

Pasar su propia práctica no es una prueba

Una política que se sostiene en el simulador donde practicó solo mostró que conoce ese simulador.

Por eso cada política se corre en un segundo simulador, hecho sobre el modelo oficial del robot. Corre 20 veces, y cada vez el piso, los motores y los sensores son un poco distintos.

La primera vez que lo hicimos salió mal. En la práctica las ocho políticas se habían caído entre 0 y 5 veces en 256 intentos. En el segundo simulador se cayeron en casi todas las corridas.

Lo que encontró la revisión

Primero nos echamos la culpa. Habíamos cambiado la receta del entrenamiento para que el robot siguiera la danza más de cerca y aguantara un piso más difícil. Entrenamos de nuevo sin nuestros cambios. La kullawada se sostuvo entonces 17 veces de 20. Mejor, y todavía no estaba bien.

Después dejamos de cambiar cosas y comparamos. Corrimos la misma política en los dos simuladores y pusimos lado a lado lo que lee, número por número. Cuatro clases de números eran iguales. Una no: las posiciones de las articulaciones diferían en 22 grados.

Una política no lee sus articulaciones desde cero. Las lee desde una postura de reposo, y los dos simuladores usaban dos distintas. En la práctica el robot reposaba con las rodillas dobladas 38 grados. En el segundo simulador, 17.

Dos posturas de reposo del mismo robot. Izquierda: la postura desde la que practicó la política, con las rodillas dobladas 38 grados. Derecha: la que usaba nuestro segundo simulador, con las rodillas dobladas 17 grados. Simulación: Paqarina.
Dos posturas de reposo del mismo robot. Izquierda: la postura desde la que practicó la política, con las rodillas dobladas 38 grados. Derecha: la que usaba nuestro segundo simulador, con las rodillas dobladas 17 grados. Simulación: Paqarina.

Con la postura de reposo equivocada, las danzas rápidas se sostuvieron 0 veces de 20. Con la correcta, las ocho danzas se sostuvieron 20 veces de 20.

La regla que nos quedó: cuando una política se sostiene en un simulador y se cae en otro, comparar lo que lee antes de tocar cualquier otra cosa.

Lo que le pedimos al robot

En la práctica le pedimos una sola cosa 4.096 veces a la vez: sostener los 29 ángulos de la danza, 50 veces por segundo, y no caerse. Para la kullawada que bailó Lucía son 46.313 ángulos en 32 segundos, con la cadera girando 1.911 grados en total y un pie subiendo 25 centímetros.

En el segundo simulador le pedimos la misma danza 20 veces más, y cada vez le cambiamos un poco el piso, los motores y los sensores.

Gracias

Paqarina es un proyecto de la Mozilla Fellowship.

Gracias al Dr. Pan Hui, a la profesora Xin Tong y a Jie Yu por permitirnos probar nuestras políticas en el robot.

Lo que muestra el registro

MedidaValor
Copias del robot practicando a la vez4.096
Rondas de práctica por danza30.000
Una rondamás o menos un segundo
Práctica para 32 segundos de kullawadamás de nueve horas
Lo que lee una política154 números, 50 veces por segundo
Lo que responde29 números, uno para cada motor
Caídas en la práctica, las primeras ocho políticasde 0 a 5 en 256 intentos
Las mismas políticas en el segundo simuladorse cayeron en casi todas las corridas
Entrenada de nuevo sin nuestros cambiosla kullawada se sostuvo 17 veces de 20
Posiciones de las articulaciones, diferencia entre los dos simuladores22 grados
Rodillas en las dos posturas de reposo38 y 17 grados
Con la postura de reposo corregida8 danzas de 8, 20 corridas de 20 cada una

Lo que queda abierto

Si una política puede aprender más de una danza. Si la práctica puede incluir la postura en la que llega el robot real. Si una revisión en el piso real, con una polea, puede volverse tan de rutina como el segundo simulador. Ocho políticas se sostienen en dos simuladores. La próxima práctica empieza desde la postura en la que el robot se para.