Un robot aprende la kullawada
Una danza ajustada a un robot es solo una lista de ángulos. Para bailarla el robot tiene que practicar: miles de copias suyas prueban la kullawada al mismo tiempo en simulación, se caen, y vuelven a probar. Esta nota trata de esa práctica, y de la revisión que encontró lo que a la práctica se le había pasado.
Los mismos ocho segundos, tres veces
A la izquierda, Lucía.
Al medio, el robot la copia. Se ve bien, y en un piso real se caería al instante: no hay nada en un ángulo que mantenga un cuerpo de pie.
A la derecha, el robot ya practicó. Esta nota trata de la distancia entre el medio y la derecha.
Cómo practica un robot
4.096 copias del robot prueban la danza al mismo tiempo. Cada copia recibe premio por quedarse cerca de la danza y por no caerse. La copia que se cae empieza de nuevo.
Una ronda de práctica toma más o menos un segundo. A cada danza le tocan 30.000 rondas. Para 32 segundos de kullawada son más de nueve horas en una tarjeta gráfica alquilada.
Lo que sale es una política: una red neuronal chica. 50 veces por segundo lee 154 números sobre sus propias articulaciones, su inclinación y la danza, y responde con 29 números, uno para cada motor.
Una política sabe una sola danza. Otra danza es otra política y otras nueve horas. Ocho danzas son ocho políticas, y con cada vez que volvimos a entrenar una, gastamos más de 250 dólares en total.
Pasar su propia práctica no es una prueba
Una política que se sostiene en el simulador donde practicó solo mostró que conoce ese simulador.
Por eso cada política se corre en un segundo simulador, hecho sobre el modelo oficial del robot. Corre 20 veces, y cada vez el piso, los motores y los sensores son un poco distintos.
La primera vez que lo hicimos salió mal. En la práctica las ocho políticas se habían caído entre 0 y 5 veces en 256 intentos. En el segundo simulador se cayeron en casi todas las corridas.
Lo que encontró la revisión
Primero nos echamos la culpa. Habíamos cambiado la receta del entrenamiento para que el robot siguiera la danza más de cerca y aguantara un piso más difícil. Entrenamos de nuevo sin nuestros cambios. La kullawada se sostuvo entonces 17 veces de 20. Mejor, y todavía no estaba bien.
Después dejamos de cambiar cosas y comparamos. Corrimos la misma política en los dos simuladores y pusimos lado a lado lo que lee, número por número. Cuatro clases de números eran iguales. Una no: las posiciones de las articulaciones diferían en 22 grados.
Una política no lee sus articulaciones desde cero. Las lee desde una postura de reposo, y los dos simuladores usaban dos distintas. En la práctica el robot reposaba con las rodillas dobladas 38 grados. En el segundo simulador, 17.

Con la postura de reposo equivocada, las danzas rápidas se sostuvieron 0 veces de 20. Con la correcta, las ocho danzas se sostuvieron 20 veces de 20.
La regla que nos quedó: cuando una política se sostiene en un simulador y se cae en otro, comparar lo que lee antes de tocar cualquier otra cosa.
Lo que le pedimos al robot
En la práctica le pedimos una sola cosa 4.096 veces a la vez: sostener los 29 ángulos de la danza, 50 veces por segundo, y no caerse. Para la kullawada que bailó Lucía son 46.313 ángulos en 32 segundos, con la cadera girando 1.911 grados en total y un pie subiendo 25 centímetros.
En el segundo simulador le pedimos la misma danza 20 veces más, y cada vez le cambiamos un poco el piso, los motores y los sensores.
Gracias
Paqarina es un proyecto de la Mozilla Fellowship.
Gracias al Dr. Pan Hui, a la profesora Xin Tong y a Jie Yu por permitirnos probar nuestras políticas en el robot.
Lo que muestra el registro
| Medida | Valor |
|---|---|
| Copias del robot practicando a la vez | 4.096 |
| Rondas de práctica por danza | 30.000 |
| Una ronda | más o menos un segundo |
| Práctica para 32 segundos de kullawada | más de nueve horas |
| Lo que lee una política | 154 números, 50 veces por segundo |
| Lo que responde | 29 números, uno para cada motor |
| Caídas en la práctica, las primeras ocho políticas | de 0 a 5 en 256 intentos |
| Las mismas políticas en el segundo simulador | se cayeron en casi todas las corridas |
| Entrenada de nuevo sin nuestros cambios | la kullawada se sostuvo 17 veces de 20 |
| Posiciones de las articulaciones, diferencia entre los dos simuladores | 22 grados |
| Rodillas en las dos posturas de reposo | 38 y 17 grados |
| Con la postura de reposo corregida | 8 danzas de 8, 20 corridas de 20 cada una |
Lo que queda abierto
Si una política puede aprender más de una danza. Si la práctica puede incluir la postura en la que llega el robot real. Si una revisión en el piso real, con una polea, puede volverse tan de rutina como el segundo simulador. Ocho políticas se sostienen en dos simuladores. La próxima práctica empieza desde la postura en la que el robot se para.