Imitation learning
También disponible en: Català · English
La idea
A veces es más fácil enseñar que escribir una recompensa. Un humano teleopera el robot (por ejemplo con el brazo leader del SO-101) y se graban pares observación → acción. Entrenar una policy que los copie es aprendizaje supervisado: behaviour cloning.
El problema clásico
Si el robot se desvía a un estado que nunca vio en las demos, no sabe qué hacer y los errores se acumulan.
Soluciones habituales:
- Más demos y más variadas.
- Predecir action chunks (varias acciones seguidas a la vez), como hace ACT en LeRobot.
El pipeline con LeRobot
Teleoperar con el leader → grabar episodios con cámaras → entrenar una policy → ejecutarla en el follower.
En la demo
Arrastra una demo del inicio a la meta y ejecuta la policy. Con un inicio aleatorio lejos de las demos, vaga sin rumbo; añade demos ahí y funciona.
Demo interactiva
Conceptos relacionados
Reinforcement learning
Nadie le dice al robot cómo hacerlo, solo si lo hizo bien: el agente prueba acciones, recibe una recompensa y aprende una policy que la maximiza. En simulación se entrenan miles de copias a la vez.
Modelos vision-language-action (VLA)
Un VLA parte de un modelo que ya relaciona imágenes y texto y le añade una salida de acciones: recibe cámaras, una instrucción y el estado del robot, y devuelve un fragmento de movimientos.