Reinforcement learning
También disponible en: Català · English
El bucle
El agente observa el estado, elige una acción con su policy, y el entorno responde con un estado nuevo y una recompensa (reward). Objetivo: una policy que maximice la recompensa total.
Como entrenar a un perro con premios: nadie le explica cómo, solo si lo hizo bien.
Por qué en simulación
Rápida, en paralelo (miles de copias en una GPU), segura y gratis de reiniciar. Un robot real se rompe y solo funciona en tiempo real. Algoritmo típico: PPO. Herramientas: Isaac Lab / Isaac Gym.
Del simulador al robot (sim-to-real)
La física simulada nunca es idéntica a la real. Se aleatoriza (masas, fricción, retrasos…: domain randomization) para que la policy aguante las diferencias.
En la demo
Pulsa Train. La generación 0 falla; unas generaciones después el péndulo se mantiene en equilibrio. La demo usa un método evolutivo sencillo, no PPO, pero la idea es la misma: probar, puntuar y quedarse con lo mejor.
Preguntas típicas
¿RL o imitation? RL funciona bien cuando hay una recompensa clara (locomoción: avanzar sin caer); imitation cuando es más fácil enseñar que describir (manipulación).
Demo interactiva
Conceptos relacionados
Imitation learning
Un humano teleopera el robot, se graban pares observación-acción y se entrena una policy para copiarlos. Falla en estados que nunca vio; se arregla con demos más variadas y prediciendo varias acciones seguidas.
Modelos vision-language-action (VLA)
Un VLA parte de un modelo que ya relaciona imágenes y texto y le añade una salida de acciones: recibe cámaras, una instrucción y el estado del robot, y devuelve un fragmento de movimientos.