Imitation learning
També disponible en: English · Castellano
La idea
De vegades és més fàcil ensenyar que escriure una recompensa. Una persona teleopera el robot (per exemple, amb el braç leader del SO-101) i es graven parells observació → acció. Entrenar una policy que els copiï és aprenentatge supervisat: behaviour cloning.
El problema clàssic
Si el robot es desvia cap a un estat que no ha vist mai a les demos, no sap què fer i els errors s’acumulen.
Solucions habituals:
- Més demos i més variades.
- Predir action chunks (diverses accions seguides de cop), com fa ACT a LeRobot.
El pipeline amb LeRobot
Teleoperar amb el leader → gravar episodis amb càmeres → entrenar una policy → executar-la al follower.
A la demo
Arrossega una demo de l’inici a la meta i executa la policy. Amb un inici aleatori lluny de les demos, va sense rumb; afegeix-hi demos i funciona.
Demo interactiva
Conceptes relacionats
Reinforcement learning
Ningú no diu al robot com fer-ho, només si ho ha fet bé: l’agent prova accions, rep una recompensa i aprèn una policy que la maximitza. En simulació se n’entrenen milers de còpies alhora.
Models vision-language-action (VLA)
Un VLA parteix d’un model que ja relaciona imatges i text i hi afegeix una sortida d’accions: rep càmeres, una instrucció i l’estat del robot, i retorna un fragment de moviments.