Modelos vision-language-action (VLA)
También disponible en: Català · English
La idea
Un VLM (vision-language model) ya relaciona imágenes con texto. Un VLA le añade una salida: acciones del robot.
- Entra: imágenes de las cámaras, una instrucción («mete el cubo en la caja») y el estado del robot.
- Sale: un chunk de objetivos de articulaciones, que se ejecuta mientras se calcula el siguiente.
Cómo se entrena
Se parte de un modelo entrenado con muchísimas imágenes y texto y se ajusta (fine-tuning) con demostraciones de robot. Modelos para buscar: OpenVLA, pi0, SmolVLA, GR00T.
Lo que no sustituye
Por debajo siguen el control de bajo nivel y la cinemática. El modelo decide objetivos; algo tiene que llevar las articulaciones allí.
Sobre la demo
Es una ilustración del flujo de datos, no un modelo real.
Demo interactiva
Conceptos relacionados
Imitation learning
Un humano teleopera el robot, se graban pares observación-acción y se entrena una policy para copiarlos. Falla en estados que nunca vio; se arregla con demos más variadas y prediciendo varias acciones seguidas.
Reinforcement learning
Nadie le dice al robot cómo hacerlo, solo si lo hizo bien: el agente prueba acciones, recibe una recompensa y aprende una policy que la maximiza. En simulación se entrenan miles de copias a la vez.