Gemini Robotics ER 2 representa un salto en la tecnología de robótica, permitiendo a los robots comprender el mundo físico y colaborar en tareas que antes requerían la intervención humana. Steven Hansen y Peng Xu, ingenieros del proyecto, destacan que este modelo de razonamiento integrado es esencial para que los robots puedan adaptarse a entornos cotidianos.
El ER 2 funciona como un cerebro de alto nivel para robots, otorgándoles la capacidad de interactuar con humanos, comprender el mundo físico y planificar tareas complejas, delegando posteriormente la ejecución motora a modelos de visión, lenguaje y acción de nivel inferior. Además, puede acceder nativa a herramientas como la Búsqueda de Google para encontrar información.
Este diseño le permite a ER 2 anticipar acciones futuras mientras las ejecuta, lo que representa una mejora significativa con respecto a su predecesor, Gemini Robotics ER 1.6. La monitorización continua de la señal de vídeo permite a los robots supervisar su propio progreso y adaptarse a problemas, conociendo con precisión cuándo pasar al siguiente paso.
La colaboración entre múltiples robots es otra novedad, permitiéndoles trabajar juntos en espacios compartidos y completar flujos de trabajo complejos. ER 2 ya está disponible para desarrolladores a través de la API de Gemini, Google AI Studio y en versión preliminar privada en Gemini Enterprise Agent Platform.
Los avances en las capacidades de los agentes físicos son cruciales, ya que la mayoría de las tareas en el mundo físico son complejas y requieren varios pasos. ER 2 coordina los pasos del robot, permitiéndole autocorregirse y generalizar a situaciones más novedosas. Los desarrolladores pueden declarar interfaces de control de bajo nivel y transmitir vídeo, audio o texto multimodal directamente al modelo.
Gemini Robotics ER 2 mejora el flujo de trabajo de orquestación de herramientas, evaluando su rendimiento con robots en simulación, utilizando el control de robots en el mundo real y combinándolo con la teleoperación humana. Se destaca que ER 2 supera sistemáticamente a ER 1.6 en la orquestación de herramientas en tres modos de control: VLA real, VLA simulado y teleoperación humana.
En cuanto al razonamiento de alto nivel en robótica, Gemini Robotics ER 2 se integra con la API de Gemini Live, utilizando un punto final de transmisión bidireccional optimizado para tareas sensibles a la latencia, lo que resulta en una orquestación fluida de modelos de acción y API.
Etiquetas: Tecnología, Robótica, Gemini Robotics ER 2, Tecnología · OpenAI, ChatGPT y Anthropic, Tecnología · OpenAI, ChatGPT y Anthropic
About the Author
