Imagen: Qwen
El equipo de investigación de Alibaba ha presentado Qwen-Drive 1.0, un modelo de IA para conducción que combina en un solo sistema tres tareas: percepción espacial del entorno, respuesta a preguntas sobre situaciones de tráfico y planificación de rutas. Según recoge The Decoder, los investigadores parten de una idea concreta: un modelo de texto e imagen no entiende automáticamente el espacio tridimensional solo porque sepa describir fotografías.
El modelo se construye sobre Qwen3.5-4B, el modelo de lenguaje-visión que Alibaba lanzó en febrero, y le añade dos componentes nuevos. El primero genera un mapa del entorno visto desde arriba, localizando objetos en el espacio, calculando qué zonas están ocupadas y trazando el trazado de la carretera; según los investigadores, este módulo sirve también como herramienta de medición para saber cuánta información espacial extrae realmente el modelo de las imágenes. El segundo, llamado Planning Expert, usa los datos internos del modelo para planificar el movimiento futuro del vehículo.
Solo entrenar el módulo nuevo no basta para entender el espacio
Cuando el equipo entrenó únicamente el componente añadido y dejó el modelo de lenguaje-visión sin tocar, la precisión espacial se mantuvo baja, lo que confirma que un modelo capaz de describir imágenes con detalle no comprende automáticamente el espacio tridimensional. Solo al entrenar también el propio modelo de lenguaje-visión en tareas espaciales el rendimiento mejoró de forma significativa, es decir, la capacidad de entender espacialmente las escenas de tráfico hay que construirla de forma deliberada.
El entrenamiento empieza por el módulo de percepción, sigue combinando percepción y respuesta a preguntas, continúa con la planificación de ruta y termina con un ajuste mediante aprendizaje por refuerzo. Para la parte de lenguaje-visión, el equipo combinó 24 conjuntos de datos públicos de escenas de tráfico, con estructuras distintas y a veces con errores, que un modelo de IA se encargó de estandarizar. Además, construyeron sus propios ejemplos explicando por qué el coche debía tomar una decisión concreta, como qué objeto provoca un frenazo.
El mismo modelo sirve para el habitáculo y para conducir
Los autores argumentan que un modelo que sacrifica capacidades generales a cambio de puro rendimiento de conducción no sirve en los vehículos modernos, donde el sistema de infoentretenimiento y el sistema de conducción convergen en una sola unidad de cómputo: si el modelo pierde conocimiento general, el habitáculo necesitaría su propio modelo aparte para el diálogo o las preguntas abiertas.
Según el estudio, Qwen-Drive 1.0 puntúa muy por encima del modelo base sin modificar, Qwen3.5-4B, en preguntas sobre escenas de tráfico, y la mayor diferencia aparece cuando el modelo tiene que explicar causa y efecto, por ejemplo por qué el coche debería frenar o girar. El conocimiento general se mantiene: el modelo apenas pierde rendimiento fuera del ámbito de la conducción e incluso puntúa algo más alto en algunas tareas espaciales.
En el simulador, la tasa de salidas de vía cayó del 24% al 12%
Para la planificación de conducción, el equipo probó el modelo en varios niveles de dificultad, desde predicciones simples hasta un simulador donde los errores se acumulan con el tiempo. En ese simulador, la versión reentrenada con recompensas redujo la tasa de salidas de vía del 24% al 12%, y además condujo de forma más prudente, cubriendo menos distancia en total.
Las explicaciones del modelo, sin embargo, no siempre señalan la causa real de una situación: un semáforo en rojo a lo lejos y un niño que se cruza en la calzada exigen tiempos de reacción muy distintos, y el modelo puede confundir ambos casos. La maniobra planificada tampoco coincide siempre con el razonamiento que el modelo había dado antes. Algunos resultados se apoyan en pruebas diseñadas o reconstruidas por los propios autores, así que las métricas concretas dicen poco sobre cómo se comportaría el sistema en una conducción real y desordenada.
Los mismos problemas ya aparecieron en PaLM-E y en un ataque contra DriveLM
El propio equipo de Qwen midió este vacío en la comprensión espacial con su banco de pruebas HopChain, donde los modelos de lenguaje-visión clasificaron mal objetos y confundieron relaciones espaciales pese a puntuar bien en pruebas de imagen y texto. El olvido catastrófico es un problema conocido: cuando Google DeepMind construyó PaLM-E en 2023, un modelo para lenguaje, imágenes y control de robots, las variantes más pequeñas perdieron buena parte de su capacidad de lenguaje tras el entrenamiento con robots, mientras que la versión más grande, de 562.000 millones de parámetros, apenas perdió nada.
Combinar un modelo de lenguaje con una función de conducción abre además una nueva superficie de ataque: investigadores de UC Santa Cruz colocaron un cartel etiquetado en el campo de visión de la cámara y consiguieron que el sistema de conducción DriveLM virara hacia peatones que estaban cruzando, aunque los había detectado correctamente. La investigación se está desplazando mientras tanto hacia los llamados World Action Models, que además predicen cómo cambia el entorno en respuesta a las propias acciones del agente. El equipo de Qwen distribuye el modelo de forma gratuita para la comunidad investigadora en Hugging Face, ModelScope y GitHub.
Escrito por Eloy Andrade
