La nueva tecnología de inteligencia artificial del equipo brinda un gran impulso a las habilidades de reconocimiento de robots

Un robot mueve un paquete de mantequilla de juguete alrededor de una mesa en el Laboratorio de Visión y Robótica Inteligente de la Universidad de Texas en Dallas. Con cada empujón, el robot aprende a reconocer el objeto a través de un nuevo sistema desarrollado por un equipo de científicos informáticos de UT Dallas.

El nuevo sistema permite al robot empujar objetos varias veces hasta que se recopila una secuencia de imágenes, lo que a su vez permite al sistema segmentar todos los objetos en la secuencia hasta que el robot los reconoce. Los enfoques anteriores se basaban en un solo empujón o agarre por parte del robot para "aprender" el objeto.

El equipo presentó su trabajo de investigación en la conferencia Robótica: Ciencia y Sistemas del 10 al 14 de julio en Daegu, Corea del Sur. Los artículos para la conferencia se seleccionan por su novedad, calidad técnica, importancia, impacto potencial y claridad.

El día en que los robots puedan preparar la cena, limpiar la mesa de la cocina y vaciar el lavavajillas aún está muy lejos. Pero el grupo de investigación ha logrado un avance significativo con su sistema robótico que utiliza inteligencia artificial para ayudar a los robots a identificar y recordar mejor los objetos, afirmó el Dr. Yu Xiang, autor principal del artículo.

"Si le pides a un robot que recoja la taza o te traiga una botella de agua, el robot necesita reconocer esos objetos", dijo Xiang, profesor asistente de informática en la Escuela de Ingeniería y Ciencias de la Computación Erik Jonsson.

La tecnología de los investigadores de la UTD está diseñada para ayudar a los robots a detectar una amplia variedad de objetos que se encuentran en entornos como los hogares y a generalizar o identificar versiones similares de elementos comunes, como botellas de agua, que vienen en diversas marcas, formas o tamaños.

Dentro del laboratorio de Xiang hay un contenedor lleno de paquetes de juguetes con alimentos comunes, como espaguetis, salsa de tomate y zanahorias, que se utilizan para entrenar al robot de laboratorio, llamado Ramp. Ramp es un robot manipulador móvil de Fetch Robotics que mide aproximadamente 4 pies de altura sobre una plataforma móvil redonda. La rampa tiene un largo brazo mecánico con siete articulaciones. Al final hay una “mano” cuadrada con dos dedos para agarrar objetos.

Xiang dijo que los robots aprenden a reconocer elementos de una manera comparable a cómo los niños aprenden a interactuar con los juguetes.

"Después de empujar el objeto, el robot aprende a reconocerlo", dijo Xiang. “Con esos datos, entrenamos el modelo de IA para que la próxima vez que el robot vea el objeto, no necesite empujarlo nuevamente. La segunda vez que vea el objeto, simplemente lo recogerá”.

Lo nuevo del método de los investigadores es que el robot empuja cada elemento de 15 a 20 veces, mientras que los métodos de percepción interactivos anteriores solo utilizan un empujón. Xiang dijo que múltiples pulsaciones permiten al robot tomar más fotografías con su cámara RGB-D, que incluye un sensor de profundidad, para conocer cada elemento con más detalle. Esto reduce la posibilidad de errores.

“Después de empujar el objeto, el robot aprende a reconocerlo. Con esos datos, entrenamos el modelo de IA para que… la segunda vez que vea el objeto, simplemente lo recoja”.

Dr. Yu Xiang, profesor asistente de informática en la Escuela de Ingeniería y Ciencias de la Computación Erik Jonsson

La tarea de reconocer, diferenciar y recordar objetos, llamada segmentación, es una de las funciones principales que necesitan los robots para completar tareas.

"Hasta donde sabemos, este es el primer sistema que aprovecha la interacción robótica a largo plazo para la segmentación de objetos", dijo Xiang.

Ninad Khargonkar, estudiante de doctorado en informática, dijo que trabajar en el proyecto le ha ayudado a mejorar el algoritmo que ayuda al robot a tomar decisiones.

“Una cosa es desarrollar un algoritmo y probarlo en un conjunto de datos abstractos; otra cosa es probarlo en tareas del mundo real”, dijo Khargonkar. “Ver ese desempeño en el mundo real fue una experiencia de aprendizaje clave”.

El siguiente paso de los investigadores es mejorar otras funciones, incluida la planificación y el control, que podrían permitir tareas como la clasificación de materiales reciclados.

Otros autores del artículo de UTD incluyeron al estudiante graduado en ciencias de la computación Yangxiao Lu; los estudiantes de último año de informática, Zesheng Xu y Charles Averill; Kamalesh Palanisamy MS'23; Dr. Yunhui Guo, profesor asistente de informática; y el Dr. Nicholas Ruozzi, profesor asociado de informática. También participó el Dr. Kaiyu Hang de la Universidad Rice.

La investigación fue apoyada en parte por la Agencia de Proyectos de Investigación Avanzada de Defensa como parte de su programa Guía de tareas habilitada por percepción, que desarrolla tecnologías de inteligencia artificial para ayudar a los usuarios a realizar tareas físicas complejas al brindarles guía de tareas con realidad aumentada para ampliar sus habilidades y reducir errores. .