A diferencia de los ya tradicionales chatbots, a los agentes de inteligencia artificial (IA) se les puede dar una tarea compleja y actuarán de manera independiente, decidiendo sobre la marcha para conseguir su fin. Parecía que el 2025 sería el año de los agentes de IA, para ello unos investigadores experimentaron con ellos al ponerlos a trabajar en una empresa ficticia.
Sin embargo, el resultado no fue del todo positivo. Los investigadores de la Universidad Carnegie Mellon querían medir la efectividad de los agentes de IA. En la empresa crearon un entorno que simulaba a una PyME dedicada al desarrollo de software, la denominaron como The Agent Company.
Cómo operaba
La empresa tenía 18 empleados y un plan de objetivos trimestral. Contaba con documentación interna como un manual del empleado, políticas de recursos humanos y guía de buenas prácticas. Los empleados se comunicaban por medio de un programa de chat para cuestiones internas.
Los agentes que se pusieron a trabajar incluían modelos de Google, OpenAI, Meta y Anthropic. Se les designaron puestos como analista financiero, Projectmanager o ingeniería de software. Se crearon puestos como el de director de tecnología y un responsable de recursos humanos y los agentes de IA podían contactarlos de necesitarlo.
Entre las funciones que tenían, estaba escribir códigos, buscar en Internet, abrir programas y organizar datos en hojas de cálculo. Todas ellas, actividades propias de una empresa de esa naturaleza.
ÚNETE A IDC en nuestro canal de Whatsapp
Problemas
No obstante, los agentes iniciaron sus actividades, y en un inicio todo funcionaba correctamente, comenzaron también los problemas y especialmente malentendidos. Uno de los agentes de IA tenía que acceder a unos datos, pero al aparecer un pop up en la pantalla no podía verla. A pesar de podía cerrarlo, solicitó ayuda a recursos humanos, que le respondió que el departamento de informática lo contactaría para solucionarlo, lo cual nunca sucedió y la tarea no se completó.
También los agentes de IA desarrollaron un comportamiento extraño cuando no entendían cuáles eran los pasos para completar una tarea. Solían hacer trampas o creaban atajos para saltar etapas del proceso. Por ejemplo, un agente debía contactar a una persona para cuestionarla sobre un tema, al no encontrarla, cambió el nombre de la persona a que debía preguntar.
Resultados
La medalla de empleado del mes fue para Anthropic y su modelo Claude 3.5 Sonnet, pero pese a ser el mejor, únicamente completó el 24 % de las tareas asignadas. Gemini 2.0 Flash y ChatGPT solo llegaron a un 10 %, y el peor fue Nova Pro 1 de Amazon con el 1.7 %. Los fallos más comunes se producían por la ausencia de habilidades sociales y/o por no desenvolverse bien al buscar por Internet.
Esto demuestra que a nivel empresarial la tecnología puede ser una herramienta indispensable, pero el talento y presencia humana sigue siendo necesaria para obtener los propósitos básicos de cualquier negocio.
Amenaza
Según un informe del Foro Económico Mundial, la IA destruirá más de 90 millones de empleos en los siguientes cinco años, aunque se espera que se creen casi el doble de esa cifra en nuevos puestos.
Aunque experimentos como este, evidencian que la tecnología todavía no está lista para esa sustitución completa del ser humano. Los agentes de IA cometen muchos errores, y como en el mundo de los automóviles aún es bueno no quitar las manos del volante.
¿Quieres saber más? ¡Sigue a IDC en Google News!
