La compañía ficticia, denominada The Agent Company, fue diseñada para imitar la dinámica de una oficina real. Se incluyeron roles específicos que requiere una empresa como desarrolladores de software, analistas de datos, responsables de recursos humanos, hasta personal administrativo, todos representados por modelos de lenguaje avanzados como GPT-4o, Claude Sonnet 3.5 y Gemini 2.0.
La infraestructura que utilizaron incluyó navegadores, herramientas de documentación y un entorno de simulación laboral llamado OpenHands y durante el desarrollo del experimento, se asignaron más de 100 tareas a los distintos agentes. Algunas eran sencillas (como redactar documentos o buscar información online) y otras más complejas, como depurar errores en código, coordinar tareas grupales o manejar flujos de decisiones a largo plazo. Sin embargo, el desempeño de los agentes dejó mucho que desear porque el mejor de ellos apenas logró completar el 24% de las tareas asignadas.
Un aspecto bastante llamativo fue la falta de sentido común en tareas cotidianas como, por ejemplo, cuando se pidió guardar un archivo como “answer.docx”, el agente interpretó la orden literalmente y guardó el texto como archivo plano, sin utilizar una herramienta compatible, básicamente una falta de sentido común. En otro caso, un agente debía escalar una situación al CTO si no recibía respuesta en 10 minutos, pero actuó sin que ese tiempo hubiera transcurrido, demostrando fallas al interpretar contextos temporales.
Según los investigadores, estos errores muestran que los agentes actuales aún no manejan bien instrucciones condicionales ni colaboraciones sociales básicas. Boxuan Li, uno de los autores del estudio, explicó al medio Infobae que “los modelos de lenguaje pueden resolver problemas complejos, pero fallan en tareas que un pasante resolvería en segundos”.
Además, se detectaron dificultades técnicas al momento de interpretar interfaces gráficas o leer páginas web mediante el “árbol de accesibilidad”. Como OpenHands no cuenta con procesamiento de imágenes, los agentes no pueden interactuar con estructuras visuales como lo haría un humano, limitando gravemente su capacidad para operar sistemas empresariales.
Pero no todo fue fracaso, pues en un caso puntual, un agente logró completar un complejo proyecto universitario en apenas ocho minutos y por un costo estimado de US$ 2,41. El sistema configuró entornos locales, modificó código, compiló y testeo exitosamente. Sin embargo, estos logros siguen siendo la excepción, y una minoría en todo lo que se vivió durante el experimento.
En opinión de los expertos, el mayor aprendizaje no está en lo que los agentes lograron hacer, sino en lo que no pudieron. La inteligencia artificial aún no puede reemplazar a un trabajador humano de forma integral, pero sí puede convertirse en un colaborador útil, siempre bajo supervisión. “Los humanos seguirán siendo necesarios como jefes, auditores o diseñadores de procesos”, explicó Yufan Song, coautor del estudio.