El agente escapó. ¿Quién dejó la puerta abierta?
Los pesos de un modelo no escanean redes. El software da al agente herramientas, credenciales y acceso a los sistemas...
11 min de lectura
09.10.2026, Por Stephan Schwab
Computer Use hace que una IA parezca un empleado de oficina incansable. Puede ver una aplicación, encontrar controles, hacer clic, escribir y mover información entre ventanas. Eso sirve para tareas puntuales. Por sí solo, es una base débil para un proceso de negocio recurrente. Opera una interfaz diseñada para personas; no aporta un contrato estable para la operación de negocio subyacente. La diferencia aparece cuando Office cambia el foco, surge un diálogo, un reintento duplica el trabajo o la pantalla parece correcta mientras el resultado es erróneo.
El cursor se mueve solo. Excel se abre. Aparecen números en las celdas. Outlook prepara un mensaje. Un navegador aporta los datos de cliente que faltaban.
Parece automatización sin integración.
Esa es la parte seductora.
Productos como ChatGPT Work y Claude Cowork ofrecen Computer Use para manejar aplicaciones gráficas. El modelo recibe una observación, elige una acción y devuelve una llamada a una herramienta. El software que lo asiste ejecuta el clic, la pulsación de tecla o el desplazamiento y aporta la siguiente observación. El modelo no interviene por sí mismo en el sistema operativo.
Es una forma impresionante de completar una tarea una vez.
Por sí sola, no hace fiable un proceso de negocio que debe ejecutarse cada lunes a las 08:00.
En macOS, ChatGPT Computer Use necesita permiso de grabación de pantalla para ver una aplicación y permiso de accesibilidad para hacer clic, escribir y navegar. Las interfaces de accesibilidad pueden ofrecer los controles y sus propiedades a software de asistencia y herramientas de automatización. VoiceOver es el ejemplo conocido de software que utiliza esa información.
Esa es una vía, no la definición de Computer Use. La herramienta de uso del ordenador de Anthropic admite capturas de pantalla y acciones de ratón y teclado. Un agente puede identificar un botón a partir de sus píxeles y hacer clic en sus coordenadas sin leer un árbol de accesibilidad. Las implementaciones pueden combinar observaciones visuales con información estructurada sobre los controles.
Windows tiene un mecanismo relacionado. Microsoft UI Automation es un framework de accesibilidad que también permite automatizar pruebas de interfaz. Ese matiz importa. Automatizar una interfaz no es absurdo por definición. Los equipos llevan años haciéndolo.
Pero un lector de pantalla, una prueba de interfaz y un proceso de negocio autónomo son tres cosas distintas.
En un lector de pantalla, una persona decide qué significa la interfaz. Una prueba de interfaz bien diseñada tiene datos controlados y comprobaciones explícitas. Una tarea de IA planteada de forma abierta pide al agente que deduzca los pasos, se adapte a lo que aparezca, manipule datos reales del negocio y juzgue el resultado.
Se puede acotar la tarea del agente y dotarla de comprobaciones independientes. Ese es precisamente el trabajo que el cursor en movimiento no elimina.
Al mismo mecanismo se le exige ahora mucho más.
La capa de accesibilidad puede mostrar un botón llamado Actualizar, un campo de texto con un valor o una tabla con filas. No explica que Actualizar inicia una conciliación con consecuencias financieras, que la tabla muestra datos en caché o que modificar el campo después del cierre de mes requiere aprobación.
Expone el significado de los controles de la interfaz.
El significado para el negocio sigue estando en otra parte.
Consideremos una tarea de elaboración de informes mensuales:
Una persona realiza esos pasos y, sin hacer ruido, resuelve decenas de cuestiones. ¿Qué libro está activo? ¿Qué hoja? ¿Qué celda tiene el foco? ¿El archivo es de solo lectura? ¿Las fórmulas se recalculan automáticamente? ¿La importación conservó los formatos numéricos? ¿OneDrive ha terminado de sincronizar? ¿Un complemento abrió un diálogo detrás de la ventana principal? ¿Alguien más editó el libro? ¿La cifra en pantalla es el resultado de una fórmula, un valor antiguo en caché o texto que solo parece un número?
Computer Use hereda cada una de esas ambigüedades.
El árbol de accesibilidad puede ser correcto y el proceso, aun así, estar mal. El agente puede activar correctamente el control que quería activar. Puede escribir el número esperado en la celda seleccionada. Puede no recibir ningún error.
Nada de eso demuestra que haya elegido el libro correcto, modificado el periodo de negocio correcto, conservado las fórmulas o guardado la versión que abrirán los demás.
La demostración que sale bien muestra movimiento visible. La fiabilidad depende del estado invisible.
Una operación de negocio necesita un contrato técnico claro.
Necesita entradas con nombre, reglas de validación, autorización, efectos secundarios definidos y un resultado que otro sistema pueda verificar. Si la operación admite reintentos, necesita protección contra ejecutar dos veces el mismo efecto. Si falla a mitad de camino, necesita una ruta de recuperación conocida.
Una aplicación gráfica puede aplicar validación y permisos internamente. Pero acceder a sus controles no da al agente un contrato documentado para todo el proceso, reintentos seguros ni recuperación entre aplicaciones.
El bucle de Computer Use trabaja con observaciones y acciones:
El proceso necesita instrucciones más sólidas:
Los píxeles, el foco y un diálogo de éxito no ofrecen esas garantías. El proceso necesita reglas explícitas y comprobaciones independientes.
El fallo deja la brecha a la vista. Supongamos que el agente actualiza el libro, agota el tiempo de espera al guardarlo, reintenta, envía el correo dos veces y luego se detiene ante una solicitud de permiso. El bucle de acciones no aporta una transacción conjunta para Excel, OneDrive y Outlook. El mundo ya ha cambiado por partes.
«Intentarlo otra vez» no es recuperación.
A veces es duplicar el trabajo con toda la confianza del mundo.
Una mejor comprensión visual puede encontrar más controles. Un mejor razonamiento puede resolver más diálogos inesperados. Los bucles de acciones más rápidos pueden hacer menos doloroso observar el trabajo.
El problema estructural sigue ahí.
La interfaz de una aplicación cambia con las versiones, los tamaños de ventana, los idiomas, los complementos, los permisos de cuenta, el estado del documento y la notificación que llegó medio segundo antes. Los controles personalizados pueden exponer información de accesibilidad incompleta. La etiqueta de un control puede seguir igual mientras cambia su efecto sobre el negocio. El modelo tiene que seguir interpretando una superficie en movimiento.
Por eso una ejecución de Computer Use puede ser asombrosa y poco adecuada para repetirse. Su fortaleza es improvisar. Los procesos recurrentes necesitan lo contrario: menos interpretaciones, menos caminos posibles y fallos explícitos.
Incluso la documentación de OpenAI recomienda preferir un plugin específico o un servidor MCP para acceder a datos y realizar operaciones repetibles, y elegir Computer Use cuando la inspección o la operación visual sean realmente necesarias.
Eso no es una nota al pie.
Es la decisión de arquitectura.
El Model Context Protocol, o MCP, permite a una aplicación de IA descubrir e invocar herramientas con esquemas de entrada definidos. La integración MCP de OpenAI puede pedir aprobación antes de ejecutar llamadas a herramientas. La configuración de la aplicación anfitriona determina qué llamadas requieren aprobación.
MCP no crea fiabilidad por sí mismo. Define la forma del enchufe.
El software a medida que hay detrás del enchufe hace el trabajo importante.
En vez de mostrar Excel al modelo y pedirle que complete el informe mensual, un servidor MCP podría ofrecer:
prepare_monthly_forecast(period, division, source_snapshot)
Detrás de esa operación, un software convencional puede:
La integración debe ajustarse al libro y al entorno de despliegue reales. La API REST de Excel de Microsoft admite libros en formato Office Open XML almacenados en OneDrive for Business, SharePoint o unidades de grupo; no cubre todos los archivos que Excel puede abrir. El nombre de una API no es una comprobación de compatibilidad. Microsoft documenta esos límites.
Una llamada a una API tampoco crea una transacción conjunta para el informe y el correo. Hay que elaborar el informe, verificar la versión guardada y después registrar la notificación como un paso separado. Si un tiempo de espera agotado deja incierto el resultado del envío, hay que aclararlo antes de reintentar. Un segundo correo no demuestra que el primero haya fallado.
El modelo puede proponer la operación y sus argumentos. El servicio los valida y comprueba la autorización. El modelo ya no decide en qué pestaña del libro hacer clic, si la celda seleccionada parece razonable o si el indicador de carga lleva girando suficiente tiempo.
Eso reduce enormemente su responsabilidad.
| Computer Use | Software a medida ofrecido mediante MCP |
|---|---|
| Actúa sobre ventanas, controles, coordenadas y texto visible | Actúa sobre una operación de negocio con nombre |
| Depende del foco, la disposición, los tiempos y el estado del documento | Acepta entradas tipadas y validadas |
| Necesita comprobaciones independientes más allá del siguiente estado visible | Puede verificar poscondiciones explícitas dentro de la operación |
| Puede repetir efectos secundarios después de un reintento | Puede garantizar idempotencia |
| Necesita reglas de recuperación fuera del bucle de clics | Puede implementar un comportamiento definido ante fallos y su recuperación |
| Las capturas y el historial de acciones necesitan contexto de negocio | Puede registrar entradas de negocio, efectos y resultados |
| Actúa mediante aplicaciones permitidas y sus cuentas con sesión iniciada | Puede autorizar cada operación acotada |
Una herramienta MCP genérica llamada control_excel podría eliminar la necesidad de manejar Excel a base de clics. Aun así, no define el contrato de elaboración del informe. Tampoco lo hacen run_any_command ni click_anywhere. El valor está en hacer que la herramienta abarque menos que la aplicación y se acerque más al propósito de negocio.
El límite debe definir lo que la organización permite, no solo lo que el escritorio puede hacer. MCP es opcional aquí: una tarea programada o un cliente de API convencional puede invocar la misma operación de negocio. Utiliza MCP cuando una aplicación de IA necesite acceder a ella.
Computer Use sigue teniendo una función legítima.
Sirve para inspeccionar un defecto visual, cambiar una configuración difícil de encontrar, explorar una aplicación desconocida, recoger información de un sistema sin una API utilizable o completar tareas de bajo riesgo que no justificarían software a medida. También puede ayudar a demostrar que una idea de automatización aporta valor antes de construir una vía duradera.
Mantén a la persona cerca cuando la tarea sea puntual, la interfaz impredecible y los errores fáciles de detectar y revertir.
Pasa a una herramienta estructurada cuando el proceso:
Es el mismo momento en que una macro de hoja de cálculo, un flujo de bajo código o un procedimiento manual heroico se convierte discretamente en software de producción. La empresa puede seguir llamándolo automatización de oficina. El fallo no respetará esa etiqueta.
La expectativa popular es comprensible. Las personas ya saben usar Office, así que una IA capaz de imitarlas parece eliminar la necesidad de desarrollar integraciones.
La elimina temporalmente.
La primera ejecución exitosa muestra que un conjunto concreto de condiciones permitió completar la tarea mediante la interfaz. No demuestra que el proceso tenga entradas estables, autoridad controlada, efectos repetibles, resultados verificados ni recuperación.
Computer Use es una capa de compatibilidad. Llega a sistemas diseñados para manos humanas. Eso lo convierte en un recurso potente cuando faltan otras vías y en una base débil.
Para procesos importantes, sitúa las reglas de negocio en una operación acotada y comprobable. Ofrécela mediante MCP cuando el modelo necesite solicitar el trabajo. El software debe ejecutarlo y verificarlo, gestionar fallos y dejar un registro que alguien pueda conciliar.
La capa de accesibilidad es una puerta de entrada a la aplicación.
No es un contrato con el negocio.
Computer Use impresiona porque puede improvisar.
La automatización fiable empieza cuando el camino crítico ya no tiene que hacerlo.
Cuénteme qué está pasando. Yo escucho, hago algunas preguntas prácticas y le devuelvo lo que veo: dónde puede estar el riesgo, qué puede estar bloqueando la entrega y qué parece valer la pena revisar después. Sin discurso comercial, sin compromiso. Confidencial y directo.
Iniciar una conversaciónVisibilidad y capacidad de ejecución
Navigator ofrece a tus ejecutivos una visión clara de patrones, bloqueos y capacidad. Nuestro Developer Advocate programa código productivo con tu equipo y acelera la entrega.