KI am Desktop garantiert keinen verlässlichen Ablauf

10 Min. Lesezeit

Der Mauszeiger ist das Warnsignal

Der Mauszeiger bewegt sich von selbst. Excel öffnet sich. Zahlen erscheinen in Zellen. Outlook bereitet eine Nachricht vor. Ein Browser liefert die fehlenden Kundendaten.

Das sieht nach Automatisierung ohne Integration aus.

Genau das macht es so verführerisch.

Produkte wie ChatGPT Work und Claude Cowork bieten Computer Use zur Bedienung grafischer Anwendungen an. Das Modell erhält eine Beobachtung, wählt eine Aktion und gibt einen Werkzeugaufruf zurück. Die unterstützende Software führt den Klick, Tastendruck oder Scrollvorgang aus und liefert die nächste Beobachtung. Das Modell greift nicht selbst ins Betriebssystem ein.

Eine beeindruckende Möglichkeit, eine Aufgabe einmal zu erledigen.

Allein dadurch läuft ein Geschäftsprozess noch nicht jeden Montag um 08:00 Uhr verlässlich.

Computer Use kann die Tür der Barrierefreiheit nutzen

Unter macOS benötigt ChatGPT Computer Use die Berechtigung zur Bildschirmaufnahme, um eine Anwendung zu sehen, und die Berechtigung für Bedienungshilfen, um zu klicken, zu tippen und zu navigieren. Schnittstellen für Barrierefreiheit können Bedienelemente und deren Eigenschaften für assistive Software und Automatisierungswerkzeuge zugänglich machen. VoiceOver ist das bekannte Beispiel für Software, die solche Informationen nutzt.

Das ist ein Zugangsweg, nicht die Definition von Computer Use. Anthropics Computer-Use-Werkzeug unterstützt Bildschirmaufnahmen sowie Maus- und Tastaturaktionen. Ein Agent kann eine Schaltfläche anhand von Pixeln erkennen und auf ihre Koordinaten klicken, ohne einen Barrierefreiheitsbaum auszulesen. Implementierungen können visuelle Beobachtungen mit strukturierten Informationen über Bedienelemente kombinieren.

Windows hat einen verwandten Mechanismus. Microsoft UI Automation ist ein Framework für Barrierefreiheit, das auch automatisierte Oberflächentests unterstützt. Dieser Zusatz ist wichtig. Oberflächenautomatisierung ist nicht grundsätzlich absurd. Teams nutzen sie seit Jahren.

Ein Screenreader, ein Oberflächentest und ein autonomer Geschäftsprozess sind trotzdem drei verschiedene Dinge.

Bei einem Screenreader entscheidet ein Mensch, was die Oberfläche bedeutet. Ein gut aufgebauter Oberflächentest hat kontrollierte Testdaten und ausdrückliche Prüfaussagen. Eine offen formulierte KI-Aufgabe verlangt vom Agenten, die Schritte selbst abzuleiten, sich an das anzupassen, was auftaucht, echte Geschäftsdaten zu verändern und das Ergebnis zu beurteilen.

Sie können die Aufgabe eines Agenten begrenzen und unabhängige Prüfungen vorgeben. Genau diese Arbeit nimmt Ihnen der bewegte Mauszeiger nicht ab.

Derselbe Zugang soll plötzlich viel mehr leisten.

Die Barrierefreiheitsschicht kann eine Schaltfläche namens Aktualisieren, ein Textfeld mit einem Wert oder eine Tabelle mit Zeilen zugänglich machen. Sie erklärt nicht, dass Aktualisieren einen finanziell bedeutenden Abgleich startet, dass die Tabelle zwischengespeicherte Daten zeigt oder dass eine Feldänderung nach dem Monatsabschluss eine Freigabe braucht.

Sie liefert die Bedeutung der Bedienelemente.

Die fachliche Bedeutung steckt weiterhin woanders.

Office besteht größtenteils aus unsichtbarem Zustand

Nehmen wir eine monatliche Berichtsaufgabe:

1. Die richtige Arbeitsmappe öffnen.
2. Aktuelle Umsatzzahlen importieren.
3. Das Prognoseblatt aktualisieren.
4. Formeln neu berechnen und Pivot-Tabellen aktualisieren.
5. Die Datei am gemeinsamen Speicherort ablegen.
6. Das Ergebnis per E-Mail versenden.

Ein Mensch führt diese Schritte aus und klärt nebenbei Dutzende Fragen. Welche Arbeitsmappe ist aktiv? Welches Blatt? Welche Zelle hat den Fokus? Ist die Datei schreibgeschützt? Werden Formeln automatisch neu berechnet? Hat der Import die Zahlenformate erhalten? Ist OneDrive mit der Synchronisierung fertig? Hat ein Add-in einen Dialog hinter dem Hauptfenster geöffnet? Hat jemand anderes die Arbeitsmappe bearbeitet? Ist die Zahl auf dem Bildschirm ein Formelergebnis, ein veralteter zwischengespeicherter Wert oder Text, der nur wie eine Zahl aussieht?

Computer Use übernimmt jede dieser Unklarheiten.

Der Barrierefreiheitsbaum kann korrekt sein und der Ablauf trotzdem falsch. Der Agent kann erfolgreich das Bedienelement aktivieren, das er aktivieren wollte. Er kann die erwartete Zahl in die ausgewählte Zelle eingeben. Er kann dabei keinerlei Fehlermeldung erhalten.

Nichts davon beweist, dass er die richtige Arbeitsmappe gewählt, den richtigen Geschäftszeitraum geändert, die Formeln erhalten oder die Version gespeichert hat, die andere Menschen öffnen werden.

Die gelungene Vorführung zeigt sichtbare Bewegung. Verlässlichkeit hängt vom unsichtbaren Zustand ab.

Eine Benutzeroberfläche ist keine Geschäfts-API

Ein Geschäftsvorgang braucht einen klaren technischen Vertrag.

Er braucht benannte Eingaben, Validierungsregeln, Berechtigungen, definierte Nebenwirkungen und ein Ergebnis, das ein anderes System prüfen kann. Lässt sich der Vorgang erneut anstoßen, braucht er Schutz davor, denselben Effekt zweimal auszuführen. Scheitert er auf halbem Weg, braucht er einen bekannten Wiederherstellungsweg.

Eine grafische Anwendung kann intern Validierung und Berechtigungen durchsetzen. Doch der Zugriff auf ihre Bedienelemente gibt dem Agenten keinen dokumentierten Vertrag für den gesamten Ablauf, keine sicheren Wiederholungen und keine Wiederherstellung zwischen Anwendungen.

Die Computer-Use-Schleife arbeitet mit Beobachtungen und Aktionen:

• hier ist eine Bildschirmaufnahme oder ein Barrierefreiheitsbaum
• dieses Bedienelement anklicken
• diesen Wert eingeben
• warten
• den nächsten Bildschirm prüfen

Der Ablauf braucht stärkere Aussagen:

• die Oktoberprognose für Geschäftsbereich 17 mit Quelldatenstand 842 aktualisieren
• die Anfrage ablehnen, wenn der Zeitraum abgeschlossen ist
• denselben Datenstand nicht zweimal anwenden
• die Arbeitsmappe neu berechnen
• eine neue Version speichern, ohne den freigegebenen Bericht zu überschreiben
• die Kennung der gespeicherten Version und die Abgleichsummen zurückgeben

Pixel, Fokus und ein Erfolgsdialog liefern diese Garantien nicht. Der Ablauf braucht ausdrückliche Regeln und unabhängige Prüfungen.

Beim Fehler wird die Lücke sichtbar. Angenommen, der Agent aktualisiert die Arbeitsmappe, erreicht beim Speichern ein Zeitlimit, versucht es erneut, verschickt die E-Mail zweimal und bleibt dann an einer Berechtigungsabfrage stehen. Die Aktionsschleife liefert keine gemeinsame Transaktion für Excel, OneDrive und Outlook. In Teilen hat sie die Welt bereits verändert.

„Noch einmal versuchen“ ist keine Wiederherstellung.

Manchmal ist es nur selbstbewusstes Verdoppeln.

Mehr Intelligenz repariert die Schnittstelle nicht

Besseres visuelles Verständnis kann mehr Bedienelemente finden. Besseres Schlussfolgern kann mehr unerwartete Dialoge bewältigen. Schnellere Aktionsschleifen können das Zuschauen weniger schmerzhaft machen.

Das strukturelle Problem bleibt.

Die Oberfläche einer Anwendung verändert sich mit Versionen, Fenstergrößen, Spracheinstellungen, Add-ins, Kontoberechtigungen, Dokumentzustand und der Benachrichtigung, die eine halbe Sekunde zuvor eingetroffen ist. Eigene Bedienelemente können unvollständige Informationen zur Barrierefreiheit liefern. Die Beschriftung eines Bedienelements kann gleich bleiben, obwohl sich seine fachliche Wirkung ändert. Das Modell muss ständig eine bewegliche Oberfläche interpretieren.

Deshalb kann ein Computer-Use-Durchlauf zugleich erstaunlich und für Wiederholungen ungeeignet sein. Seine Stärke ist Improvisation. Wiederkehrende Geschäftsprozesse brauchen das Gegenteil: weniger Interpretationen, weniger mögliche Wege und klar gemeldete Fehler.

Selbst OpenAIs eigene Dokumentation empfiehlt, für Datenzugriff und wiederholbare Vorgänge ein dafür vorgesehenes Plugin oder einen MCP-Server zu bevorzugen und Computer Use dann zu wählen, wenn visuelle Prüfung oder Bedienung tatsächlich nötig ist.

Das ist keine Fußnote.

Das ist die Architekturentscheidung.

MCP kann den Vorgang statt des Bildschirms anbieten

Das Model Context Protocol, kurz MCP, ermöglicht einer KI-Anwendung, Werkzeuge mit definierten Eingabeschemas zu entdecken und aufzurufen. OpenAIs MCP-Integration kann vor der Ausführung eines Werkzeugaufrufs eine Freigabe verlangen. Die Konfiguration der ausführenden Anwendung bestimmt, welche Aufrufe eine Freigabe brauchen.

MCP selbst schafft keine Verlässlichkeit. Es legt die Form des Steckers fest.

Die eigens entwickelte Software hinter dem Stecker erledigt die wichtige Arbeit.

Statt dem Modell Excel zu zeigen und es um den Monatsbericht zu bitten, könnte ein MCP-Server Folgendes anbieten:

prepare_monthly_forecast(period, division, source_snapshot)

Hinter diesem Vorgang kann gewöhnliche Software:

• den Zeitraum und den Geschäftsbereich validieren
• die Berechtigung des Aufrufers prüfen
• den Durchlauf anhand von Zeitraum, Geschäftsbereich und Quelldatenstand identifizieren und bei bereits abgeschlossenem Durchlauf das gespeicherte Ergebnis zurückgeben
• den Fortschritt speichern, damit ein unterbrochener Durchlauf fortgesetzt oder für einen Abgleich angehalten werden kann
• die Quelldaten über unterstützte APIs abrufen
• die Arbeitsmappe über Microsoft Graph, Office Scripts oder eine andere kontrollierte Integration aktualisieren
• neu berechnen und erwartete Summen sowie Formeln prüfen
• eine neue Version speichern
• ein Ereignis im Prüfprotokoll erfassen
• die Versionskennung, Summen, Warnungen und den Abschlussstatus zurückgeben

Die Integration muss zur tatsächlichen Arbeitsmappe und Betriebsumgebung passen. Microsofts Excel-REST-API unterstützt Arbeitsmappen im Office-Open-XML-Format, die in OneDrive for Business, SharePoint oder Gruppenlaufwerken gespeichert sind. Sie deckt nicht jede Datei ab, die Excel öffnen kann. Ein API-Name ersetzt keine Kompatibilitätsprüfung. Microsoft dokumentiert diese Grenzen.

Ein API-Aufruf schafft auch keine gemeinsame Transaktion für Berichtserstellung und E-Mail-Versand. Erst den Bericht erstellen, dann die gespeicherte Version prüfen und die Benachrichtigung als eigenen Schritt verfolgen. Bleibt nach einem Zeitlimit unklar, ob die Nachricht versendet wurde, muss das vor einem erneuten Versuch geklärt werden. Eine zweite E-Mail beweist nicht, dass die erste gescheitert ist.

Das Modell kann den Vorgang und seine Argumente vorschlagen. Der Dienst validiert sie und prüft die Berechtigung. Das Modell entscheidet nicht mehr, welchen Reiter der Arbeitsmappe es anklicken soll, ob die ausgewählte Zelle plausibel aussieht oder ob sich der Ladeindikator schon lange genug gedreht hat.

Das reduziert seine Verantwortung erheblich.

Computer Use	Eigens entwickelte Software über MCP
Zielt auf Fenster, Bedienelemente, Koordinaten und sichtbaren Text	Zielt auf einen benannten Geschäftsvorgang
Hängt von Fokus, Layout, Timing und Dokumentzustand ab	Akzeptiert typisierte, validierte Eingaben
Braucht unabhängige Prüfungen jenseits des nächsten sichtbaren Zustands	Kann ausdrückliche Nachbedingungen innerhalb des Vorgangs prüfen
Kann nach einem erneuten Versuch Nebenwirkungen wiederholen	Kann Idempotenz durchsetzen
Braucht Wiederherstellungsregeln außerhalb der Klickschleife	Kann definiertes Fehler- und Wiederherstellungsverhalten umsetzen
Bildschirmaufnahmen und Aktionsverlauf brauchen fachlichen Kontext	Kann Geschäftseingaben, Auswirkungen und Ergebnisse protokollieren
Arbeitet über freigegebene Anwendungen und deren angemeldete Konten	Kann jeden eng begrenzten Vorgang einzeln autorisieren

Ein allgemeines MCP-Werkzeug namens control_excel könnte das Durchklicken von Excel überflüssig machen. Den Vertrag für die Berichtserstellung definiert es trotzdem nicht. Das tun auch run_any_command oder click_anywhere nicht. Der Nutzen entsteht, wenn das Werkzeug weniger kann als die Anwendung und näher am Geschäftsziel liegt.

Die Grenze sollte festlegen, was das Unternehmen erlaubt, nicht bloß, was der Desktop kann. MCP ist hier optional: Ein geplanter Job oder ein gewöhnlicher API-Client kann denselben Geschäftsvorgang aufrufen. Nutzen Sie MCP, wenn eine KI-Anwendung darauf zugreifen muss.

Computer Use gehört dorthin, wo Improvisation vertretbar ist

Computer Use hat weiterhin seinen berechtigten Platz.

Es eignet sich, um einen Darstellungsfehler zu untersuchen, eine umständlich erreichbare Einstellung zu ändern, eine unbekannte Anwendung zu erkunden, Informationen aus einem System ohne brauchbare API zu sammeln oder risikoarme Arbeit zu erledigen, für die sich eigene Software nicht lohnt. Es kann auch zeigen, ob eine Automatisierungsidee Nutzen hat, bevor jemand den dauerhaften Weg baut.

Halten Sie den Menschen nah dran, wenn die Aufgabe einmalig, die Oberfläche unberechenbar und Fehler leicht zu erkennen und rückgängig zu machen sind.

Wechseln Sie zu einem strukturierten Werkzeug, wenn der Ablauf:

• wiederholt oder unbeaufsichtigt läuft
• Kunden-, Finanz-, Vertrags- oder Betriebsdaten verändert
• viele Datensätze betrifft
• prüfbar sein muss
• erneute Versuche sicher überstehen muss
• verlässliche Wiederherstellung braucht
• so wichtig geworden ist, dass „der Agent macht es meistens richtig“ peinlich klingt

Das ist derselbe Moment, in dem ein Tabellenmakro, ein Low-Code-Ablauf oder ein heldenhafter manueller Vorgang stillschweigend zu Produktionssoftware wird. Das Unternehmen kann es weiterhin Büroautomatisierung nennen. Der Fehler wird sich nicht um das Etikett kümmern.

Verlässliche Automatisierung macht Raten überflüssig

Die verbreitete Erwartung ist verständlich. Menschen wissen bereits, wie man Office bedient. Eine KI, die sie nachahmen kann, scheint deshalb Integrationsarbeit überflüssig zu machen.

Sie macht sie vorübergehend überflüssig.

Der erste erfolgreiche Durchlauf zeigt, dass die Aufgabe unter einer bestimmten Kombination von Bedingungen über die Oberfläche abgeschlossen werden konnte. Er beweist nicht, dass der Ablauf stabile Eingaben, kontrollierte Befugnisse, wiederholbare Auswirkungen, verifizierte Ergebnisse oder Wiederherstellung bietet.

Computer Use ist eine Kompatibilitätsschicht. Es erreicht Systeme, die für menschliche Hände gebaut wurden. Das macht es zu einer starken Ausweichlösung und einer schwachen Grundlage.

Für wichtige Abläufe gehören die Geschäftsregeln in einen eng begrenzten, testbaren Vorgang. Bieten Sie ihn über MCP an, wenn das Modell die Arbeit anfordern muss. Die Software muss sie ausführen und prüfen, Fehler behandeln und Aufzeichnungen hinterlassen, die jemand abgleichen kann.

Die Barrierefreiheitsschicht ist eine Tür in die Anwendung.

Sie ist kein Vertrag für den Geschäftsprozess.

Computer Use beeindruckt, weil es improvisieren kann.

Verlässliche Automatisierung beginnt, wenn der kritische Ablauf das nicht mehr muss.