Hvad betyder Computer use?
Computer use er AI-betjening af en computers grafiske brugerflader. Agenten kan læse skærmbilleder eller strukturerede oplysninger om elementer og derefter klikke, skrive eller navigere. Det kan forbinde opgaver i programmer, hvor der ikke findes en passende integration.
Det er ikke det samme som at forstå et programs indre tilstand. En knap kan være skjult, en dialog kan blokere, eller data kan være under indlæsning. Agenten må derfor basere næste handling på en aktuel observation og kontrollere resultatet bagefter.
Se, handl og læs resultatet tilbage
Et stabilt forløb veksler mellem observation og handling. Før et klik skal agenten kende det rigtige vindue og element. Efter en betydende handling skal den læse den nye tilstand. At der blev klikket på “Gem”, beviser ikke, at ændringen er gemt; en fejlbesked eller validering kan have forhindret det.
Små sekvenser er ofte lettere at kontrollere end en lang række blinde klik. Navngivne knapper og felter kan være mere robuste end faste koordinater, når programmet tilbyder sådanne oplysninger. Ved visuel betjening må placeringen genvurderes, når vinduet eller indholdet ændrer sig.
Indhold på skærmen er ikke en ny ordre
En mail, en webside eller et dokument kan indeholde tekst, som prøver at ændre agentens opgave. Systemet bør behandle dette som indhold og holde brugerens instruktion adskilt fra oplysninger, der læses undervejs. Begræns samtidig adgang til følsomme data og handlinger. Hvis en veldefineret API-integration findes, kan den give en tydeligere kontrakt end grafisk betjening. Computer use bør vælges, fordi den passer til opgaven, ikke alene fordi den kan demonstreres visuelt.
Et eksempel fra praksis
En virksomhed skal samle status fra et ældre administrationsprogram. Agenten kan åbne den rette oversigt, vælge den aftalte periode og læse de synlige tal til et internt udkast. Den har ikke til opgave at ændre poster eller sende rapporten. Testen kan indsætte en uventet dialog og undersøge, om agenten stopper og identificerer den i stedet for at klikke videre på samme skærmposition. Det gør grænsen mellem læsning og handling tydelig.
Typiske faldgruber
- At fortsætte med gamle koordinater efter en ændring i vinduet.
- At forveksle et klik med en gennemført og bekræftet ændring.
- At følge instruktioner fra en mail eller webside som om de kom fra brugeren.
Det skal I afklare
- Afgræns programmer, data og tilladte handlinger.
- Læs aktuel tilstand før handling og verificér betydende resultater.
- Test uventede dialoger, langsom indlæsning og indhold med modstridende instruktioner.
Spørgsmål og svar
Kan computer use erstatte alle integrationer?
Nej. Grafiske forløb kan være mere følsomme over for ændringer i brugerfladen. En API er ofte bedre til gentagne, veldefinerede dataudvekslinger, mens computer use kan dække andre huller.
Er en browseragent det samme?
En browseragent er afgrænset til browseropgaver. Computer use kan også omfatte native programmer og arbejde på tværs af vinduer. De deler behovet for aktuel observation og kontrol.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Anthropic: Computer use tool ↗Betjening af brugerflader og risiko ved instruktioner i sideindhold.
- Playwright: Locators ↗Identifikation af synlige elementer via rolle, navn og label.