Ik probeer een agent in Microsoft Copilot Studio te bouwen. Het idee is simpel: geef een datum in, en de agent genereert een dagstart voor het team. Hij haalt data op uit een paar Excel-bestanden op SharePoint en volgt instructies die ik heb opgesteld. Meer niet.
Ik krijg het tot mijn frustratie niet voor elkaar. Hier heb ik geen bal aan. Zo kan ik hem beter zelf blijven maken. Sneller ook. Dit voelt als een meestribbelende zeikerd van een collega waar je niets aan hebt.
Zeker als ik hem op een gegeven moment vraag waarom hij van de instructie is afgeweken.
Zijn antwoord: "Ik mag hier niet van de instructie afwijken. Punt." Gevolgd door een uitleg waarom hij het tóch had gedaan.
Dat zeg ik zeikerd.
Ik had het hierbij kunnen laten – en het inderdaad zelf blijven maken. Maar ik wilde uitzoeken waarom het niet lukte.
In de tijd daarna loop ik tegen een waslijst aan concrete problemen aan. De agent zoekt in SharePoint in plaats van te bladeren, en concludeert dat een map leeg is terwijl er gewoon een bestand in staat. Hij leest fragmenten in plaats van bestanden. Datumnotaties worden consequent verkeerd geïnterpreteerd – dag en maand omgewisseld, onzichtbaar. Instructiebestanden worden overgeslagen. Een fallback in één sectie trekt alle andere secties mee. Vage outputinstructies worden creatief ingevuld. Als ik een uur langer had doorgewerkt, waren het er waarschijnlijk meer dan twintig geweest.
Maar dat is niet het echte verhaal.
Het echte verhaal
Ik had de agent benaderd alsof hij begrijpt wat ik bedoel. Alsof context vanzelfsprekend is. Alsof "compact en scanbaar" een instructie is.
Een collega compenseert dat. Hij gebruikt ervaring, context, gezond verstand. Die slordigheid bleef altijd onzichtbaar.
Een agent compenseert ook – maar niet op basis van begrip. Hij geeft een antwoord dat eruitziet als correct.
Mensen zijn al slecht in het schrijven van werkinstructies. Vol met ambiguïteit, impliciete aannames, tegenstrijdigheden. Dat was zo voor collega's. Dat is zo voor agents. Het verschil is dat een collega je dat zelden laat merken.
Er wordt veel gezegd over wat agents kunnen en gaan doen. Maar er is een voorwaarde die zelden wordt gesteld: Kun jij definiëren wat de agent moet doen? Niet globaal. Niet in intentie. Precies.
Dat is een andere vaardigheid. En een die de meeste organisaties nog niet hebben.
De lijst aan problemen die ik tegenkwam zijn geen fouten in de software. Ze zijn het gevolg van instructies die ik zelf niet precies genoeg had geformuleerd. Vage outputinstructies worden creatief ingevuld – door de agent, maar eerder ook door collega's. Het verschil is dat collega's dat stilletjes doen, en een agent het zichtbaar maakt.
Het probleem zit niet in de agent. Het zit in de instructie. En die schrijf jij – of, ja, in dit geval ik natuurlijk.
Wat betekent dit?
Dit is een aardig voorbeeld. Maar wat betekent het nou?
Impliciet compenseren is een menselijk trekje
Een collega die een vage instructie krijgt, lost dat stilletjes op. Hij vraagt door, gist, past aan. Maar de instructie verbetert niet. De kennis blijft in zijn hoofd. Het proces wordt nooit scherp, want het hoefde nooit scherp te zijn. De agent maakt dat zichtbaar – niet omdat hij slechter is dan een collega, maar omdat hij niet compenseert. Hij voert uit. En wat er dan uitkomt, laat zien hoe goed de instructie eigenlijk was.
Dit vraagt een vaardigheid die de meeste mensen niet hebben
Precies definiëren wat je wil betekent je werk zo goed begrijpen dat je het woord voor woord kunt opschrijven – zonder impliciete aannames, zonder "dat snap je toch wel." Veel werk bestaat uit kennis die mensen niet kunnen opschrijven omdat ze nooit hebben hoeven nadenken over hoe ze het doen. Een agent kan daar niet bij.
Dit gaat geen uitzondering zijn
Dit is niet één toevallige situatie. Organisaties die agents inzetten doen dat voor tientallen processen tegelijk, geschreven door mensen die hun werk nog nooit zo precies hebben hoeven verwoorden. De input klopt. De output ziet er goed uit. Wat er tussenin gebeurt, zie je niet. En als het daar misgaat, weet je het niet.
Daar zit iets achter. Ik had de agent benaderd als een deterministisch systeem – geef input, krijg output, altijd hetzelfde. Maar een taalmodel werkt probabilistisch. Hij berekent wat het meest waarschijnlijke antwoord is op basis van wat ik heb opgegeven. Hoe vager de instructie, hoe meer ruimte voor een antwoord dat eruitziet als correct maar het niet is.
En dan is de eerlijkste conclusie misschien ook de simpelste:
Als je niet precies kunt definiëren wat een agent moet doen, zet hem dan niet in voor die taak.
-- dit bericht is eerder gepubliceerd op LinkedIn