Ik schreef in mijn vorige artikel dat je als gebruiker van chatbots zoals ChatGPT of Gemini altijd kritisch moet zijn en blijven over de antwoorden die je terugkrijgt in een chatbot. Er zit niet een ‘iemand’ aan de andere kant van de lijn, maar een ’iets’. In dit artikel sta ik stil bij  risico’s die zich kunnen voordoen en kunnen leiden tot onjuiste en onvolledige antwoorden of informatie in een chatbot.

1. Feitelijke onjuistheden (hallucinaties)

Een chatbot kan met overtuiging en stelligheid een onjuistheid verkondigen. Feiten blijken bij nader inzien geen feit te zijn, bronnen en citaten zijn verzonnen, etc. Het advies is dus om antwoorden/uitkomsten in een chatbot nooit blindelings als waarheid aan te nemen. Deze hallucinaties doen zich o.a. voor omdat het systeem patronen in taal voorspelt in plaats van feitelijke kennis te raadplegen.

2. Misleidende, verouderde of onvolledige informatie

Zelfs als een antwoord niet verzonnen is, kan het nog wel misleidend zijn door het geven van een reactie die bestaat uit of gebaseerd is op onvolledige informatie. Onvolledige informatie kan je een vals gevoel van begrip geven. Maar, een halve waarheid is zomaar een hele leugen. Ook kan de reactie in de chatbot gebaseerd zijn op verouderde informatie. Dit kan zich voordoen doordat de data uit het large language model bijgewerkt zijn tot een bepaald moment. Of omdat deze verouderde informatie zo vermeld staat op het world wide web.

3. Sycofantie (vleierij)

Een chatbot heeft de neiging de gebruiker “naar de mond te praten” om behulpzaam over te komen. Hierdoor kan de chatbot onjuiste aannames van de gebruiker bevestigen in plaats van ze te corrigeren.

4. Bias en vooroordelen

De data uit het model zijn gebaseerd op data en teksten die vooroordelen en vooringenomenheid kunnen bevatten. Het model kan deze biases overnemen en zelfs versterkt doorgeven aan jou als gebruiker van de chatbot.

5. Contextverlies

Een chatbot kan jouw vraag letterlijk juist beantwoorden, maar daarbij voorbijgaan aan de context die je voor ogen had bij het stellen van de vraag. De chatbot gaat zo voorbij aan jouw bedoeling met de vraag en geeft je een onbevredigend antwoord.

6. Gebrek aan domeinexpertise

Het ontbreekt de chatbot doorgaans aan domeinexpertise. Fiscaal-juridische vragen kunnen zo onjuist/onvolledig beantwoord worden. Menig fiscalist is hier al mee geconfronteerd: cliënten denken zelf via het raadplegen van een chatbot een fiscaal vraagstuk te hebben opgelost. Voor de zekerheid laten ze toch nog maar even een fiscalist ernaar kijken en die heeft vervolgens terecht de nodige mitsen en maren over de gevonden oplossing.

7. Overmatig vertrouwen

Als een chatbot jou herhaaldelijk van nuttige antwoorden voorziet, ontstaat het risico dat je de chatbot steeds meer gaat vertrouwen. Gezien de hiervoor genoemde risico’s moet je als gebruiker de reactie/antwoorden van een chatbot altijd controleren en valideren.

Ten slotte

Ik noem deze risico’s niet om je ‘bang’ te maken voor het gebruik van chatbots. Maar, als je je bewust bent van de risico’s, dan kun je daarmee rekening houden en je voorzorgsmaatregelen treffen. Een van die maatregelen is het stellen van de juiste vragen en instructies (slimme prompt-technieken). Een andere maatregel is het toevoegen van (juiste en gevalideerde) data als externe bron. Over dit laatste de volgende keer meer.