In het artikel Chatbots: gepast wantrouwen is noodzakelijk! schreef ik dat je bij het gebruik van chatbots de nodige risico’s loopt om voorzien te worden van onvolledige en onjuiste antwoorden. Een van de maatregelen om dit risico te minimaliseren is het toevoegen van externe databronnen. Zo kan het Document Management Systeem (= DMS) als externe databron fungeren. Of allerlei (fiscaal-)juridische informatie. Of (andere) informatie die beschikbaar is in jouw Microsoftomgeving (tenant).
Deze techniek wordt Retrieval-Augmented Generation (= RAG) genoemd en werkt als volgt:
- Retrieval (ophalen): eerst worden op basis van jouw vraag of invoer in de chatbot in de externe databron(nen) documenten of tekstfragmenten opgezocht die relevant zijn voor het beantwoorden van je vraag.
- Augmented (verrijkt): deze gevonden gegevens worden aan de oorspronkelijke gebruikersinvoer als ‘prompt’ doorgegeven voor beantwoording aan het model (large language model= LLM).
- Generation (genereren): het (taal)model (LLM) genereert het uiteindelijke antwoord richting de gebruiker van de chatbot en maakt daarbij dus gebruik van de gevonden gegevens uit de externe bron(nen) en zijn eigen dataset/world wide web.
Het toepassen van deze RAG-techniek heeft een aantal positieve gevolgen:
- Het risico van verouderde informatie kan worden geëlimineerd door te werken met actuele externe bronnen.
- Bij het beantwoorden zal de chatbot zich bewegen binnen de kaders van jouw specifieke documenten of externe bronnen. Het antwoord wordt op die manier als het ware gecontroleerd op juistheid en volledigheid.
- Het risico van hallucinaties is (sterk) verminderd, omdat AI niet behoeft te ‘gokken’; de informatie (feiten) worden AI voorgeschoteld in de vorm van externe bronnen.
Deze RAG-techniek zie je in de praktijk terug bij diverse toepassingen. Denk hierbij aan toepassingen als Luca (Blocks) of GenIA-L (SDU).
Heb je vragen over AI en wat Full Finance daarin voor je kan betekenen? Neem dan contact op met Arjan Gelderblom of Daniël Aardoom.