Via chat, telefoon en e-mail helpt Collectie Overijssel dagelijks vele mensen op weg met hun archiefonderzoek. Collectiespecialist Laura de Jong ziet hierin een opvallende trend: steeds meer mensen raadplegen AI-chatbots voor hun archiefonderzoek. De Chatbot geeft een antwoord waar de onderzoeker niet mee verder kan en neemt vervolgens contact met het archief op. Hoe betrouwbaar is de inzet van AI voor archiefonderzoek? Laura zoekt het voor je uit en komt tot de ontdekking: AI kan inventarisnummers hallucineren.
Stel, je zoekt een trouwakte uit Blokzijl in 1766. Je vraagt aan ChatGPT om je exact te wijzen waar je deze akte kunt vinden: dit bespaart je immers veel tijd. ChatGPT geeft je een gedetailleerde omschrijving waar je dit archiefstuk kunt vinden:
Je zoekt dit inventarisnummer op via de website van Collectie Overijssel en wat blijkt? Inventarisnummer 47 is een begrafenisboek, dat bovendien niet het juiste jaartal bevat.
Hoe kan het dat ChatGPT zo’n specifiek antwoord voor je heeft, maar dat dit helemaal niet klopt?
Sparren met AI
Sparren met een AI-chatbot zoals ChatGPT kan behulpzaam zijn. Zo kan de chatbot je nieuwe ideeën geven, orde aanbrengen in je aantekeningen, of wat historische context verschaffen. Waar een zoekmachine als Google je een verzameling websites geeft om aan te klikken, geeft de chatbot je een kant en klaar antwoord op je vraag. Dat de chatbot fouten kan maken, begrijpen de meeste gebruikers ook wel. Informatie die op het internet staat is nu eenmaal niet altijd betrouwbaar.
Een AI-chatbot kan echter nog iets dat Google niet kan en dat is hallucineren. De chatbot presenteert je niet een bestaande webpagina, maar genereert zelf teken voor teken en woord voor woord een antwoord. Dit doet het vaak op basis van patronen. Zo komt het tot een antwoord dat ‘logisch’ is of ‘het meest waarschijnlijk’. Als hier gaten in zitten, probeert de chatbot deze zelf in te vullen. De bot wil je namelijk altijd een volledig antwoord geven.
Doet AI echt archiefonderzoek?
Een menselijke onderzoeksassistent zou eerst het archief opzoeken, en vervolgens hierin zoeken naar het inventarisnummer dat aansluit op jouw vraag. Dit is echter niet hoe een chatbot werkt. Als je een zoekvraag stelt, gaat de chatbot niet voor jou live het internet doorzoeken op zoek naar het juiste antwoord. In plaats daarvan presenteert hij het meest logische antwoord op basis van de grote hoeveelheid content waarmee hij eerder is gevoed. AI baseert zich op patronen in deze content en dat is bij archieven, waarin juist informatie bewaard wordt die uniek is, heel lastig.
Een chatbot heeft geen echte gedachten, maar als die er waren zouden ze ongeveer zo gaan:
“Veel archieven betreffen een specifieke tijdsperiode, bijvoorbeeld 1560 tot 1811. De inventarisnummers in een archief lopen meestal van laag naar hoog. Waarschijnlijk heeft het jaartal 1766 dus een inventarisnummer dat niet heel laag is, maar ook niet heel hoog. Blokzijl heeft een relatief laag inwonersaantal. Het nummer van een trouwboek zal daarom waarschijnlijk vrij laag zijn. Veel inventarissen bestaan uit clusters of reeksen met stukken. Het is dus waarschijnlijk dat het jaartal 1766 in een reeks zit, bijvoorbeeld 1746 tot en met 1776…”
Zo komt AI tot het ‘meest logische’ antwoord wat hij vervolgens presenteert.
Hoe herken je een hallucinatie?
Als een chatbot een fout antwoord geeft, is dit niet altijd een hallucinatie. Er kunnen heel veel redenen zijn dat het antwoord fout is. Vaak zegt de chatbot zelf ook dat een antwoord fout zou kunnen zijn, of het vertelt je hoe je zelf verder kan zoeken.
Hoe specifieker jouw vraag is, hoe specifieker de chatbot het antwoord zal proberen te maken. De chatbot heeft echter niet altijd toegang tot de details die het hiervoor nodig heeft. Dat komt bijvoorbeeld door de beveiliging van collectiebeheersystemen en door de manier waarop AI-modellen zijn ontworpen.
Om toch een antwoord te geven kan de chatbot missende informatie vervangen met ‘verzonnen’ details. Veel chatbots zijn zelfs geïnstrueerd om je een concreet antwoord te geven ook al is dit onmogelijk, om jou gelijk te geven en om met je in gesprek te blijven door nieuwe vragen te stellen.
Een AI-hallucinatie is een verzonnen of onjuist gegeven dat gepresenteerd wordt als betrouwbaar en waar.
Je herkent een hallucinatie dus door:
- Zeer gedetailleerde antwoorden met nummers en archieftermen
- Geen link naar de bron (of alleen naar een algemene webpagina).
- Een volledig zekere toon. Dus: ‘je kunt dit vinden in…’ in plaats van, ‘Dit zou kunnen zitten in…’
Hoe voorkom je dit soort fouten?
Je zou andere vragen kunnen stellen die beter inspelen op patronen, waar AI juist goed in is. Bijvoorbeeld met de vraag: “in welk type bronnen zou ik zoiets kunnen vinden?” Ook kun je met een chatbot sparren, bijvoorbeeld over verschillende relevante zoektermen. Met gesuggereerde synoniemen en spellingsvarianten kun je vervolgens zelf in een archiefinventaris gaan zoeken. Probeer vooral prompts te schrijven die jou zouden kunnen helpen bij het zélf doen van archiefonderzoek.
Misschien dat in de toekomst, met de razendsnelle ontwikkeling van kunstmatige intelligentie, de antwoorden op archiefvragen steeds vaker juist zullen zijn. Daarnaast wordt AI op meer plaatsen ingezet in het archiefwezen, bijvoorbeeld bij het inventariseren van archief of voor de transcriptie van grote aantallen scans. Een voorbeeld is het project HAICu. Met behulp van AI worden de staatresoluties van Overijssel doorzoekbaar gemaakt. Namen van personen en plaatsen worden uitgelicht waardoor deze bron veel toegankelijker wordt, niet alleen voor de wetenschap maar ook voor de stamboomonderzoeker thuis.
Archiefonderzoek is echter als fietsen, je moet er wat tijd in steken om het te leren maar als je het eenmaal zélf kan, kom je snel waar je moet zijn.
Daarbij kun je ook leunen op menselijke intelligentie en assistentie. De zoekwijzer DTB is geschreven op basis van de veelgestelde vragen over deze bronnen. Via de mail of telefoon helpen we je graag verder. Je kunt ook met ons chatten. In tegenstelling tot AI-chatbots, zal onze chatbot je zo snel mogelijk koppelen aan een echte – menselijke – medewerker.
