geschiedenis column

Twijfelen is niet aan ChatGPT besteed, en dat is nu net wat een historicus wél doet

Een congres en een taxirit zetten columnist Elwin Hofman aan het denken over de rol van AI in historisch onderzoek. Teksten samenvatten en doorzoeken: dat kan ChatGPT behoorlijk. Maar dat maakt van het model nog geen historicus.

Op het congres hadden we het over de nieuwe trends in onderzoek naar de geschiedenis van criminaliteit. Meer aandacht voor ruimte, materialiteit en mondiale kenniscirculatie. Groeiende interesse in witteboordencriminaliteit en de tweede helft van de twintigste eeuw. Inzet van nieuwe digitale technieken als machine learning, named entity recognition en sentiment analysis. En natuurlijk: de mogelijkheden van taalmodellen als ChatGPT.

Het congres vond plaats in het Zwitserse Bern. Na afloop nam ik de trein terug, eerst naar Basel met de Zwitserse spoorwegen (geen seconde vertraging), vervolgens naar Utrecht met Deutsche Bahn. De reis zou, van Basel naar Utrecht zonder overstappen, zo’n zes uur in beslag nemen. Na elf uur reizen, een veranderd traject en een nieuw treinstel stond ik om 2 uur ’s nachts in Rotterdam. Daar konden we, verkondigde de conducteur, de nachttrein naar Utrecht nemen. Vanwege werken zou die nog eens zo’n twee uur over dat traject doen.

Intussen was er, zo gaat dat bij treinmiserie, een gevoel van solidariteit ontstaan. Op de stoel achter mij zat een Duitse zakenvrouw, bankier of consultant of iets dergelijks, opgestapt in Frankfurt, ook op weg naar Utrecht. Zij beklaagde zich de situatie ten zeerste – ze had het vliegtuig willen nemen, maar dat mocht niet meer. (Laat niemand beweren dat de financiële sector zijn steentje niet bijdraagt aan de klimaattransitie.) In Rotterdam nog twee uur de trein nemen, dat zag ze niet gebeuren. Zij zou een taxi charteren, “the company pays”. En ikzelf en een andere gelukkige mochten mee.

Wat volgde was als een film: de zakenvrouw marcheerde naar de taxizone en gebood de dichtstbijzijnde taxichauffeur: “Do you take credit card? Take us to Utrecht, fast as you can. Price doesn’t matter!” In haar kielzog sprongen we mee de taxi in. Een klein uur (werken op de A12) en 250 euro (paid by the company) later was ik in Utrecht.

Intussen hadden we nog wat nader kennisgemaakt. Nadat de zakenvrouw verteld had wat ze als bankier of consultant of iets dergelijks doet, kreeg ik de vraag waar ik de kost mee win. Ik zei dat ik als historicus werkte. Die wereld leek haar even vreemd als haar wereld voor mij. Dus dan wist ik alles over geschiedenis? Ik vreesde een afgang bij een overhoring, wellicht over de Tweede Wereldoorlog want daarover gaat het altijd en eerder hadden mijn tweede Duitse medepassagiers zich er al over verbaasd dat de Nederlandse Spoorwegen NS mogen heten. Dus ik zei: nee, maar ik weet wel hóé ik informatie over het verleden kan vinden.

“Oh,” zei de zakenvrouw, “just ask ChatGPT.”

Ik probeerde de meubelen nog enigszins te redden: dat ik verder kon gaan dan ChatGPT, origineler kon zijn, dat het maar dankzij menselijke historici was dat ChatGPT überhaupt iets over het verleden kon vertellen, maar het leek haar niet te overtuigen. Mijn baan leek haar even onzinnig als haar baan voor mij.

Sommige collega’s lijken haar gelijk te geven. Historische papers, scripties, proefschriften, artikelen en monografieën kunnen volgens hen niet in hun huidige blijven bestaan. Nu al, zeggen ze, zijn taalmodellen als ChatGPT met de juiste input in staat om degelijke historische teksten op te leveren. En het is slechts een kwestie van tijd vooraleer ze daar nog veel beter in worden, door bijvoorbeeld gedigitaliseerde archiefcollecties in hun corpus mee te nemen.

Zo’n vaart lijkt het me niet te lopen. Er zijn ethische kwesties – “generatieve AI” vreet energie en water en genereert winst voor megabedrijven door te teren op het werk van mensen die daar niet voor worden betaald. Willen we dat wel? Maar er zijn ook praktische bezwaren: tot dusver is wat ik als resultaat te zien heb gekregen eerder pover. Voor feitelijke vragen blijft het probleem dat taalmodellen, ChatGPT op kop, soms foutieve informatie geven, al dan niet ondersteund met verzonnen referenties. Daar kom je de in wetenschap niet mee vooruit.

Sommige studenten vatten met taalmodellen artikelen samen of laten er hun eigen teksten door verbeteren. Dat is natuurlijk nefast voor hun leerproces, maar goed, vóór ChatGPT wisselden studenten slechte samenvattingen uit en corrigeerden moeders scripties. Een enkele keer ontving ik al (deels) door AI gegenereerde papers. Dat was zonneklaar en ondermaats. Ronkende claims zonder substantie: twijfel is niet aan ChatGPT besteed. Vooral bij eerstejaarsstudenten, die nog vaak papers moeten schrijven rond specifieke vragen en uitgekauwde thema’s, blijkt de verleiding tot een kant-en-klare AI-paper erg groot. Maar als die studenten er al mee wegkomen, dan zijn ze toch zichzelf aan het bedriegen. Als je een kwaliteitsvolle, substantiële historische paper of scriptie met ChatGPT wil produceren, moet je zelf veel voorbereidend werk doen. Een paar promptjes volstaan niet. En dan zijn de vaardigheden die je uit die onbeduidende eerstejaarspapers had moeten leren erg nuttig.

Wellicht worden ChatGPT en co vooral nieuwe tools die historici kunnen gebruiken, eerder dan dat ze die historici vervangen. Sommige van mijn collega’s zijn daar al mee aan de slag. Soms gaat het om banale zaken: als ze een project indienen bij meerdere subsidieverleners, waarvan de ene een overzicht van het bestaande onderzoek in 1.800 woorden wil en de andere in 800, dan zorgen ze via ChatGPT dat ze precies op het goede aantal woorden zitten.

Het kan ook verder gaan. Daarover ging het ook op het congres. Als ik ChatGPT een fragment in het Oudnederlands voer, dan kan de tool mij een redelijk accurate vertaling geven. GPT 4, voorlopig de recentste opvolger van ChatGPT, is zelfs vrij goed in staat om oude handschriften te ontcijferen: zeventiende-eeuws handschrift is notoir moeilijk leesbaar, maar als ik foto’s van zeventiende-eeuwse akten in GPT 4 upload, krijg ik een redelijke indruk van wat er daarin te lezen valt. Met wat meer instructie kunnen de AI-tools bovendien allerlei informatie uit een specifieke set documenten halen. Dat doen ze veel effectiever dan het aloude ctrl-f-commando.

Een wondermiddel is het niet. Er zitten fouten in, het proces van informatie-extractie is niet transparant, de ethische bezwaren blijven. Maar die concrete mogelijkheden en tools zullen een noemenswaardigere impact hebben op het historisch onderzoek dan het risico dat taalmodellen op eenvoudig verzoek hele scripties of boeken genereren.

Het werk en de vaardigheden van historici kunnen door artificiële intelligentie veranderen, zoals ze eerder al veranderden door de opkomst van gedigitaliseerde bronnen, of nog eerder, door fotokopieën en microfilms. En bij die nieuwe mogelijkheden komen ook nieuwe risico’s kijken. Maar relevante vragen stellen, interessante bevindingen selecteren, een overtuigend maar niet halsstarrig betoog opbouwen: dat blijft voorlopig mensenwerk. Taalmodellen zijn nog geen historici.

“Just ask ChatGPT” – oké. Maar welke vragen ga je stellen?

• Artificiële intelligentie
• ChatGPT