U bent hier

Onderneming & Fiscus
Werken met AI3. Generatieve AI3.2 Taalmodellen

3.2 Taalmodellen

Dit artikel is eerder verschenen als Themadossier HR Rendement
Publicatiedatum: maart 2024

opensource

broncode

Er zijn allerlei opensource taalmodellen beschikbaar, zoals die van Meta (Llama 2) of het Europese Hugging Face (Bloom). Bij een opensource taalmodel is de broncode bekend, evenals de onderliggende dataset. Daarnaast zijn er gesloten systemen van bijvoorbeeld Google (Gemini), Elon Musk (Grok) en Anthropic (Claude2). ChatGPT van OpenAI is op dit moment waarschijnlijk het meest bekend en het meest toegankelijk en het best ontwikkeld.

Bronnen

genereren

ChatGPT is getraind met een enorme hoeveelheid tekst uit diverse bronnen zoals literatuur, artikelen en websites. Daardoor is het mogelijk om teksten te produceren waarvan het lijkt alsof ze door een mens zijn geschreven. Het vermogen om menselijke taal te kunnen begrijpen en genereren is precies datgene wat zo’n taalmodel zo sterk maakt.

Die drie letters van GPT staan voor Generative Pre-trained Transformer, oftewel ‘algemeen voorgeprogrammeerde omzetter’.

3.2.1 Prompt

woorden ­voorspellen

Naar aanleiding van een bepaalde vraag, een zogenoemde prompt, gebruikt een taalmodel zijn kracht om woorden te voorspellen en komt vervolgens met een antwoord dat is voorspeld op basis van tekst. Een taalmodel weet niet alleen een vraag te beantwoorden, maar het kan ook een ingewikkeld onderwerp prima uitleggen, gedichten schrijven of verhalen vertellen. Het blijft wel van belang om de beperkingen van generatieve taalmodellen als ChatGPT te zien. Ook al lijkt de tekst door een mens geschreven, zo’n taalmodel heeft niet de mogelijkheid om de teksten inhoudelijk op dezelfde manier te begrijpen als mensen dat doen.

Wiskunde

imiteren

vooruitgang

Taalmodellen zijn gebaseerd op wiskunde en statistiek, en niet op het verwerven van feitelijke kennis, zoals bij mensen. Er is sprake van het imiteren van de taal van mensen. Met heel veel data en algoritmes lukt het om te herkennen hoe taal is opgebouwd. Door de enorme groei qua rekenkracht en de grootte van datasets heeft de achterliggende technologie in korte tijd veel vooruitgang geboekt. Met behulp van alle training op gigantische hoeveelheden tekst is het gelukt om patronen en structuren te herkennen in taal en om deze ook toe te passen. Zo is het mogelijk voor de modellen om heel veel samenhangende informatie te verwerken en op te nemen in de gegenereerde antwoorden.

3.2.2 Verschil prompt en zoekopdracht

waarschijnlijkheid

Een prompt werkt iets anders dan een zoekopdracht voor een zoekmachine als Google. Werknemers moeten taalmodellen als ChatGPT dus niet gaan gebruiken als een soort zoekmachine. Een antwoord van een taalassistent is namelijk bepaald op basis van de waarschijnlijkheid dat bepaalde woorden in een bepaalde volgorde staan en niet op daadwerkelijke kennis van feiten. Zo is een prompt voor een AI-model bedoeld om een dialoog of interactie met het AI-systeem op gang te brengen. In hoofdstuk 5 vindt u praktische tips voor het schrijven van prompts.

Zoekmachine perplexity.ai maakt wél gebruik van taaltechnologie. Maar in principe heeft generatieve AI als ChatGPT een andere aanpak nodig dan een zoekmachine als Google.

Maatwerk

achtergrond­informatie

Het model houdt rekening met contextuele informatie, eerdere interacties en de specifieke formulering van de prompt om een antwoord te genereren. Het werkt dus niet zo goed om een eenvoudige vraag te stellen, zoals bij een zoekopdracht. Er is uitgebreide achtergrondinformatie nodig, zoals de functie, het type organisatie en de stijl waarin de tekst geschreven moet worden. Het is mogelijk om verder te borduren op eerdere prompts.

Een taalmodel is dus extra nuttig bij het krijgen van een antwoord dat rekening houdt met een bepaalde context en maatwerk.

3.2.3 Zoekopdracht

trefwoord

trainingsdata

Bij een zoekopdracht is het doel om specifieke informatie op het internet te vinden. Een zoekmachine maakt gebruik van trefwoorden of zinnen om relevante webpagina’s, documenten, afbeeldingen of andere bronnen te vinden die overeenkomen met de zoektermen. Het resultaat verschilt dan ook flink van een AI-model. Want bij een zoekmachine krijgt u een lijst met links naar bronnen, terwijl een AI-model een nauwkeurig en compleet antwoord geeft op basis van de trainingsdata. Daarmee geeft een zoekmachine dus op basis van een korte, specifieke vraag heel veel antwoordopties: van specifiek naar breed of generiek. Voor een taalmodel is dat andersom, aangezien er op basis van een uitgebreide vraag of omschrijving één antwoord komt: van breed naar specifiek.

Een leuk restaurant via Google of ChatGPT

context

Bij een zoekmachine is het mogelijk om een korte vraag of omschrijving in te voeren om vervolgens allerlei pagina’s af te moeten zoeken naar ‘een leuk restaurant in Zuid-Holland’. Een taalmodel heeft juist vooraf veel meer context nodig, zoals het gezelschap dat mee uiteten gaat, favoriete restaurants en dieetwensen. Het taalmodel geeft op basis van deze informatie een eenvoudig antwoord: een suggestie voor een passend restaurant.

3.2.4 Verwerken versus creëren

verwerken

Waar gewone AI gericht is op het begrijpen, interpreteren, verwerken en reageren op informatie, is generatieve AI juist goed in het creëren van nieuwe inhoud. Het kan nieuwe gegevens produceren die lijken op, maar niet identiek zijn aan de trainingsdata. Gewone AI wordt dan ook met name gebruikt voor taken als data-analyse, patroonherkenning, spraakherkenning, natuurlijke taalverwerking, en automatisering van repetitieve taken. Het gaat hierbij vooral om het verwerken van bestaande informatie, het beantwoorden van vragen, het uitvoeren van specifieke opdrachten, of het assisteren van gebruikers op basis van vooraf gedefinieerde regels en algoritmes.

Originele output

patroon

Generatieve AI kan afbeeldingen, video’s, tekst, muziek, stemmen of andere media genereren. Het wordt ook gebruikt voor het creëren van realistische simulaties in verschillende velden. In plaats van simpelweg data te analyseren en te interpreteren, gebruikt generatieve AI patronen geleerd uit data om nieuwe, originele output te produceren. Generatieve AI-systemen zijn ‘creatiever’ in de zin dat ze in staat zijn om unieke en innovatieve resultaten te produceren die niet direct afgeleid zijn van hun input.

Gewone AI houdt zich meer bezig met het verwerken en interpreteren van data. Generatieve AI gaat een stap verder door nieuwe, originele content te creëren, gebaseerd op geleerde patronen en structuren.