De ontwikkeling van taalmodellen: van Eliza tot ChatGPT

Actualiteit van taalmodellen

Naast de grote spelers als OpenAI en Google, worden er ook alternatieve taalmodellen ontwikkeld. DeepSeek is het nieuwe opkomende Chinese AI-model die de concurrentie moet aangaan met ChatGPT en Gemini. Vanwege de vele privacyvraagstukken werkt Nederland ondertussen in stilte aan een eigen AI-taalmodel: GPT-NL. Dit door de overheid gesteunde project heeft als doel een betrouwbaar, Nederlandstalig taalmodel te ontwikkelen dat beter aansluit op lokale wet- en regelgeving en ethische richtlijnen. In een wereld waarin AI steeds dominanter wordt, is het cruciaal om controle te houden over de technologie en deze op een verantwoorde manier in te zetten.

Ook internationaal is er terughoudendheid voor het gebruik van het Chinese DeepSeek. Zuid-Korea verbood DeepSeek voor ambtenaren nadat het bedrijf geen duidelijkheid gaf over het beheer van gebruikersinformatie. Taiwan en Australië namen vergelijkbare maatregelen uit zorgen over digitale veiligheid. Daarnaast heeft de Italiaanse datatoezichthouder DeepSeek zelfs in het hele land geblokkeerd.

Er zijn daarnaast zorgen over de herkomst van DeepSeek’s technologie. OpenAI beschuldigt het Chinese bedrijf ervan data van ChatGPT te hebben gekopieerd en daarmee de gebruikersvoorwaarden te hebben geschonden. Wij kiezen er bij Vesqia.ai dan ook bewust voor om niet met DeepSeek te werken, ondanks veelbelovende resultaten uit diverse tests.

Waarom een taalmodel? Van Eliza tot geavanceerde chatbots

Het eerste programma dat gebruik maakte van een taalmodel was Eliza, ontwikkeld in 1966. Deze chatbot bood eenvoudige interactie door patronen in tekst te herkennen en vooraf geprogrammeerde antwoorden te geven. Dit was een vroege vorm van natural language processing (NLP). Sindsdien zijn taalmodellen steeds geavanceerder geworden. Tegenwoordig worden ze ingezet in online klantenservice, automatische vertalingen en tekstsuggesties op smartphones.

Wat kunnen taalmodellen?

Taalmodellen worden gebruikt voor verschillende toepassingen die ons dagelijks leven beïnvloeden:

• Sentimentanalyse: Modellen kunnen teksten interpreteren en bepalen of een boodschap positief, neutraal of negatief is. Dit wordt bijvoorbeeld ingezet bij productreviews, onderzoek en klantfeedback.
• Machinevertaling: Automatische vertalingen, zoals die van Google Translate en DeepL.

Tekstgeneratie: Chatbots en AI-systemen zoals ChatGPT kunnen coherente en plausibele teksten genereren op basis van enorme hoeveelheden trainingsdata.

Sinds 2021 kun je taalmodellen combineren met beeldgeneratie. DALL·E, een ander model van OpenAI, kan bijvoorbeeld afbeeldingen maken op basis van tekstinvoer.

Hoe werken taalmodellen?

De eerste taalmodellen werkten op basis van statistiek: ze bepaalden welk woord het waarschijnlijkst volgde op een eerder woord. Later kwamen neurale netwerken die patronen in taal beter konden herkennen en nieuwe combinaties konden genereren.

Een grote doorbraak kwam in 2017 met de introductie van transformers. Deze modellen verwerken volledige zinnen tegelijk en bepalen met behulp van ‘attention’-mechanismen welke woorden het belangrijkst zijn. Hierdoor kunnen ze langere en complexere teksten analyseren en genereren. Dit maakt modellen als ChatGPT veel krachtiger dan hun voorgangers. Hiervandaan komt ook de naam Large Language Model (LLM). Deze transformators kunnen dus in tegenstelling tot hun voorgangers tekstinput parallel verwerken, ofwel alle woorden in één zin tegelijk in plaats van woord voor woord.

Onderstaand een voorbeeld van hoe dat voorheen ging dus een enkel Language model.

De keerzijde van AI

Hoewel taalmodellen veel voordelen bieden, brengen ze ook uitdagingen met zich mee. Een belangrijk risico is bias. Omdat modellen worden getraind op grote hoeveelheden tekst van het internet, kunnen ze onbewust vooroordelen overnemen, bijvoorbeeld op basis van geslacht of afkomst.

Een ander risico is de betrouwbaarheid van gegenereerde informatie. AI-modellen kunnen grammaticaal correcte maar inhoudelijk foutieve teksten produceren. Dit maakt het lastig om feit en fictie te onderscheiden.

Daarnaast roept de toegankelijkheid van deze modellen ethische vragen op. Hoe voorkom je bijvoorbeeld dat studenten hun opdrachten volledig door AI laten schrijven? En hoe kunnen bedrijven misbruik voorkomen?

De toekomst van taalmodellen

De ontwikkeling van AI en taalmodellen gaat in hoog tempo door. De komende jaren zal de focus liggen op:

• Efficiënter gebruik van data en rekenkracht: AI-modellen vragen veel energie en rekenvermogen. Onderzoekers zoeken naar manieren om dit duurzamer te maken. DeepSeek is bijvoorbeeld al veel efficiënter dan het huidige model van ChatGPT.
• Betere domeinspecifieke toepassingen: Modellen kunnen verder worden getraind op specifieke vakgebieden, zoals geneeskunde of juridische teksten.
• Combinatie van tekst en andere media: Taalmodellen worden steeds vaker gekoppeld aan spraak, video en gebaren, waardoor ze een breder scala aan communicatievormen begrijpen.

Taalmodellen zijn niet meer weg te denken uit onze samenleving. De uitdaging ligt in het verantwoord inzetten van deze technologie, zodat ze ons ondersteunt in plaats van vervangt.