Wat is een dataset?

Een dataset is een georganiseerde verzameling gegevens. Het gaat om voorbeelden waarmee een computer kan leren. Je kunt het vergelijken met een goed geordende bibliotheek: alle data staan netjes op een vaste plek. Denk aan lijsten met gegevens in tabellen of teksten. Datasets vormen voor AI-modellen de brandstof voor de slimme algoritmes. Ook voor onze AI-chatbots gebruiken we datasets. We verzamelen, structureren en bewerken data om de chatbots te laten leren en presteren. Zonder kwalitatieve en goed georganiseerde datasets kan een chatbot niet werken. Daarom besteden we veel aandacht aan het zorgvuldig selecteren, opschonen en labelen van datasets, zodat een chatbot het juiste antwoord geeft.

Waarom zijn datasets belangrijk?

AI-systemen leren van data. Ze geven de machine voorbeelden waarop het patronen kan ontdekken. Via een dataset krijgt de machine de informatie die het nodig heeft om de taken uit te voeren en patronen te herkennen. Zonder goede voorbeelden kan een AI-model niets leren. Met meer én diverse data wordt een model doorgaans slimmer en betrouwbaarder. Bij Vesqia starten wij elk project met het verzamelen van relevante data. Deze data vormen de basis waarop wij onze chatbots bouwen.

Voorbeelden van datasettypen

Datasets komen in vele vormen voor. Ze kunnen gestructureerd zijn (zoals een tabel in een spreadsheet) of ongestructureerd (bijvoorbeeld tekst of media). Ongestructureerde datasets kunnen allerlei formaten hebben, zoals tekstbestanden, afbeeldingen of audio. Enkele veelvoorkomende datasettypen zijn:

• Tekst, zoals verzamelingen geschreven data, zoals boeken, nieuwsartikelen, blogs of chatgesprekken
• Afbeeldingen, zoals sets met foto’s of scans. AI-systemen trainen hierop om objecten of patronen in beelden te herkennen.
• Audio, zoals geluidssamples of spraakopnames. Spraakassistenten gebruiken bijvoorbeeld opnames van gesproken zinnen met bijbehorende transcripties.
• Tabellen, zoals financiële cijfers, sensormetingen of spreadsheets vol gestructureerde gegevens.

Hoe werken wij met datasets?

Wij hanteren een gestructureerde aanpak als het gaat om datasets:

1. Wij vragen de data die relevant is voor het vraagstuk van onze klant. Dit kunnen teksten, afbeeldingen, audiofragmenten of gestructureerde tabellen zijn. Dit wordt de bibliotheek die uitgevraagd kan worden.
2. Als het nodig is schonen wij de data op, verwijderen we onbruikbare of foutieve gegevens en voorzien we alles van duidelijke labels en structuur.
3. Met de voorbereide dataset trainen wij de chatbot. Het systeem leert patronen herkennen aan de hand van deze voorbeelden.
4. We testen het getrainde model met nieuwe data en optimaliseren waar nodig. Soms voegen we extra data toe of passen we het model aan voor een beter resultaat.

Wil je meer weten over hoe we te werk gaan, hier lees je onze werkwijze.

Datasets in AI-toepassingen

• Chatbots en NLP. AI-chatbots gebruiken tekstdata om te leren communiceren. We trainen ze bijvoorbeeld met klantenservicegesprekken, socialmediaberichten, online reviews of productdocumentatie.
• Beeldherkenning. AI voor beeldherkenning wordt getraind met grote verzamelingen gelabelde afbeeldingen. Dergelijke datasets kunnen duizenden tot miljoenen foto’s bevatten, met bijbehorende labels om het model te leren wat er op elke foto staat. Zo leert het systeem bijvoorbeeld dat bepaalde kenmerken typisch zijn voor een kat, een voorbeeld van deep learning.
• Spraakassistenten. Voice assistenten gebruiken audio-datasets om spraak om te zetten in tekst. Deze datasets bestaan uit geluidsopnamen met bijbehorende transcripties. Door hierop te trainen leert het AI-model de klanken en woorden te herkennen, zodat het gesproken opdrachten kan begrijpen en uitvoeren. Siri is een voorbeeld van spraakassistent. Net als andere voice assistenten (zoals Google Assistant of Alexa) gebruikt Siri grote audio-datasets om te leren hoe mensen praten. Het traint met geluidsopnamen en transcripties, waardoor Siri spraak kan omzetten in tekst en begrijpen wat je bedoelt.

In al deze voorbeelden is de basis hetzelfde: een AI-model krijgt grote hoeveelheden voorbeelden (de dataset) aangeboden om van te leren. Hoe gevarieerder en completer de data, hoe beter de toepassing meestal werkt. Datasets vormen de basis van bijna elke AI-toepassing. Ze leveren de grondstof waarmee algoritmes worden gevoed. Zonder datasets zouden computers niet kunnen leren wat wij aan hen willen vragen, herkennen of voorspellen.