Multimodale AI: modellen die zien, horen en praten

Wat is multimodale AI?

Een modaliteit is een soort informatie: tekst, beeld of geluid. De eerste versie van ChatGPT werkte met één modaliteit, tekst. Een multimodaal model werkt met meerdere en kan ze combineren.

Dat lijkt klein. Toch verandert het veel, want mensen praten, kijken en luisteren door elkaar heen, en een assistent die dat ook kan, past beter bij hoe ze werken. Een lekkende kraan hoef je niet meer in woorden te vangen. Je laat hem zien.

Technisch leert zo'n model dat een foto van een hond en het woord „hond” bij elkaar horen. OpenAI-onderzoekers lieten dit in 2021 zien met CLIP, een model dat afbeeldingen en bijschriften aan elkaar koppelde. Moderne modellen zetten alles om in getallen in een gedeelde ruimte, zie multimodaal en embedding in de begrippenlijst.

Waarom multimodale AI nu telt

Op 13 mei 2024 presenteerde OpenAI GPT-4o, een model dat tekst, audio en beeld als invoer accepteert en daar ook weer tekst, audio en beeld van kan maken. Google presenteerde Gemini in december 2023 als model dat vanaf het begin multimodaal is gebouwd. Sindsdien is een foto uploaden of met een assistent praten heel gewoon.

Bij bedrijven gaat het langzamer. Volgens het CBS gebruikte in 2025 ongeveer 6 procent van de Nederlandse bedrijven spraakherkenning, tegen 4 procent in 2024. Beeldherkenning of beeldbewerking bleef op 2 procent. Het CBS telt hier bedrijven met twee of meer werkzame personen, en de cijfers over 2025 zijn voorlopig.

Kleine percentages, al gaat het alleen om technologie die bedrijven zelf bewust noemen. Klanten gebruiken multimodale functies al op hun telefoon, als ze zoeken met de camera of een stemassistent iets vragen. Lees meer over spraak in AI als stemhulp.

Hoe werkt multimodale AI?

Meestal heeft zo'n model een deel dat beeld of geluid omzet in getallen, en een deel dat daarmee redeneert en antwoordt. Samen vormen ze één assistent. Dit zijn de gangbare combinaties.

Veel zoekfuncties lezen vooral de tekst om een afbeelding of video heen: de alt-tekst, het bijschrift, de paginatitel, de ondertiteling. Google adviseert in zijn richtlijnen duidelijke alt-teksten en bijschriften bij afbeeldingen. Een foto zonder tekst eromheen zegt een zoeksysteem minder.

Wat een model uit beeld haalt, hangt dus af van de kwaliteit van je beeld en de context erbij, en een scherpe foto met een duidelijke beschrijving levert meer op dan een donkere foto zonder uitleg. Voor mensen trouwens ook.

Zichtbaar in AI-assistenten met beeld en geluid

Nieuwe technologie kopen hoeft niet. Je maakt wat je al hebt beter te begrijpen.

1. Controleer je belangrijkste afbeeldingen. Heeft elke foto van je product, pand of team een beschrijvende alt-tekst? Schrijf in gewone woorden wat er te zien is.
2. Zet tekst niet alleen in een afbeelding. Openingstijden, prijzen en adres horen als gewone tekst op de pagina, ook als ze al op een plaatje of in een folder staan.
3. Geef video en audio een tekstversie. Voeg ondertiteling, een transcriptie of een korte samenvatting toe.
4. Gebruik bestandsnamen en bijschriften die iets zeggen. „kozijn-renovatie-zwolle.jpg” zegt meer dan „IMG_4821.jpg”.
5. Houd je bedrijfsgegevens gelijk. Naam, adres en telefoonnummer moeten op je site, in je Google Bedrijfsprofiel en in gidsen overeenkomen.
6. Test met je eigen telefoon. Zoek op je dienst met je stem en met je camera en kijk wat er verschijnt.

Mensen met een beperking hebben hier ook baat bij. Voor webwinkels geldt sinds 28 juni 2025 de Europese toegankelijkheidswet, met uitzonderingen voor kleine dienstverleners.

Veelgemaakte fouten

• Alles in beeld stoppen. Een folder als afbeelding op je site is voor modellen lastiger te lezen dan tekst. Meer in structured data.
• Alt-tekst vol zoekwoorden. Beschrijf wat er te zien is. Een rijtje zoekwoorden helpt niemand.
• Het model blind vertrouwen. Ook multimodale modellen maken fouten, zoals een verkeerd gelezen bedrag op een bon. Zie AI-hallucinaties.
• Privacy vergeten. Foto's van personen en opnames van gesprekken zijn persoonsgegevens, dus vraag toestemming en lees de voorwaarden van de tool voordat je iets uploadt.
• Nepbeeld niet herkennen. Met dezelfde techniek worden nepfoto's en nepstemmen gemaakt, zie deepfakes herkennen.

Controleren hoe AI je beeld en stem leest

Testen kan zonder tools. Upload een foto van je winkel, product of bedrijfsauto in een assistent en vraag wat er te zien is en welk bedrijf het zou kunnen zijn. Laat het model ook tekst uit je folder of prijslijst lezen. Klopt het niet, dan weet je waar je moet verduidelijken.

Stel daarna een paar vragen zoals een klant: „Welke fysiotherapeut in mijn gemeente heeft ook weekendopenstelling?” Noteer of je genoemd wordt en welke bron erbij staat. Doe dit met meerdere assistenten en herhaal het na enkele weken, want antwoorden wisselen. Met de vermeldingscheck zie je of Perplexity je bedrijf noemt in jouw gemeente.

Wat dit betekent voor jou

Klanten zoeken met hun camera en hun stem, en assistenten schrijven daar antwoorden bij. Geef beeld en geluid op je site een beschrijving in tekst, zet de belangrijkste feiten als gewone tekst op de pagina en houd je bedrijfsgegevens overal gelijk. Multimodale tools kun je zelf gebruiken voor uitschrijven, samenvatten en beschrijven. Controleer wel wat eruit komt. Begin met de pagina die de meeste bezoekers krijgt. Meer over de basis lees je in Wat is GEO?

Conclusie

Multimodale AI combineert tekst, beeld en geluid in één model. Klanten stellen hun vraag met een foto of met hun stem en krijgen antwoord in gewone taal. Voor jouw bedrijf telt vooral dat alles wat je toont ook in woorden is beschreven, van de foto van je pand tot de video bij je dienst. Wil je weten of AI je bedrijf nu al goed beschrijft? Probeer de gratis vermeldingscheck of laat je website nakijken met de GEO-scan.

Veelgestelde vragen

Wat betekent multimodaal?

Een modaliteit is een soort informatie, zoals tekst, beeld of geluid. Een multimodaal model kan met meerdere soorten tegelijk werken. Het bekijkt bijvoorbeeld een foto van een schade, beantwoordt er een vraag over en spreekt het antwoord uit, terwijl een tekstmodel zoals de eerste versie van ChatGPT alleen met getypte tekst overweg kon.

Welke modellen zijn multimodaal?

Onder meer GPT-4o van OpenAI, dat in mei 2024 verscheen, en Gemini van Google, dat Google in december 2023 presenteerde als vanaf het begin multimodaal gebouwd. Ook andere grote assistenten kunnen beeld of geluid verwerken. Wat precies kan, verschilt per versie en abonnement.

Kan AI mijn foto's en video's begrijpen?

Vaak wel, al gaat het niet foutloos. Een model kan een afbeelding beschrijven, tekst op een foto lezen en de grote lijn van een video volgen. Details mist het soms, of het legt ze verkeerd uit, zoals een verkeerd gelezen bedrag op een bon. Een goed bijschrift of een beschrijving helpt dus altijd.

Is multimodale AI veilig voor privacy?

Foto's en stemopnames kunnen persoonsgegevens bevatten, en dan valt het gebruik onder de AVG. Upload geen foto's van klanten of opnames van gesprekken zonder dat dit mag en zonder afspraken met de leverancier. De Autoriteit Persoonsgegevens geeft hier uitleg over.

Hoe maak ik mijn bedrijf vindbaar voor beeld- en spraakzoekopdrachten?

Geef afbeeldingen duidelijke alt-teksten en bijschriften, zet bij video en audio een transcriptie of beschrijving, en houd je bedrijfsgegevens actueel. Zo begrijpen zoekmachines en AI wat je aanbiedt, ook als de vraag via een foto of stem binnenkomt. Openingstijden en prijzen horen als gewone tekst op de pagina.

Bronnen

• OpenAI, Hello GPT-4o, 13 mei 2024
• Google, Introducing Gemini: our largest and most capable AI model, december 2023
• Google Search Central, Image SEO best practices
• CBS, Bedrijven gebruiken AI vaakst voor marketing of verkoop, 2025
• Radford e.a. (OpenAI), Learning Transferable Visual Models From Natural Language Supervision (CLIP), 2021
• Autoriteit Persoonsgegevens, Algoritmes en AI
• Europese Commissie, European Accessibility Act