Meetrapport: 58 marktvragen, voor en na
In deze markt wordt veel beweerd en weinig gemeten. Wij publiceren daarom onze eigen cijfers, inclusief de methode waarmee ze tot stand kwamen en een opsomming van wat ze niet aantonen. Het zijn er niet veel, want het gaat om echte trajecten bij echte bedrijven en die zijn er nu eenmaal niet honderd. Maar ze zijn na te rekenen, en dat is meer dan waar het meeste materiaal over dit onderwerp op steunt.
De cijfers
Twee trajecten zijn volledig doorgemeten, met een nulmeting vóór het werk en een eindmeting erna op exact dezelfde vragenlijst.
| Traject | Marktvragen | Nulmeting | Eindmeting |
|---|---|---|---|
| Catering Hanenburg | 28 | 1 | 26 |
| Vloerengarant.nl | 30 | 3 | 26 |
| Samen | 58 | 4 | 52 |
Gemeten in ChatGPT, Gemini en Claude. Beide trajecten zijn afgerond; de uitkomsten staan ook op de casepagina's zelf, met de aanpak erbij.
Daarnaast is er één meting die alleen uit een nulmeting bestaat. Lodgeholidays nam alleen de AI Analyse af en geen traject, dus er is geen tweede meting om tegen af te zetten. De uitkomst van die nulmeting: geen vermelding in vier van de zes onderzochte categorieën. Die staat hier omdat een nulmeting op zichzelf ook iets vertelt, namelijk hoe vaak het startpunt dichter bij nul ligt dan mensen verwachten.
Hoe is er gemeten?
De meetmethode is belangrijker dan de cijfers erboven. Een getal zonder methode is een bewering. Hieronder staat precies hoe deze metingen tot stand komen, zodat u ze kunt beoordelen en zodat u ze desgewenst zelf kunt uitvoeren.
De vragenlijst wordt vooraf vastgesteld
Ongeveer dertig vragen, opgesteld samén met de klant, vóórdat er ook maar iets aan de website verandert. Daarna verandert die lijst niet meer. Dat is de belangrijkste regel van allemaal, want een lijst die onderweg wordt bijgesteld levert altijd een mooier resultaat op en meet niets.
Het zijn vragen, geen zoekwoorden
"Wie kan een bruiloft van tachtig personen verzorgen in de buurt van Sneek" is een vraag. "Catering Sneek" is een zoekwoord uit een ander tijdperk. Er wordt gemeten wat mensen daadwerkelijk aan een AI-systeem vragen, in hele zinnen, in het Nederlands.
In een schone sessie
Zonder geschiedenis, zonder opgeslagen voorkeuren, zonder eerdere gesprekken over het onderwerp. Een systeem dat u kent, geeft u andere antwoorden. Dat is prettig als gebruiker en waardeloos als meting.
In meerdere systemen naast elkaar
ChatGPT, Gemini en Claude, met dezelfde vraag op hetzelfde moment. De uitkomsten verschillen per systeem, en dat verschil is zelf informatie: verschijnt u wel in het ene en niet in het andere, dan zit het probleem eerder aan de ophaalkant dan aan uw inhoud.
Meerdere keren per vraag
ChatGPT, Gemini en Claude geven niet twee keer hetzelfde antwoord. Eén keer genoemd worden is toeval, structureel genoemd worden is een positie. Alleen dat laatste telt mee.
Een vermelding is de naam in het antwoord
Het bedrijf moet bij naam genoemd worden in de tekst van het antwoord. De website die onderaan als bron staat zonder dat de naam in het antwoord voorkomt, telt niet mee. Dat is een strengere maatstaf dan gebruikelijk, en hij is bewust gekozen: uw klant leest het antwoord, niet de voetnoot.
De eindmeting is een herhaling, geen nieuwe meting
Zelfde vragen, zelfde systemen, zelfde manier van tellen. Alleen de datum verschilt. Zodra daar iets aan wordt gesleuteld, is het verschil niet langer navolgbaar.
Wat gebeurde er tussen de twee metingen?
Bij beide trajecten is de website ingericht op de vragen die aan de aankoop voorafgaan, in plaats van op het aanbod. Bij Vloerengarant betekende dat achttien kennisartikelen, vier ruimtepagina's en het afsluiten van de gefilterde archieven die dertienhonderd producten over eindeloos veel adressen verspreidden. Bij Catering Hanenburg ging het om het bedrijf als eigen entiteit vastleggen, het aanbod uitsplitsen per gelegenheid, en lokale pagina's waar er eerst één cateringpagina alles moest dekken.
De volledige aanpak staat op de casepagina's zelf. Ze zijn met opzet gedetailleerd, zodat te controleren is wat er precies is gedaan.
Wat zeggen deze cijfers niet?
De grenzen van een meting zijn de sectie die in dit soort publicaties meestal ontbreekt, en het is de sectie die bepaalt of u de rest kunt vertrouwen.
- Twee bedrijven zijn geen steekproef. Wat hier staat is wat er bij deze twee trajecten gebeurde. Het is geen wet, geen gemiddelde en geen voorspelling voor uw situatie.
- Het is geen omzetcijfer. Genoemd worden in een AI-antwoord is zichtbaarheid, geen opdracht. Wij meten zichtbaarheid omdat dat het deel is waar wij aan werken en dat controleerbaar is. Wat het commercieel oplevert, hangt af van dingen buiten ons bereik.
- Het bewijst geen oorzaak. Tussen de twee metingen zit tijd, en in die tijd verandert er meer dan alleen de website. Modellen worden bijgewerkt, concurrenten publiceren ook. Wat wij kunnen aantonen is dat dezelfde vragen in dezelfde systemen een andere uitkomst geven. Dat is iets anders dan een sluitend causaal verband, en wij doen niet alsof dat wel zo is.
- Het geldt op de meetdatum. Deze systemen veranderen. Een uitkomst van vorig kwartaal is geen garantie voor dit kwartaal. Dat is ook precies de reden dat wij monitoring als aparte dienst aanbieden in plaats van als belofte.
- Het zegt niets over uw sector. Een cateraar in Friesland en een vloerenwebshop zeggen weinig over een accountantskantoor of een machinebouwer. Hoe drukker het thema, hoe zwaarder het werk.
Wat valt er wél op?
Drie dingen, met de nadruk op waarnemingen en niet op conclusies.
Het startpunt lag lager dan beide bedrijven dachten. Catering Hanenburg is veertig jaar bekend in de regio en werd op één van de achtentwintig vragen genoemd. Vloerengarant heeft dertienhonderd producten en kwam op drie van de dertig. Bekendheid onder mensen en herkenbaarheid voor een AI-systeem zijn duidelijk twee verschillende dingen.
De ene vraag die Catering al won, was de smalste. Dat was een heel specifieke vraag naar cateraars in Sneek. Op alle bredere vragen kwamen andere partijen naar boven. Het is één waarneming en dus geen bewijs, maar het strookt met wat te verwachten is: hoe specifieker de vraag, hoe minder partijen er een goed antwoord op hebben staan.
Geen van beide haalde alles. Bij Catering bleven twee vragen onbeantwoord, bij Vloerengarant vier. Wij publiceren daar geen verklaring bij, omdat we die niet hebben geïsoleerd. Het eerlijke antwoord is dat we niet weten waarom juist die vragen achterbleven, en dat het uitzoeken daarvan het werk is voor de volgende ronde.
Dat kan, en het kost u een middag in plaats van geld. Stel tien vragen op zoals uw klanten ze stellen, zet ze in een schone sessie uit naar ChatGPT, Gemini en Claude, herhaal elke vraag drie keer en noteer per vraag welke bedrijven bij naam genoemd worden. Zet er de datum bij. Over zes weken doet u precies hetzelfde. Wat u overhoudt is uw eigen nulmeting, met dezelfde logica als hierboven. De uitwerking staat in Wat is een GEO-nulmeting.
Wanneer wordt deze pagina bijgewerkt?
Bij elke afgeronde eindmeting waarvoor de klant toestemming geeft. De eindmeting van Wink Development Group loopt op dit moment nog en komt hier bij zodra hij klaar is.
Cijfers verdwijnen hier niet meer vanaf zodra ze erop staan, ook niet als een volgende meting minder gunstig uitvalt. Een reeks waarin alleen de goede uitkomsten overblijven is geen meetreeks maar een selectie, en daar heeft u niets aan.
De AI Analyse is de nulmeting uit dit rapport: ongeveer dertig marktvragen, drie systemen, met een rapport waarin staat wie er in uw plaats genoemd wordt.