Wie een stukadoor, een boekhouder of een IT-partner zoekt, stelt die vraag niet meer alleen aan Google. Ook ChatGPT, Perplexity en Gemini geven antwoorden, met links naar de bedrijven die ze aanraden. Of jouw bedrijf daartussen staat, hangt voor een deel af van je website.
Goed nieuws: veel van wat je daarvoor nodig hebt, is gewoon goede vindbaarheid. Maar er zijn een paar dingen die specifiek zijn voor AI-zoekmachines.
Hoe komen AI-zoekmachines aan hun informatie?
Er zijn drie soorten bezoekers, of bots, die je website lezen:
- Zoekbots bouwen een index op, net zoals Google dat doet. ChatGPT gebruikt daarvoor OAI-SearchBot, Perplexity PerplexityBot en Claude Claude-SearchBot. Wie die bots weert, verschijnt niet of minder in hun antwoorden.
- Bots op vraag van een gebruiker halen een pagina op wanneer iemand er in een gesprek naar vraagt, zoals ChatGPT-User, Perplexity-User en Claude-User.
- Trainingsbots verzamelen teksten om toekomstige AI-modellen mee te trainen, zoals GPTBot en ClaudeBot. Voor Gemini regel je dat met Google-Extended.
Dat onderscheid is belangrijk: je kan zichtbaar zijn in de zoekresultaten van ChatGPT zonder dat je teksten gebruikt worden om modellen te trainen.
1. Laat de juiste bots binnen
Welke bots je site mogen lezen, staat in het bestand robots.txt. Kijk na dat de zoekbots er niet geblokkeerd worden. Volgens OpenAI zelf verschijnen sites die OAI-SearchBot weren niet in de zoekantwoorden van ChatGPT.
Wil je niet dat je teksten gebruikt worden voor training, blokkeer dan enkel de trainingsbots. Een voorbeeld:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Over Google hoef je je daarbij geen zorgen te maken: Google-Extended blokkeren heeft volgens Google geen invloed op je plaats in Google Zoeken.
Let ook op beveiliging die je zelf niet ingesteld hebt. Sommige hostingpakketten en firewalls blokkeren AI-bots standaard. Dan staat je robots.txt goed, maar komt de bot toch niet binnen.
2. Zorg dat je tekst zonder JavaScript leesbaar is
Niet elke bot voert JavaScript uit. Wordt de tekst van je pagina pas door scripts op het scherm gezet, dan ziet zo'n bot een lege pagina. Bij de meeste websites met een gewoon CMS is dat in orde, maar bij sommige moderne webapps niet.
Een snelle test: open je pagina, kies Paginabron weergeven in je browser en zoek een zin uit je tekst. Staat hij erin, dan is het goed.
3. Vertel duidelijk wie je bent en wat je doet
Een AI-zoekmachine moet kunnen begrijpen wat je aanbiedt, voor wie en waar. Help daarbij:
- Eén pagina per dienst, met een duidelijke titel en de regio waar je werkt.
- Gestructureerde gegevens (schema.org) met je bedrijfsnaam, adres, telefoonnummer en openingsuren. Dat is code die zoekmachines rechtstreeks kunnen lezen.
- Overal dezelfde gegevens: op je website, in je Google Bedrijfsprofiel en op LinkedIn. Tegenstrijdige adressen of telefoonnummers maken het voor elke zoekmachine moeilijker.
- Antwoorden op echte vragen van klanten, bijvoorbeeld in een rubriek met veelgestelde vragen of in artikels zoals dit.
4. En dat llms.txt-bestand?
Je leest misschien over llms.txt: een tekstbestand met een overzicht van je site, speciaal voor AI-taalmodellen. Het is een voorstel van september 2024, geen officiële standaard. Het kost weinig moeite om er een te maken, maar verwacht er geen wonderen van. De drie stappen hierboven wegen zwaarder.
Hoe weet je waar je staat?
Stel zelf de vragen die je klanten stellen aan ChatGPT of Perplexity, bijvoorbeeld "Wie kan mijn zolder isoleren in Zemst?", en kijk of je bedrijf erbij staat.
Sta je er niet bij, loop dan de eerste drie stappen hierboven na, te beginnen bij je robots.txt.
Bronnen
- OpenAI: overzicht van de OpenAI-crawlers (opent in een nieuw venster)
- Anthropic: wat is ClaudeBot? (opent in een nieuw venster)
- Perplexity: Perplexity-crawlers (opent in een nieuw venster)
- Google: overzicht van de Google-crawlers, met Google-Extended (opent in een nieuw venster)
- llmstxt.org: het voorstel voor llms.txt (opent in een nieuw venster)