Nieuwe cijfers van beveiligingsbedrijf DataDome laten zien hoe snel dat is gegaan: in het tweede kwartaal van 2026 groeiden Meta-ExternalAgent en Meta-WebIndexer uit tot de grootste bron van geautomatiseerd crawlerverkeer op het web.
Op het netwerk van DataDome waren Meta-ExternalAgent en Meta-WebIndexer in Q2 2026 zelfs de belangrijkste aanjagers van dat geautomatiseerde crawlerverkeer. De rekening belandt intussen vooral bij uitgevers, die opdraaien voor extra bandbreedte, servercapaciteit, logging en CDN-gebruik.
Wat daar tegenover staat, is nauwelijks iets. Meta-bots halen miljarden verzoeken op om pagina’s te lezen en te indexeren, maar uitgevers krijgen daar volgens DataDome bijna geen verwijzingsverkeer voor terug. Bij OpenAI ziet het beeld er juist heel anders uit: het crawlerverkeer nam daar volgens DataDome met 6 procent af, terwijl ChatGPT van OpenAI nog altijd goed was voor 88 procent van alle verwijzingen uit dit soort systemen.
In het rapport zet DataDome het volgende op een rij:
- Meta-WebIndexer groeide ten opzichte van het vorige kwartaal met 163 procent. Daarmee was Meta in Q2 2026 op het netwerk van DataDome de dominante partij onder geautomatiseerde agents die websites afstruinen.
- Extra crawls kosten uitgevers direct geld, vooral bij grote nieuwssites en platforms met veel pagina’s. Staat daar geen extra bereik, geen abonnementen en geen advertentie-inkomsten tegenover, dan verandert webindexering volgens DataDome van een mogelijke distributiekans in een pure kostenpost.
- ChatGPT van OpenAI zorgde, ondanks minder crawleractiviteit, nog steeds voor veruit het meeste doorverkeer. Voor uitgevers maakt dat verschil veel uit, omdat extra druk op de infrastructuur een stuk acceptabeler is als die ook echt bezoekers oplevert.
- Het totale verkeer van geautomatiseerde agents steeg in Q2 2026 met 45 procent tot 17,7 miljard verzoeken. Volgens DataDome is botverkeer inmiddels zelfs groter dan menselijk verkeer op internet.
- Ook via het Model Context Protocol, of MCP, was verkeer zichtbaar. Dat protocol maakt het mogelijk voor digitale agents om externe tools en databronnen aan te spreken. Volgens DataDome wijkt dat gedrag af van klassieke crawlers en is het dus een aparte, meetbare categorie.
- Organisaties moeten daarom niet alleen bijhouden hoeveel bots er langskomen, maar ook via welke interfaces die toegang proberen te krijgen.
Daarom zegt DataDome ook dat bedrijven bots niet langer allemaal op dezelfde manier kunnen behandelen. Sommige partijen kun je volgens het bedrijf toegang geven. Andere alleen onder snelheidslimieten. En onbekende agents moet je mogelijk eerst verifiëren, of gewoon blokkeren. Vertrouwen, veiligheidsrisico’s en de hoeveelheid verwijzingsverkeer gaan daarin steeds zwaarder meewegen.
Voor uitgevers komt die discussie op een pijnlijk moment. Samenvattingen in zoek- en chatdiensten kunnen het verkeer naar nieuws- en contentsites met 20 tot 60 procent terugdrukken, met naar schatting zo’n 2 miljard aan jaarlijkse advertentieverliezen, aldus DataDome. Vooral kleinere uitgevers zien bovendien sneller wat agressief scrapingverkeer met hun marges doet, simpelweg omdat de extra hostingkosten daar harder aankomen.
De reactie uit de markt wordt dan ook steviger. Er lopen inmiddels rechtszaken tegen onder meer Meta, OpenAI en Microsoft. Tegelijk ontstaan er commerciële deals en technische alternatieven, zoals licenties en systemen waarbij per crawl wordt afgerekend. De centrale vraag is daarmee steeds minder of bots welkom zijn, en steeds vaker onder welke voorwaarden, zegt DataDome.
