Nieuws

AI-modellen hebben veel data nodig om te kunnen ontwikkelen. AI-bedrijven lanceren daarom grote hoeveelheden bots die automatisch websites bezoeken en daar zoveel mogelijk data verzamelen. Deze bots “scrapen” het web: ze slaan alle informatie op die ze tegenkomen, om vervolgens de AI-modellen te trainen. Overal kom je dus deze bots tegen, ook op je eigen website. 

Normaalgesproken doen bots, bijvoorbeeld die van zoekmachines, rustig hun werk. Ze gaan stapsgewijs te werk, ze limiteren hun verzoeken tot een paar per seconde en kijken of de server te druk wordt en stoppen dan met verzoeken. Tegenwoordig zijn er heel veel bots tegelijkertijd actief, en sommige AI scraper bots zijn extreem invasief. Deze bots doen soms meerdere verzoeken tegelijkertijd en houden geen rekening met de reactietijd of capaciteit van jouw server. Daarnaast helpt het niet mee dat er heel veel partijen zijn die dit uitvoeren, waardoor het aantal verzoeken van verschillende bots groot is. Hierdoor komt er meer druk te staan op de servers en stijgt het dataverbruik, waardoor websites trager worden of services kunnen crashen.

Gelukkig zijn er manieren om dit botverkeer te reduceren. IceHosting biedt twee manieren om dit probleem op te lossen. De eerste is robots.txt, een bestand dat een suggestie geeft aan bots over hoe zij moeten reageren. Helaas wordt deze suggestie door AI bots vaak genegeerd. De andere oplossing is htaccess, die bots op basis van een user-agent identificatie volledig kan blokkeren. In htaccess kan je ook extra condities toevoegen, bijvoorbeeld om alleen specifieke acties en/of pagina’s te blokkeren. Neem gerust contact op met onze support om je hierover te laten informeren.

Hier geven we een voorbeeld om middels htaccess bots te blokkeren:

# BLOCK AI BOTS 
<IfModule mod_rewrite.c> 
RewriteEngine On 
RewriteBase / 
RewriteCond %{HTTP_USER_AGENT} ^.*(GPTBot|ChatGPT-User|ClaudeBot|Claude-Web|anthropic-ai|CCBot|Google-Extended|PerplexityBot|Bytespider|Diffbot|FacebookBot|Meta-ExternalAgent|Amazonbot|cohere-ai|YouBot|Omgilibot|ImagesiftBot|Applebot-Extended|SemrushBot).*$ [NC] 
RewriteRule .* - [F,L] 
</IfModule> 

Let op! Het blokkeren van AI bots komt wel met een afweging: als jouw website alle bots blokkeert, staat jouw organisatie niet in de dataset van AI-bedrijven. Dit leidt tot slechtere Generative Engine Optimization (GEO), wat inhoudt dat AI-diensten, zoals ChatGTP, minder informatie vinden over jouw website. Hierdoor zullen deze diensten jou minder snel benoemen of aanraden als er naar gevraagd wordt. Daarom raden wij aan om de hiervoor genoemde oplossingen pas te overwegen als je server echt overbelast wordt door bots.

Volg onze nieuwsfeed in uw favorieten RSS programma. RSS heeft al grote voordeel dat u geen nieuwspost meer mist doordat uw reader u op de hoogte houd zodra er een nieuwe nieuwspost is geplaatst.
Klik op onderstaande RSS icon om onze feed te importeren.

Als verlengstuk van onze informatievoorzieningen maken we ook gebruik van Social media. Volg ons vandaag op Twitter of Facebook om nog sneller op de hoogte te zijn van nieuwtjes, mededelingen etc.