https://status.modelbrouwers.nl/ maakt het duidelijk - het forum is de laatste tijd niet zo bereikbaar zoals ik zou willen.

We zien een patroon van geautomatiseerde scraping wat leidt tot overbelasting van de server en database. Dit is voor een groot deel te wijten aan de opkomst van Artificial Intelligence (AI) zoals ChatGPT, Claude, Meta AI... die eigenlijk op de kosten van websitebeheerders alle publiek beschikbare content leegtrekken. De grote spelers (zoals hierboven genoemd) identificeren zich tenminste nog netjes, waardoor het verkeer te herleiden is. Echter, heel wat andere doen dat niet, en doen zich zelfs bewust voor als een legitieme gebruiker die bijvoorbeeld de Safari browser gebruikt.

Een grafiekje van zo'n overbelasting in de afgelopen 24u ziet er zo uit:



Je ziet met name rond 18:00 een serieuze piek in de serverbelasting, en je ziet ook spikes van uitgaand netwerkverkeer die absoluut niet normaal zijn.

Er worden zoveel verzoeken naar de server gestuurd waardoor het verkeer van echte gebruikers, jullie, dus vertraagd wordt of zelfs helemaal niet afgehandeld kan worden.

Welke maatregelen nemen we?

De "nette" bots die zichzelf identificeren worden al geblokkeerd. Zij krijgen een foutantwoord terug van de server vóór dat het verzoek tot belasting leidt.

De anderen kunnen helaas niet makkelijk geïdentificeerd worden, omdat hiermee het risico bestaat dat echte gebruikers ook geblokkeerd worden. Onlangs was dat het geval. Voor deze situaties ga ik over op het blokkeren van IP-addressen. Ik zie met name veel verdacht verkeer uit datacenters in Singapore, Australië en de oostkust van de VS. Dit gebeurt door logs te analyseren op het moment dat overlast gedetecteerd wordt. Op basis van de monitoring hierboven kan ik ook terugkijken in de tijd wanneer abnormale belasting gebeurde en daaruit nog IP-addressen terughalen, ook als het niet tot uitval geleid heeft. Dit is enorm intensief en handmatig werk.

Er is al lange tijd automatische monitoring voor beschikbaarheid - zie status.modelbrouwers.nl. Ik krijg hiervan een notificatie op het moment dat (een deel van) de website niet bereikbaar. Daarnaast krijg ik ook alerts (zie afbeelding) op het moment dat de server overbelast wordt.

Een verbetering die ik wil doorvoeren is het correleren van een IP-adres van een "bezoeker" aan de land. Bezoekers uit Nederland en België zullen met normale snelheid kunnen doorgaan - en er verandert niets. Andere bezoekers zullen kunstmatig vertraagd worden, en al zeker als er verdachte patronen duidelijk worden. Je kan hier dus last van gaan ondervinden als je op reis modelbrouwers.nl probeert te bezoeken en merkt dat het trager loopt.

Slotopmerkingen

We hebben op dit moment een aardige server (qua capaciteit) die ruim voldoende is voor het verkeer wat we binnenkrijgen. Aan deze server zijn maandelijkse kosten verbonden. Ik weiger om een zwaardere server te gaan afnemen, zelfs als hiervoor donaties zouden komen. Het is compleet scheef dat elk AI-bedrijf of startup denkt zomaar alle content gratis te kunnen indexeren en voor hun eigen winstbejag in kan zetten terwijl wij er alleen maar overlast van ervaren.

Wellicht voor jou gesneden koek, voor mij volledige abracadabra.

Mooi dat je dit (nog steeds) doet.

Top dat je hier een dam voor op wil zetten. Ik ben inderdaad met je eens dat dit schaamteloze "oogsten" op zich al een probleem is, maar dat normaal verkeer weggedrukt wordt door die goldrush is helemaal belachelijk. Veel succes met de bestrijding.

Fijn dat je er zoveel moeite instopt zodat wij het forum kunnen blijven gebruiken. Dank hiervoor.

Goed werk man! Dank daarvoor.
Ik heb het verhaal gelezen, maar snap er weinig van. Lijt wel een SF-roman

Groet,
Jan

Vanmorgen om een uur of zeven lag de boel ook weer plat, stelletje AI struikrovers zijn het.

Alle lof voor dit mooie forum!!

Top inderdaad dat je je zo blijft inzetten voor dit inderdaad mooie forum!

Goed werk Sergei, dank!!

wow knap van u om u zo in te zetten voor is dat allemaal Chinees maar ben wel blij iemand zoals hier het huishouden regelt waarvoor onze grootste dank
Marc

Een aantal jaar geleden (voor de opkomst van AI) hadden we op het werk een vergelijkbaar probleem met een server die min of meer ge-DDOS'ed werd door inlogpogingen uit China en elders. Uiteindelijk heel China geblokkeerd en voor de overigen Fail2Ban gebruikt om ze automatisch te blokkeren bij teveel inlogpogingen. Was best effectief. Mochten jullie op Linux zitten, een aanrader.