[info] Як можна боротися зі шкідливим бот-трафіком?

Останнім роком, коли людський трафік перевищував бот-трафік, вважається 2023 рік. 3 2024 року боти генерують більше трафіку за людей і цей показник продовжує зростати, переважно через розвиток AI. Проблеми доставляють шкідливі боти які по прогнозам складають до 37% бот трафіку, деяки з них досить агресивні і можуть відчутно навантажувати сервер, викликаючи проблеми у роботі служб. Простого та універсального способу блокування шкідливих ботів не існує, а враховуючи їх мінливу поведінку системи захисту теж повинні постійно вдосконалюватися.

Як можна боротися зі шкідливими бот-трафіком?

0. Просто почекати, зазвичай пікова активність агресивних ботів які перенавантажують сервер триває лічені години, після чого вони можуть тривалий час не повератись на сайт.

1. Блокування IP адрес, через налаштування сайту чи через панель керування сервером Plesk. Цей спосіб підходить для простих ботів, які мають статичну IP адресу (інструмент для аналізу логів GoAccess). Рекомендуємо перед блокуванням перевіряти IP адресу по базі зловживань, наприклад, AbuseIPDB.

2. Самостійне налаштування Firewall у панелі керування сервером, наприклад, додавання заборони трафіку з певних країн. Цей спосіб повністю заборонить доступ до сайту як ботам так і реальним людям.

3. Підключення сервісу Cloudflare - це ринковий стандарт для захисту сайтів (лідер за співвідношенням ціна/можливості, аналоги DataDome, Fastly, Amazon WAF/Shield, ... будуть відчутно дорожчі). Cloudflare має режим боротьби із ботами Bot Fight Mode та додатково надає можливість налаштовувати правила обмеження трафіку WAF, наприклад, по країнах з яких він не очікується (реальні люди після перевірки зможуть переглянути сайт, боти як правило не можуть пройти challenge)

4. Використання керованих серверів з нашою послугою адміністрування, конфігурації серверів базуються на хмарній архітектурі яка базово має апаратний захист DDoS protection, у налаштуваннях веб серверів використовуємо проєкт Nginx Block Bad Bots + своя база поганих IP та агресивних ботів, додатково можуть виконуватися роботи по пунктах описаних вище.

Окрема зараз історія з фальшивим спам-трафіком у Google Analytics 4 з Китаю, який може в рази перевищувати реальний трафік і сильно паплюжити аналітику, ось корисна стаття на цю тему How to Stop China & Singapore Direct Traffic in GA4 (SPAM)