Уже пару лет как отключил свои сайты от сервиса Cloudflare, и просто фигею с возросшего количества ботов. Как только ссылка на сайт попадает в поисковые системы и на другие сайты, боты по ним перетекают. Я снял защиту из принципиальных соображений. Мои сайты должны быть доступны всем и без дурацкой заглушки от Cloudflare.

Что именно делают эти боты? Они пытаются использовать уязвимости сервера и скриптов, отправить спам, собрать данные и много чего еще.

Пробывали покупать рекламу в интернете? Еще с 2000х большинство кликов было от ботов. Кто-то думает, что работа рекламщика заключается в настройке таргетинга и оптимизации дизайна лендинга. Это частично так, но самая важная часть работы рекламщика — фильтрация ботов.

Нужно удалять площадки, откуда идут боты, чтобы остановить пустую трату денег. Если продавец рекламы не будет намешивать ботов в ваш трафик, он не заработает много! Живых людей в интернете хватает, но они всячески избегают рекламы, поэтому вам посылают ботов.

А как вам последний тренд – нейросети обучаются на данных из всех сайтов до которых они могут дотянуться. Если не скрыть самые важные части контента на сайте, то боты все выдернут, отдадут нейросетям, в том числе поисковым, и вы лишитесь трафика из поисковым систем. Нужно писать «данная информация доступна только для зарегистрированных пользователей», так и делали в 2000х. Я сам теперь скрываю важный контент на своих сайтах от «гостей».

Скликивание рекламы. Например резкий рост дохода в рекламном кабинете Яндекса в 100 раз, после чего доход рухнул на следующий день. В такие моменты система просто маркирует сайт как ботовый и не платит почти ни-фи-га! В этом случае я удаляю сайт и снова добавляю, чтобы id сайта изменился.

Многие думают, что авторы ботами крутят себе статистику. Это раньше имело смысл, теперь же боты портят продвижение. Представьте такую картину, тысячи посетителей открывают и сразу закрывают страницу с вашим сайтом. Сегодня браузеры и сервисы статистики принадлежат кому? Правильно, поисковым системам. Так что они сразу получают эту информацию и уберут сайт из поиска как некачественный.

То же самое в соц. сетях, ботовый трафик может сбить ваши публикации из ленты рекомендаций. Короче циферки больше ничего не значат. Многие площадки их вообще скрывают. Главное — это активность, то есть больше качественного контента, комментарии и ссылки от других авторов на вас. А вся статистика скрыта и используется только для построения алгоритмов. Это в идеале то, к чему все площадки сейчас идут.