Боты читают мой блог чаще, чем люди

Неделю назад я прикрутил к этому блогу простую самописную аналитику. Хотелось понять банальное: заходит ли кто-нибудь вообще. Первые же цифры оказались интереснее, чем я ожидал — и не тем, о чём я думал.

За семь дней сайт получил 214 обращений. Из них:

• 92 — живые люди (66 уникальных посетителей);
• 122 — боты.

То есть 57% трафика моего блога — это машины. Они приходят чаще людей, и разрыв не случайный: он держался почти каждый день.

Кто именно приходил

Вот полный список за неделю:

Три наблюдения, которые мне показались любопытными.

1. ИИ-краулеры нашли сайт почти сразу

ClaudeBot — 13 визитов, GPTBot — 8. Вместе это 21 обращение, примерно каждый шестой визит бота.

Сайту неделя. У него нет обратных ссылок, я его нигде не анонсировал и не подавал ни в какие каталоги. Тем не менее краулеры Anthropic и OpenAI пришли и прочитали всё, что было опубликовано.

Раньше, чтобы тебя заметили, нужно было ждать индексации месяцами. Сейчас появился второй контур распространения контента — и он, судя по всему, работает быстрее. Причём ни один из этих визитов не отображается в обычной статистике «посетителей»: человек, который спросит у ChatGPT и получит ответ из моей статьи, ко мне на сайт может не зайти никогда.

2. Почти половина ботов не даёт ничего

Посчитаем: MJ12bot (20) + SemrushBot (17) + PetalBot (2) + KBCnetContactBot (6) + LohiSoftBot (12) = 57 визитов. Это 47% всего ботового трафика.

Что я с этого получаю? Ничего. Это SEO-агрегаторы, которые собирают данные, чтобы продавать их в своих сервисах, и сборщики контактов сомнительной полезности. Они не приведут ко мне читателя и не покажут меня в поиске — просто ходят и забирают.

Для маленького блога это не проблема: несколько десятков запросов в неделю никого не положат. Но для сайта побольше это уже статья расходов на трафик, и становится понятно, почему люди начинают закрывать таких ботов в robots.txt.

3. Люди приходят напрямую, а не из поиска

По источникам у живых посетителей:

• прямые заходы — 74
• внутренние переходы — 15
• из поиска — 3

Три захода из поиска за неделю. Что абсолютно нормально: новый сайт, поисковики только начали его индексировать, никаких позиций ещё нет.

Зато видно, откуда на самом деле берётся аудитория в начале: это люди, которым ты сам дал ссылку. Никакой магии «напишу статью — придёт трафик» не существует, по крайней мере первые месяцы.

Что это значит на практике

Проверять надо не только людей. Если смотреть лишь на «посетителей», то первая неделя выглядит скучно: 66 человек. Но параллельно с этим сайт уже прочитан поисковиками и двумя крупными языковыми моделями. Это разные каналы, и второй не виден в обычных счётчиках.

Контент должен быть в HTML. Я писал об этом в отдельной статье: ИИ-краулеры не выполняют JavaScript. Если бы мой блог рендерился на клиенте, ClaudeBot и GPTBot унесли бы пустую страницу — и эти 21 визит не значили бы ничего.

Решение о ботах стоит принимать осознанно. Я оставил всех открытыми: блог написан, чтобы его читали, и если модель процитирует мою статью — хорошо. Но теперь я хотя бы знаю, кто ко мне ходит, и могу в любой момент закрыть тех, кто только берёт.

Оговорки

Честно про ограничения этих цифр: это одна неделя одного маленького личного блога. Выборка крошечная, выводы нельзя переносить на большие сайты. Боты определяются по User-Agent — его можно подделать, так что часть «людей» теоретически может быть замаскированными краулерами. Свои заходы я из статистики исключил, но несколько собственных проверок через curl в цифры попали — они в строке «прочее».

Тем не менее общая картина, кажется, устойчивая: на новом сайте машин больше, чем людей, и среди машин всё заметнее доля тех, кто читает не для поиска, а для обучения и ответов.

Вернусь к этим цифрам через пару месяцев — интересно, изменится ли соотношение, когда появится поисковый трафик.