[D.C Style] AI Crawler Blocklist 1.0.0

Выберите, как ваш форум обрабатывает обучающие краулеры ИИ. Блокировка краулеров ИИ запускается в режиме мониторинга, поддерживает доступные IP-адреса и позволяет переключать выбранные политики на облегченный HTTP-ответ 403 после проверки трафика.

По умолчанию для обучения поиск ИИ, получение данных о пользователях и предварительный просмотр в социальных сетях остаются отключенными. Выделенные IP-адреса краулеров могут отслеживать другой пользовательский агент; для общих диапазонов требуется подтверждение для конкретной роли, если вы не включите блокировку на уровне всего провайдера. Подтвержденный трафик Google и Bing защищен.

Meta и Bytespider в настоящее время используют сопоставление с пользовательским агентом. Блокировка приложений по-прежнему использует ресурсы начальной загрузки PHP и не распространяется на ответы кэша вышестоящего уровня или на каждый замаскированный краулер.

Основные характеристики​

• Режимы «Мониторинг», «Блокировка» и «Выключение», с предустановленными настройками только для обучения и индивидуальным управлением для каждого робота-гусеницы.
• Поддерживается обновление ленты новостей и кэшированная проверка Google/Bing в фоновых задачах.
• Правила разрешения и запрета IP/CIDR; дополнительные правила ASN с проверкой области действия.
• Общее количество запросов на совпадение, ограниченное количество выборок и действие по отклонению запроса с точным указанием IP-адреса.
• Автономная диагностика IP/UA, поэтапный анализ обновлений и резервный мониторинг устаревших источников.
• Восстановление предыдущего снимка и аварийный обходной путь.

Быстрая настройка​

1. Установите проверенный архив, если он доступен, и предоставьте ему права на управление.
2. Откройте «Настройки» → «Список заблокированных ИИ-краулеров» и запустите исходные задания.
3. Держите функцию «Монитор» активной, пока отслеживаете активность и состояние источников Google/Bing.
4. Выберите правила работы поискового робота, протестируйте примеры решений, а затем подтвердите блокировку, когда будете готовы.

Требуется XenForo 2.3+, PHP 7.2+ и cURL. Должны быть доступны запланированные задания и поддерживаемые HTTPS-конечные точки.