Защита от парсинга и ботов
От: Протобайт
Дата публикации:
02.02.2023
Число установок:
100 - 499 раз
Дата обновления:
07.10.2026
Включает в себя:
Модуль
Последняя версия:
1.35.3
Модуль помогает защитить контент вашего вебсайта от автоматического парсинга ботами конкурентов. Например: статьи, описания и характеристики товаров и прочее.
Используется многоуровневая система защиты, которая выявляет и блокирует как простых, так и более продвинутых ботов, имитирующих поведение реальных пользователей.
Также модуль позволяет ограничивать или полностью блокировать доступ посетителей из определённых стран на основании их IP-адресов.
В ряде случаев модуль помогает существенно снизить нагрузку на сайт, т.к. блокирует многих паразитных ботов.
Функционал блокировки ботов и парсеров:
По активности (блокирует тех, кто слишком быстро и много просматривает страницы сайта)
По IP-адресу и диапазону подсети
По User-агенту (предусмотрен набор для самых популярных ботов)
По стране посетителя (геопозиция определяется по IP-адресу)
По официальным ботам нейросетей (OpenAI, Anthropic (Claude), Perplexity и Apple) Доступно с версии 1.21.2
- Прохождение JS Challenge (отсекает ботов не поддерживающих выполнение Javascript, без ручной каптчи)
Настройки исключений:
- Поисковых роботов через обратный DNS (для гарантии 100% доступности поисковых роботов). Нехорошие роботы притворяющиеся поисковыми - сразу блокируются.
По сайту (мультисайтовость 1С-Битрикс)
По URL страниц
По группе пользователей
По IP-адресу и диапазону подсети
По User-агенту
Присутствует удобный интерфейс для анализа заблокированных IP адресов, чтобы при необходимости можно было усложнить или упростить правила блокировки.
Демо-период не ограничен по функциональности.
Если на сайте используется композитный режим, то необходимо провести несложные манипуляции (смотрите инструкцию по установке).
Характеристики
|
Дата публикации
|
02.02.2023 |
|
Число установок
|
100 - 499 раз |
|
Дата обновления
|
07.10.2026 |
|
Включает в себя
|
Модуль |
|
Последняя версия
|
1.35.3 |
|
Адаптивность
|
Нет |
|
Поддержка композита
|
Да |
|
Совместимо с Сайты24
|
Нет |
|
Подходящие редакции 1С-Битрикс
|
3380 3381 3382 3383 |
|
Наличие демо-режима
|
Да |
|
Продолжительность демо-периода
|
10 |
-
- Блокировки по IP, User-Agent, ASN и лимиту выполняются до JS Challenge.
- Исправлена проверка сортировки списков анализа, блокировок и хитов.
- Усилена проверка URL-исключений.
- Добавлены сохранение игнорируемых хитов и линии поисковых и AI-ботов на графике.
- Геоблокировка выполняется до JS Challenge.
-
- Добавлены определение, списки и аналитика ASN.
- Расширены фильтры, отчёты и дашборд.
- Обновлена база стран GeoIP.
-
- Добавлен удобный выбор стран в настройках.
- Улучшены учёт JS Challenge и дашборд.
- Уточнены названия статистики клиентов JS Challenge.
-
- Усилена устойчивость защиты к обходу ботами через AJAX-запросы.
- Добавлена отдельная настройка «Игнорировать AJAX-запросы».
- После установки обновления обязательно проверьте настройки модуля.
- Добавлено отключение определения страны и геоблокировки.
- Добавлен beta-режим мониторинга без реальной блокировки и JS Challenge.
-
- Добавлены доверенные токены для интеграций.
- Усилена валидация настроек и защита административных фильтров.
- Улучшена работа JS Challenge с композитным кешем.
-
- Добавлены графики эффективности защиты.
- Улучшена работа составного кеша.
- Стандартные порты исключены из URL хитов.
- Удаление таблиц модуля сделано необязательным.
-
- Усилен JS Challenge.
- Улучшена работа с композитным кэшем.
- При установке обновления очищаются прежние состояния и блокировки JS Challenge.
-
- Добавлена полиморфная генерация JS Challenge.
- Добавлена ссылка на настройки модуля.
- Усилена защита при композитном кешировании.
-
- исправлена установка демоверсии;
- усилена защита сохранения настроек;
- улучшена проверка поисковых роботов.
- усилена безопасность определения IP посетителя;
- исправлена проверка официальных ботов;
- улучшена защита JS Challenge;
- исправлена установка демоверсии.
-
- Добавлен экспорт журнала хитов в CSV.
- Усилена защита группового удаления заблокированных IP.
- Расширены метрики и подписи административных списков.
-
- Добавлена бета-версия проверки официальных AI-ботов OpenAI, Anthropic, Perplexity и Apple по опубликованным IPv4-диапазонам.
- Улучшение безопасности.
- Полностью переработана система сбора статистики блокировок. После установки обновления модуль начинает собирать статистику по новой схеме, обеспечивая более точную аналитику причин блокировок и эффективности защиты.
-
- Расширена проверка роботов Яндекс через reverse DNS (добавлены роботы не относящиеся к индексированию сайта, но необходимые для удобной работы с Яндекс директ, Яндекс Метрикой и другими сервисами Яндекса).
-
- Расширена проверка роботов Google через reverse DNS.
- Добавлена поддержка Baiduspider с отображением в статистике как Baidu.
- Усилена проверка PTR-host.
- Подтвержденные через reverse DNS поисковые роботы больше не получают JS Challenge.
-
- Добавлено безопасное автоматическое восстановление реферера.
- Опция автоматического получения реферера убрана из настроек.
- Улучшение безопасности модуля.
- Добавлено сохранение реферера при прохождении JS Challenge.
- Улучшение проверки легитимных поисковых роботов.
- Улучшение интерфейса
- Добавлен JS Challenge, улучшен интерфейс модуля, исправлена работа JS Challenge в мультисайтовости на одном домене.
- Добавлен административный дашборд эффективности защиты
- Добавлены и доработаны контекстные действия для IP в списках хитов, анализа хитов и заблокированных IP.
- Улучшение работы с композитом
- Добавлено хранение кода страны IP в хитах и блокировках. В административных списках хитов, блокировок и анализа появился вывод и фильтр по стране.
- - Добавили возможность блокировать пользователей по геолокации — на основе страны, определяемой по IP-адресу
- - Улучшение безопасности
- Улучшения интерфейса
- Значительное улучшение работы с ajax запросами
- Исправление ошибки Unknown field definition `BOT` (BOT) for \Protobyte\Antiparsing\Blocked Entity. (100)
- Улучшение интерфейса
- Улучшение проверки поисковых роботов через обратный DNS
- Оптимизация работы с композитом
Перед обновлением модуля обязательно сделайте резервную копию вашего сайта - Игнорирование ipv6
- Исправление работы белого списка IP-адресов
- Добавление поддержки диапазонов подсетей IP адресов (можно добавлять с маской в виде 47.235.0.0/16).
Доработки интерфейса. - Небольшие доработки интерфейса
- Доработка интерфейса.
Отображение причины блокировки «Подменный поисковый робот».
Отображение статуса проверки поискового робота через обратный DNS (работает для Яндекса, Google, Bing)
- Внедрение способа для определения поисковых роботов через запрос обратного DNS.
Это позволяет обеспечить 100% доступность к вашему сайту поисковых роботов от Яндекс, Гугл и Бинг. При этом другие боты, притворяющиеся поисковыми роботами, будут заблокированы
По-умолчанию опция отключена в настройках модуля - Изменение работы с композитом для поддержки новых версий ядра 1С-Битрикс
- Добавлен удобный интерфейс для анализа хитов
- Улучшение интерфейса (на странице хитов помечаем заблокированные хиты), повышение скорости работы
- Важное исправление для повышения точности работы модуля
- исправлена ошибка блокирования
исправление ошибки в интерфейсе настроек
исправлен текст страницы заглушки - fix ошибки при отсутствии модуля статистики