Как разрешить боту PR-CY сканировать мой сайт?

1. Cloudflare:

   • Войдите в свою учетную запись Cloudflare и выберите нужный домен.
   • Перейдите в раздел Firewall.
   • В разделе Firewall Rules, нажмите на кнопку Create a Firewall rule.
   • Дайте правилу имя, например, "Разрешить PR-CY.RU".
   • В условиях правила укажите: (ip.src in {146.120.204.0/24}) или User Agent содержит PR-CY.
   • В разделе Then, выберите действие Allow. (Все галочки)
   • Сохраните правило.

2. robots.txt:

   • Убедитесь, что ваш файл robots.txt не блокирует бота PR-CY. Если есть строки, запрещающие доступ, убедитесь, что они не относятся к User-agent: PR-CY-BOT или добавьте следующие строки:

     User-agent: PR-CY-BOT
     Allow: /

3. Сервер:

   • Если у вас есть серверные правила (например, .htaccess для Apache), убедитесь, что они не блокируют IP-адреса в диапазоне 146.120.204.0/24 или User Agent PR-CY.

После выполнения этих шагов бот PR-CY.ru сможет сканировать и индексировать страницы вашего сайта.