Добро пожаловать!
Здесь вы можете найти ответ на интересующий вас вопрос в отрасли сайтостроения, познакомится ближе с web технологиями и web стандартами.

Заметки

Запрет посещений веб-сайта для робота поисковой системы

Жесткий запрет посещений нашего веб-сайта для робота поисковой системы. Приведенный пример действует для робота Google.

# Пример в .htaccess

# 1-й вариант

RewriteCond %{USER_AGENT} Googlebot
RewriteRule .* - [F]

# Другой вариант возвращает вместо ошибки 403 (FORBIDDEN) ошибку 404 (NOT_FOUND)

RewriteCond %{USER_AGENT} Googlebot
RewriteRule .* - [R=404]