Проблема с Htaccess

  • Автор темы Автор темы Guest
  • Дата начала Дата начала
G

Guest

Нажно сделать так, чтобы боты google, yandex, rambler и yahoo не индексировали форум по адресу mysite.net. Но непросто написать что-то вроде


Код:
RewriteCond %{HTTP_USER_AGENT} ^.*Slurp.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*msnbot.* [NC]
RewriteRule ^(.*)$ - [F]

а написать так, чтобы именно по адресу mysite.net, а по адресу mysite2.net и боты и я спокойно ползали бы.


PS пробовал так, не вышло.
Код:
RewriteCond %{HTTP_USER_AGENT} !^yandex.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^googlebot.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^.*gaisbot.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^rambler.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^aport.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^metacrawler.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^msnbot.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^.*crawler.* [NC]
RewriteCond %{HTTP_REFERER} ^.www.mysite.net$ [OR]
RewriteCond %{HTTP_REFERER} ^.mysite.net$ 

RewriteRule ^(.*)$ http://mysite.net/forum.html [R=301,L]

Спасибо.
 
А вы не пробовали делать это с помощью файла robots.txt:

СОздаете файл robots.txt:
Код:
User-agent: *
Disallow: /forum/
Disallow: /files/
Disallow: /admin/
Там перечисляете, куда роботам не лазить. Можно даже указать куда и кому.
А потом в корень сайта. РОботы его слушаются.

http://z-zag.com/index.php?p=articles&artname=robofaq - тут более подробно.
 
Мы в соцсетях:

Взломай свой первый сервер и прокачай скилл — Начни игру на HackerLab

🚀 Первый раз на Codeby?
Гайд для новичков: что делать в первые 15 минут, ключевые разделы, правила
Начать здесь →
🔴 Свежие CVE, 0-day и инциденты
То, о чём ChatGPT ещё не знает — обсуждаем в реальном времени
Threat Intel →
💼 Вакансии и заказы в ИБ
Pentest, SOC, DevSecOps, bug bounty — работа и проекты от проверенных компаний
Карьера в ИБ →

HackerLab