Проблема с Htaccess

  • Автор темы Автор темы Guest
  • Дата начала Дата начала
G

Guest

Нажно сделать так, чтобы боты google, yandex, rambler и yahoo не индексировали форум по адресу mysite.net. Но непросто написать что-то вроде


Код:
RewriteCond %{HTTP_USER_AGENT} ^.*Slurp.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*msnbot.* [NC]
RewriteRule ^(.*)$ - [F]

а написать так, чтобы именно по адресу mysite.net, а по адресу mysite2.net и боты и я спокойно ползали бы.


PS пробовал так, не вышло.
Код:
RewriteCond %{HTTP_USER_AGENT} !^yandex.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^googlebot.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^.*gaisbot.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^rambler.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^aport.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^metacrawler.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^msnbot.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^.*crawler.* [NC]
RewriteCond %{HTTP_REFERER} ^.www.mysite.net$ [OR]
RewriteCond %{HTTP_REFERER} ^.mysite.net$ 

RewriteRule ^(.*)$ http://mysite.net/forum.html [R=301,L]

Спасибо.
 
А вы не пробовали делать это с помощью файла robots.txt:

СОздаете файл robots.txt:
Код:
User-agent: *
Disallow: /forum/
Disallow: /files/
Disallow: /admin/
Там перечисляете, куда роботам не лазить. Можно даже указать куда и кому.
А потом в корень сайта. РОботы его слушаются.

- тут более подробно.
 
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!