Помощь - Поиск - Пользователи - Календарь
Полная версия этой страницы: Проблема с Htaccess
Форум программистов > Интернет и сети > Web-программирование > Общие вопросы
Могильщик
Нажно сделать так, чтобы боты google, yandex, rambler и yahoo не индексировали форум по адресу mysite.net. Но непросто написать что-то вроде


RewriteCond %{HTTP_USER_AGENT} ^.*Slurp.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*msnbot.* [NC]
RewriteRule ^(.*)$ - [F]


а написать так, чтобы именно по адресу mysite.net, а по адресу mysite2.net и боты и я спокойно ползали бы.


PS пробовал так, не вышло.
RewriteCond %{HTTP_USER_AGENT} !^yandex.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} !^googlebot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} !^.*gaisbot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} !^rambler.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} !^aport.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} !^metacrawler.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} !^msnbot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} !^.*crawler.* [NC]
RewriteCond %{HTTP_REFERER} ^.www.mysite.net$ [OR]
RewriteCond %{HTTP_REFERER} ^.mysite.net$

RewriteRule ^(.*)$ http://mysite.net/forum.html [R=301,L]


Спасибо.
GOsha
А вы не пробовали делать это с помощью файла robots.txt:

СОздаете файл robots.txt:
User-agent: *
Disallow: /forum/
Disallow: /files/
Disallow: /admin/

Там перечисляете, куда роботам не лазить. Можно даже указать куда и кому.
А потом в корень сайта. РОботы его слушаются.

]]>http://z-zag.com/index.php?p=articles&artname=robofaq]]> - тут более подробно.
Для просмотра полной версии этой страницы, пожалуйста, пройдите по ссылке.
Форум IP.Board © 2001-2008 IPS, Inc.