Вот, собсна, сделал с помощью htaccess, что при попытке доступа к папке, боту поисковой системе выдавался запрет. Таким вот макаром:
Код
RewriteCond %{HTTP_USER_AGENT} ^google
RewriteRule ^.* - [F]

при этом страница пользователем открывается нормально, но если хочу чтобы запрета не было, а выдавалась ошибка 404
Код
RewriteCond %{HTTP_USER_AGENT} ^google
RewriteRule .* - [R=404]

то ошибка выдается и пользователю тоже. Как сделать, чтобы пользователь страницу просматривать мог, а поисковой системе выдавалась 404?

Ещё вопросы:
1. Чем отличаются записи:
RewriteRule ^.*
RewriteRule .*
RewriteRule ^/$

2. Чем отличаются записи (какая более универсальная):
RewriteCond %{HTTP_USER_AGENT} ^yandex [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^yandex.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*yandex*$ [NC,OR]