Вот, собсна, сделал с помощью htaccess, что при попытке доступа к папке, боту поисковой системе выдавался запрет. Таким вот макаром:

при этом страница пользователем открывается нормально, но если хочу чтобы запрета не было, а выдавалась ошибка 404

то ошибка выдается и пользователю тоже. Как сделать, чтобы пользователь страницу просматривать мог, а поисковой системе выдавалась 404?

Ещё вопросы:
1. Чем отличаются записи:
RewriteRule ^.*
RewriteRule .*
RewriteRule ^/$

2. Чем отличаются записи (какая более универсальная):
RewriteCond %{HTTP_USER_AGENT} ^yandex [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^yandex.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*yandex*$ [NC,OR]