Xpoint
   [напомнить пароль]

robots.txt и роботы

Метки: [без меток]
2006-10-27 00:22:27 [обр] Andrej[досье]

Надеюсь правильно разместил свой вопрос :)
Итак, от сканирования роботами в целях безопасности у меня скрыта папка /cgi-bin/
Вот так:

User-agent: *
Disallow: /cgi-bin/

В директории /cgi-bin/cgi-forum/' находится форум, как-то можно открыть доступ роботам к этой папке? Или даже лучше не к папке a к самуму скрипту /cgi-bin/cgi-forum/forum.cgi

В robots.txt прописывать все директории кроме cgi-forum не хочется. (Не хочется открывать названия директорий для всеобщего обозрения)

спустя 28 минут [обр] Давид Мзареулян(7/1003)[досье]
В robots.txt прописывать все директории кроме cgi-forum не хочется.

А придётся:) Другого решения тут нет.

Ну, или же каким-нибудь mod_rewrite-ом вынести форум из cgi-bin.

спустя 1 минуту [обр] Давид Мзареулян(7/1003)[досье]
C другой стороны, если у Вас там директории и так не «открыты для всеобщего обозрения», то туда роботы не попадут. Да и meta name="robots" никто не отменял.
Powered by POEM™ Engine Copyright © 2002-2005