Xpoint
   [напомнить пароль]

Поисковые роботы

Метки: [без меток]
[удл]
2007-02-09 14:45:39 [обр] Andrej[досье]

Помоему когда-то на этом форуме всплывал подобный вопрос.
Помогите пожалуйста разобраться с проблемой. Есть файлик robots.txt

User-agent: *
Disallow: /cgi-bin/

Появилась надобность разрешить роботам индексировать файлики находящиеся в /cgi-bin/forum/forum.pl?*
Но файлик robots.txt я не хочу трогать т.к. в папке cgi-bin есть достаточно много файликов которые не хочется индексировать.
А как роботы будут реагировать если в страничках forum.pl?* написать

 <meta name="robots" content="index, follow">

 ?

спустя 48 минут [обр] Владимир Палант(49/4445)[досье]
Никак не будут реагировать — они изначально не пойдут по ссылке на /cgi-bin/.
Powered by POEM™ Engine Copyright © 2002-2005