Запреты в robots.txt бесполезны

[dmitrogen]

Заметил одну вещь, не все страницы закрываются в robots.txt, например:

Код: Выделить всё

/portal.php?mode=portal&tp=* 
/viewtopic.php?p=*
/viewtopic.php?f=*&t=*&opt=*

Как я это узнал ? Сейчас извлекаю url сайта c анкором через программу и никакой реакции на запрет страниц выше.
Все остальные запреты читает и не индексирует, Яндекс и Гугл тоже не слушается, пришлось убрать панельку "Торрент", т.к. /viewtopic.php?f=*&t=*&opt=* не работает.
Может я чего не правильно делаю, или глюк, или баг ?

[stepan83]

Как долго стоит данное правило в robots.txt ? У меня поисковики не индексируют запреты.

[PPK]

/viewtopic.php?p=*

на этом форуме (к примеру) работает

/portal.php?mode=portal&tp=*

это отключает индексирование всех страниц новинок трекера

/viewtopic.php?f=*&t=*&opt=*

это вообще зачем?, там в панели нет ссылок или боты через rel уже переходят?

Может я чего не правильно делаю, или глюк, или баг ?

баг или глюк чего?

[dmitrogen]

Как долго стоит данное правило в robots.txt ? У меня поисковики не индексируют запреты.

не помню когда это было, зимой наверно...задал правила в роботс Disallow: /viewtopic.php?f=*&t=*&opt=* и ещё что-то, через несколько дней Google загрузил роботс, делаю свежие топики, через день смотрю выдачу в Гугле и вижу что новые топики опять с мусором, который был запрещён в роботс

это вообще зачем?, там в панели нет ссылок или боты через rel уже переходят?

видимо да, 110000 страниц с "opt" в Гугле и 7000 было в Яндексе

баг или глюк чего?

незнаю..