Запреты в robots.txt бесполезны

28 мар 2013, 17:46

Заметил одну вещь, не все страницы закрываются в robots.txt, например:

/portal.php?mode=portal&tp=* 
/viewtopic.php?p=*
/viewtopic.php?f=*&t=*&opt=*

Как я это узнал ? Сейчас извлекаю url сайта c анкором через программу и никакой реакции на запрет страниц выше.
Все остальные запреты читает и не индексирует, Яндекс и Гугл тоже не слушается, пришлось убрать панельку "Торрент", т.к. /viewtopic.php?f=*&t=*&opt=* не работает.
Может я чего не правильно делаю, или глюк, или баг ?

28 мар 2013, 21:18

Как долго стоит данное правило в robots.txt ? У меня поисковики не индексируют запреты.

29 мар 2013, 16:25

dmitrogen писал(а):/viewtopic.php?p=*

на этом форуме (к примеру) работает

dmitrogen писал(а):/portal.php?mode=portal&tp=*

это отключает индексирование всех страниц новинок трекера

dmitrogen писал(а):/viewtopic.php?f=*&t=*&opt=*

это вообще зачем?, там в панели нет ссылок или боты через rel уже переходят?

dmitrogen писал(а):Может я чего не правильно делаю, или глюк, или баг ?

баг или глюк чего?

29 мар 2013, 21:56

stepan83 писал(а):Как долго стоит данное правило в robots.txt ? У меня поисковики не индексируют запреты.

не помню когда это было, зимой наверно...задал правила в роботс Disallow: /viewtopic.php?f=*&t=*&opt=* и ещё что-то, через несколько дней Google загрузил роботс, делаю свежие топики, через день смотрю выдачу в Гугле и вижу что новые топики опять с мусором, который был запрещён в роботс

PPK писал(а):это вообще зачем?, там в панели нет ссылок или боты через rel уже переходят?

видимо да, 110000 страниц с "opt" в Гугле и 7000 было в Яндексе

PPK писал(а):баг или глюк чего?

незнаю..