robots.txt нужен ли он?

[XTX]

votept, видимо долго составлял =))
http://natorrente.com/robots.txt

[votept]

votept, видимо долго составлял =))
http://natorrente.com/robots.txt

я этим не занимался так как не разбираюсь в этом. Да и как мне многие сказали особую роль не играет. А файлик этот был с движком кстати.

[Tetrix]

TaBBaT
смотри, не знаю поможет или нет
http://ichiban-de.su/robots.txt
установлен мод Sitemap fx который делает карту для ботов.
так же поудаляй те пхп которых у тя нет, допустим

Код: Выделить всё

Disallow: /recent.php

думаю тебе не нужен и т.д.

[TaBBaT]

спасибо, попробуем

[TaBBaT]

http://fladex.ru/article/a-6.html

Полезная инфа, посмотрим что получиться, а то последнее время посещаемость с 1200 человек до 300 упала и не знаю что случилось, надеюсь файл даст роботам правельный путь для индексации

вот что получилось... http://ru-torrents.ru/robots.txt

[sanin25]

Как правильно создать для гугл и яндекс robots.txt мой файл такой

User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: мой сайт
Sitemap: http://мой сайт/sitemap.php
Sitemap: http://мой сайт/forum_sitemap.xml
Sitemap: http://мой сайт/sitemap_index.xml
Sitemap: http://мой сайт/topic_sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: мой сайт
Sitemap: http://мой сайт/sitemap.php
Sitemap: http://мой сайт/forum_sitemap.xml
Sitemap: http://мой сайт/sitemap_index.xml
Sitemap: http://мой сайт/topic_sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Сам не делал нашел в интернете в гугле пишет

Строка 15: Sitemap: http://gaychik.com.ua/sitemap.php Обнаружены данные о действительном файле Sitemap
Строка 16: Sitemap: http://мой сайт/forum_sitemap.xml Обнаружены данные о действительном файле Sitemap
Строка 17: Sitemap: http://мой сайт/sitemap_index.xml Обнаружены данные о действительном файле Sitemap
Строка 18: Sitemap: http://мой сайт/topic_sitemap.xml Обнаружены данные о действительном файле Sitemap
Строка 19: Clean-param: sid /index.php Синтаксис не распознается
Строка 20: Clean-param: sid /viewforum.php Синтаксис не распознается
Строка 21: Clean-param: sid /viewtopic.php Синтаксис не распознается

Чем можно заменить "Clean-param: sid" Было бы хорошо если бы выложили готовый файл. Ещё вопрос чем лучше создавать файлы "Sitemap" я поставил себе "SiteMap Generator" Что вы и по этому поводу думаете ?