robots.txt нужен ли он?

Аватара пользователя
XTX
Сообщения: 324
Зарегистрирован: 21 сен 2009, 23:08
Благодарил (а): 2 раза

Сообщение XTX 20 окт 2010, 09:33

votept, видимо долго составлял =))
http://natorrente.com/robots.txt
Аватара пользователя
votept
Сообщения: 806
Зарегистрирован: 18 июл 2010, 17:57
Благодарил (а): 49 раз
Поблагодарили: 62 раза

Сообщение votept 20 окт 2010, 10:45

XTX писал(а):votept, видимо долго составлял =))
http://natorrente.com/robots.txt


:lol: я этим не занимался так как не разбираюсь в этом. Да и как мне многие сказали особую роль не играет. А файлик этот был с движком кстати.
Что я слушаю >>> silllence.com
Te
Tetrix
Сообщения: 207
Зарегистрирован: 06 июн 2010, 23:23

Сообщение Tetrix 20 окт 2010, 14:01

TaBBaT
смотри, не знаю поможет или нет
http://ichiban-de.su/robots.txt
установлен мод Sitemap fx который делает карту для ботов.
так же поудаляй те пхп которых у тя нет, допустим

Код: Выделить всё

Disallow: /recent.php
думаю тебе не нужен и т.д.
Последний раз редактировалось Tetrix 20 окт 2010, 14:03, всего редактировалось 1 раз.
Ta
TaBBaT
Сообщения: 91
Зарегистрирован: 19 мар 2010, 18:21
Откуда: Cyberpirat.ru
Благодарил (а): 1 раз
Поблагодарили: 1 раз

Сообщение TaBBaT 20 окт 2010, 21:08

спасибо, попробуем
Ta
TaBBaT
Сообщения: 91
Зарегистрирован: 19 мар 2010, 18:21
Откуда: Cyberpirat.ru
Благодарил (а): 1 раз
Поблагодарили: 1 раз

Сообщение TaBBaT 20 окт 2010, 21:38

IRONMAN писал(а):http://fladex.ru/article/a-6.html


Полезная инфа, посмотрим что получиться, а то последнее время посещаемость с 1200 человек до 300 упала и не знаю что случилось, надеюсь файл даст роботам правельный путь для индексации

вот что получилось... http://ru-torrents.ru/robots.txt
sa
sanin25
Сообщения: 10
Зарегистрирован: 29 янв 2011, 16:28

Сообщение sanin25 06 фев 2011, 16:10

Как правильно создать для гугл и яндекс robots.txt мой файл такой
User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: мой сайт
Sitemap: http://мой сайт/sitemap.php
Sitemap: http://мой сайт/forum_sitemap.xml
Sitemap: http://мой сайт/sitemap_index.xml
Sitemap: http://мой сайт/topic_sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: мой сайт
Sitemap: http://мой сайт/sitemap.php
Sitemap: http://мой сайт/forum_sitemap.xml
Sitemap: http://мой сайт/sitemap_index.xml
Sitemap: http://мой сайт/topic_sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Сам не делал нашел в интернете в гугле пишет
Строка 15: Sitemap: http://gaychik.com.ua/sitemap.php Обнаружены данные о действительном файле Sitemap
Строка 16: Sitemap: http://мой сайт/forum_sitemap.xml Обнаружены данные о действительном файле Sitemap
Строка 17: Sitemap: http://мой сайт/sitemap_index.xml Обнаружены данные о действительном файле Sitemap
Строка 18: Sitemap: http://мой сайт/topic_sitemap.xml Обнаружены данные о действительном файле Sitemap
Строка 19: Clean-param: sid /index.php Синтаксис не распознается
Строка 20: Clean-param: sid /viewforum.php Синтаксис не распознается
Строка 21: Clean-param: sid /viewtopic.php Синтаксис не распознается

Чем можно заменить "Clean-param: sid" Было бы хорошо если бы выложили готовый файл. Ещё вопрос чем лучше создавать файлы "Sitemap" я поставил себе "SiteMap Generator" Что вы и по этому поводу думаете ?

Вернуться в «Вопросы, ответы и примеры решений»

Кто сейчас на конференции

Сейчас этот форум просматривают: CCBot и 1 гость