Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /editor/

Disallow: /help/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /index2.php?option=com_content&task=emailform

Disallow: /*?sl*

Disallow: /index.php?*

Disallow: *.pdf$

Disallow: /name.php?action=print

Disallow: /trackback

Disallow: /*rss.html

Disallow: /*atom.html

Host: ads-74.ru

Sitemap: ads-74.ru/sitemap.xml

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /editor/

Disallow: /help/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /index2.php?option=com_content&task=emailform

Disallow: /*?sl*

Disallow: /index.php?*

Disallow: *.pdf$

Disallow: /name.php?action=print

Disallow: /trackback

Disallow: /*rss.html

Disallow: /*atom.html

Я профессионально занимаюсь SEO-обучением seo-obuchenie.ru (смотри здесь) и продвижением сайтов prodvizhenie-saytov.ru (смотри здесь), поэтому приходится помнить все тонкости создания robots.txt.

У Вас есть ошибка в посте и одна ненужная строка в robots.txt, так как в данном виде директива Allow не выполнится. К тому же эту директиву изначально поддерживал только Яндекс.

Так вот выглядит мой роботс:

User-agent: *

Disallow: /wp-

Disallow: /xmlrpc.php

Disallow: /category/

Disallow: /page/

Disallow: /trackback/

Disallow: /feed

Disallow: /comments/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Allow: /wp-content/uploads/

Sitemap: adw0rd.ru/sitemap.xml

Я разрешил поисковым ботам индексировать меня только по «Тегам» и «Архиву». Обратите внимание, я использую маску /wp- , для того чтобы URL'ы wp-login.php, wp-register.php, wp-admin и т.д. попали под запрет индексации (Disallow).

Также я разрешил индексировать мой «/wp-content/uploads/» для сервисов «Яндекс.Картинки» и «Google Картинки», так как там хранятся в основном картинки. И расшарил файл «sitemap.xml» для лучшей индексации.

Если

Allow: /wp-content/uploads/

стоит после

Disallow: /wp-

, то выполнится именно первая сверху(!) дирректива, а Allow: /wp-content/uploads/ не выполнится. Приоритет у вышестоящих записей.

Поэтому и в своем robots.txt просто поменяйте их местами.

С уважением, Николай.

P.S. На другие сообщения отвечать не стал, так как их очень много, но почти во всех примерах есть масса ошибок в составлении robots.txt.

webmaster.yandex.ru/wmcon...p_list.xml?host=

не работает

www.gt-light.ru

2011-04-01T08:38:30+00:00

always

1.00

www.gt-light.ru/product.html

2011-04-01T08:35:39+00:00

always

0.80

www.gt-light.ru/link.html

2011-04-01T08:35:39+00:00

always

0.80

www.gt-light.ru/contact.html

2011-04-01T08:37:06+00:00

always

0.80

www.gt-light.ru/Links/life.html

2011-03-22T19:21:49+00:00

always

0.80

www.gt-light.ru/Link.html

2011-03-22T19:21:49+00:00

always

0.80

www.gt-light.ru/office.html

2011-04-01T08:36:16+00:00

always

0.64

www.gt-light.ru/jkx.html

2011-04-01T08:34:35+00:00

always

0.64

www.gt-light.ru/street.html

2011-04-01T08:35:17+00:00

always

0.64

www.gt-light.ru/contact2.html

2011-03-26T14:47:26+00:00

always

0.64

www.gt-light.ru/office.pdf

2011-04-01T08:35:39+00:00

always

0.80

www.gt-light.ru/street.pdf

2011-04-01T08:35:39+00:00

always

0.80

www.gt-light.ru/jkx.pdf

2011-03-21T07:00:53+00:00

always

0.51

User-agent: *

Sitemap: www.gt-light.ru/sitemap.xml

Allow: /office.html

Allow: /index.html

Allow: /product.html

Allow: /doc.html

Allow: /contact.html

Allow: /

Allow: /street.html

Allow: /jkx.html

Allow: /link.html

Allow: /contact2.html

Allow: /send.php

Disallow: /engine/go.php

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Sitemap: home-center74.ru/sitemap.xml

Вопрос это для Dle немагу понять прочитал много и вывот всёжи не зделал чтоб яша и гугол тебя хорошо скан7ировали что нужно для этого или дайте что надо добавить к ниму.