<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
		>
<channel>
	<title>Комментарии: Делаем правильный robots.txt и sitemap.xml</title>
	<atom:link href="http://adw0rd.ru/2009/robotstxt-and-sitemapxml/feed/" rel="self" type="application/rss+xml" />
	<link>http://adw0rd.ru/2009/robotstxt-and-sitemapxml/</link>
	<description>Блог Михаила Андреева (aka adw0rd)</description>
	<lastBuildDate>Mon, 06 Sep 2010 16:37:35 +0000</lastBuildDate>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
	<generator>http://wordpress.org/?v=3.0.1</generator>
	<item>
		<title>Автор: Отпингать карту сайта. Полезняшка &#124; Мой счастливый акр земли</title>
		<link>http://adw0rd.ru/2009/robotstxt-and-sitemapxml/#comment-4889</link>
		<dc:creator>Отпингать карту сайта. Полезняшка &#124; Мой счастливый акр земли</dc:creator>
		<pubDate>Fri, 27 Aug 2010 17:18:21 +0000</pubDate>
		<guid isPermaLink="false">http://adw0rd.ru/?p=1410#comment-4889</guid>
		<description>[...] Делаем правильный robots.txt и sitemap.xml &#124; Мастерская интернет-... [...]</description>
		<content:encoded><![CDATA[<p>[...] Делаем правильный robots.txt и sitemap.xml | Мастерская интернет- ... [...]</p>]]></content:encoded>
	</item>
	<item>
		<title>Автор: Двуглазый Юм</title>
		<link>http://adw0rd.ru/2009/robotstxt-and-sitemapxml/#comment-4806</link>
		<dc:creator>Двуглазый Юм</dc:creator>
		<pubDate>Thu, 29 Jul 2010 22:34:51 +0000</pubDate>
		<guid isPermaLink="false">http://adw0rd.ru/?p=1410#comment-4806</guid>
		<description>Заранее извиняюсь, но паре десятков людей может помочь мой случай, разрешившийся тяжелыми родами недавно:

&lt;b&gt;twoeyedyum&lt;/b&gt;.&lt;i&gt;megabyet.net&lt;/i&gt; (&lt;i&gt;megabyet.net&lt;/i&gt; - собственно, хостер, домен 3-го уровня бесплатный) выпадает в 403 ошибку исключительно у Яши, и дело тут вовсе не в роботсах, и не в картах сайта. Кто тоже грешил на эти два объекта, но еще не обратился в саппорт Яндекса, тех предупреждаю заранее - Яндекс страдает паранойей пополам с легким детским синдромом наивности.

На свои вопросы я получил примерно такой ответ: &quot;Извините, но домен  содержит в себе много доменов третьего уровня, на которых расположены дорвеи и прочие нехорошие сайты. &lt;i&gt;ПОПРОСИТЕ&lt;/i&gt; вашего хостера, раз уж вы пользуетесь его доменным именем, убрать все дорвеи со своих доменов, и &lt;i&gt;ТОГДА&lt;/i&gt; мы разблокируем megabyet.net и все домены в этой группе, и не будет появляться 403 ошибка.&quot;

От така ***ня, малята! © Простите, не сдержался. Просто представил, как я буду уговаривать своего финского хостера уничтожить часть сайтов ради меня и Яши...

Ларчик просто открывался, не поленитесь и со своей проблемой постучать прежде всего к саппорту Яши - люди душевные, завсегда посоветуют &quot;хорошего&quot;...</description>
		<content:encoded><![CDATA[<p>Заранее извиняюсь, но паре десятков людей может помочь мой случай, разрешившийся тяжелыми родами недавно:</p><p><b>twoeyedyum</b>.<i>megabyet.net</i> (<i>megabyet.net</i>&nbsp;&mdash; собственно, хостер, домен 3-го уровня бесплатный) выпадает в 403 ошибку исключительно у Яши, и дело тут вовсе не в роботсах, и не в картах сайта. Кто тоже грешил на эти два объекта, но еще не обратился в саппорт Яндекса, тех предупреждаю заранее&nbsp;&mdash; Яндекс страдает паранойей пополам с легким детским синдромом наивности.</p><p>На свои вопросы я получил примерно такой ответ: &laquo;Извините, но домен  содержит в себе много доменов третьего уровня, на которых расположены дорвеи и прочие нехорошие сайты. <i>ПОПРОСИТЕ</i> вашего хостера, раз уж вы пользуетесь его доменным именем, убрать все дорвеи со своих доменов, и <i>ТОГДА</i> мы разблокируем megabyet.net и все домены в этой группе, и не будет появляться 403 ошибка.&raquo;</p><p>От така ***ня, малята! © Простите, не сдержался. Просто представил, как я буду уговаривать своего финского хостера уничтожить часть сайтов ради меня и Яши...</p><p>Ларчик просто открывался, не поленитесь и со своей проблемой постучать прежде всего к саппорту Яши&nbsp;&mdash; люди душевные, завсегда посоветуют &laquo;хорошего&raquo;...</p>]]></content:encoded>
	</item>
	<item>
		<title>Автор: adw0rd</title>
		<link>http://adw0rd.ru/2009/robotstxt-and-sitemapxml/#comment-4805</link>
		<dc:creator>adw0rd</dc:creator>
		<pubDate>Thu, 29 Jul 2010 17:19:53 +0000</pubDate>
		<guid isPermaLink="false">http://adw0rd.ru/?p=1410#comment-4805</guid>
		<description>&lt;blockquote&gt;Forbidden

You don&#039;t have permission to access /sitemap.htm on this server.&lt;/blockquote&gt;</description>
		<content:encoded><![CDATA[<blockquote><p>Forbidden</p><p>You don&#39;t have permission to access /sitemap.htm on this server.</p></blockquote>]]></content:encoded>
	</item>
	<item>
		<title>Автор: оеночка</title>
		<link>http://adw0rd.ru/2009/robotstxt-and-sitemapxml/#comment-4804</link>
		<dc:creator>оеночка</dc:creator>
		<pubDate>Thu, 29 Jul 2010 17:12:59 +0000</pubDate>
		<guid isPermaLink="false">http://adw0rd.ru/?p=1410#comment-4804</guid>
		<description>гляньте тут: http://kiev-security.org.ua/sitemap.htm</description>
		<content:encoded><![CDATA[<p>гляньте тут: <a href="http://kiev-security.org.ua/sitemap.htm">kiev-security.org.ua/sitemap.htm</a></p>]]></content:encoded>
	</item>
	<item>
		<title>Автор: Двуглазый Юм</title>
		<link>http://adw0rd.ru/2009/robotstxt-and-sitemapxml/#comment-4781</link>
		<dc:creator>Двуглазый Юм</dc:creator>
		<pubDate>Mon, 19 Jul 2010 10:34:34 +0000</pubDate>
		<guid isPermaLink="false">http://adw0rd.ru/?p=1410#comment-4781</guid>
		<description>Дополнительный момент касательно блога автора: здесь, как и в многих других стандалонах, нельзя подписаться своим блогом (просто не хочется быть совсем Анонимусом). Это какая-то фишка ВП, или я просто не нагуглил такого плагина?</description>
		<content:encoded><![CDATA[<p>Дополнительный момент касательно блога автора: здесь, как и в многих других стандалонах, нельзя подписаться своим блогом (просто не хочется быть совсем Анонимусом). Это какая-то фишка ВП, или я просто не нагуглил такого плагина?</p>]]></content:encoded>
	</item>
	<item>
		<title>Автор: Двуглазый Юм</title>
		<link>http://adw0rd.ru/2009/robotstxt-and-sitemapxml/#comment-4780</link>
		<dc:creator>Двуглазый Юм</dc:creator>
		<pubDate>Mon, 19 Jul 2010 10:29:12 +0000</pubDate>
		<guid isPermaLink="false">http://adw0rd.ru/?p=1410#comment-4780</guid>
		<description>Боюсь попасть в одну мусорку с Ярошем, но все-таки обрисую ситуевину и попрошу совета.

twoeyedyum . megabyet . net - вот он, источник моих мучений (вирусов нет)

Есть сайт: бесплатный хостинг, домен третьего уровня, блог Вордпресс. ЧПУ включены (само собой, хочется человеческих ссылок). 
В &lt;b&gt;canonical.php&lt;/b&gt; добавлена директива на запрет неправильных редиректов (нагуглил в десяти источниках, так что вроде не брехня) и, соответственно, перепроверен основной адрес в настройках Вордпресс.
&lt;b&gt;Роботс.тхт&lt;/b&gt; составлен по вышеупомянутым правилам (открытыми я оставил именно диретории, в остальном отличий почти нет). Один раз упомянут &lt;b&gt;sitemap.xml&lt;/b&gt; (автоматически создается плагином).

Сайт спокойно виден в гугле, а вот Яша уже полтора апа меня игнорирует (апы ТИЦ имеются ввиду, ибо апов выдачи было гораздо больше). В &lt;b&gt;Яндекс.Вебмастере&lt;/b&gt; карта сайта тестируется на УРА, ошибок не найдено, но страниц в поиске по-прежнему 0 (ноль штук). Вроде никаких правил сайт не нарушает, причин попадать совсем уж в бан - нет. Гугл-робот дает всем страницам код 200, яша-робот дает 403 Форбидден.

Собственно вопрос: неужели нужно ждать еще один-два (или еще десяток) апа ТИЦ/выдачи, чтобы Яша наконец разглядел и проиндексировал сайт в соотвествии с картой сайта и Роботс.тхт, которые ему так понравились?
Сами Гугл и Яндекс уже не знают, что мне ответить...</description>
		<content:encoded><![CDATA[<p>Боюсь попасть в одну мусорку с Ярошем, но все-таки обрисую ситуевину и попрошу совета.</p><p>twoeyedyum . megabyet . net&nbsp;&mdash; вот он, источник моих мучений (вирусов нет)</p><p>Есть сайт: бесплатный хостинг, домен третьего уровня, блог Вордпресс. ЧПУ включены (само собой, хочется человеческих ссылок). </p><p>В <b>canonical.php</b> добавлена директива на запрет неправильных редиректов (нагуглил в десяти источниках, так что вроде не брехня) и, соответственно, перепроверен основной адрес в настройках Вордпресс.</p><p><b>Роботс.тхт</b> составлен по вышеупомянутым правилам (открытыми я оставил именно диретории, в остальном отличий почти нет). Один раз упомянут <b>sitemap.xml</b> (автоматически создается плагином).</p><p>Сайт спокойно виден в гугле, а вот Яша уже полтора апа меня игнорирует (апы ТИЦ имеются ввиду, ибо апов выдачи было гораздо больше). В <b>Яндекс.Вебмастере</b> карта сайта тестируется на УРА, ошибок не найдено, но страниц в поиске по-прежнему 0 (ноль штук). Вроде никаких правил сайт не нарушает, причин попадать совсем уж в бан&nbsp;&mdash; нет. Гугл-робот дает всем страницам код 200, яша-робот дает 403 Форбидден.</p><p>Собственно вопрос: неужели нужно ждать еще один-два (или еще десяток) апа ТИЦ/выдачи, чтобы Яша наконец разглядел и проиндексировал сайт в соотвествии с картой сайта и Роботс.тхт, которые ему так понравились?</p><p>Сами Гугл и Яндекс уже не знают, что мне ответить...</p>]]></content:encoded>
	</item>
	<item>
		<title>Автор: Саша Ярош</title>
		<link>http://adw0rd.ru/2009/robotstxt-and-sitemapxml/#comment-4591</link>
		<dc:creator>Саша Ярош</dc:creator>
		<pubDate>Mon, 29 Mar 2010 19:15:44 +0000</pubDate>
		<guid isPermaLink="false">http://adw0rd.ru/?p=1410#comment-4591</guid>
		<description>Как самому проиндексировать сайт в Яндексе бесплатно?</description>
		<content:encoded><![CDATA[<p>Как самому проиндексировать сайт в Яндексе бесплатно?</p>]]></content:encoded>
	</item>
	<item>
		<title>Автор: OZ</title>
		<link>http://adw0rd.ru/2009/robotstxt-and-sitemapxml/#comment-4590</link>
		<dc:creator>OZ</dc:creator>
		<pubDate>Mon, 29 Mar 2010 12:34:22 +0000</pubDate>
		<guid isPermaLink="false">http://adw0rd.ru/?p=1410#comment-4590</guid>
		<description>Прошу оценить:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-register.php
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?*
Disallow: /?*
Disallow: /trackback
Disallow: */trackback
Disallow: /feed
Disallow: */feed
Disallow: /comments
Disallow: */comments
Disallow: /category
Disallow: /page
Disallow: */*?replytocom*
Disallow: /search

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-register.php
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?*
Disallow: /?*
Disallow: /trackback
Disallow: */trackback
Disallow: /feed
Disallow: */feed
Disallow: /comments
Disallow: */comments
Disallow: /category
Disallow: /page
Disallow: */*?replytocom*
Disallow: /search
Host: домен

Sitemap: http://домен/sitemap.xml.gz</description>
		<content:encoded><![CDATA[<p>Прошу оценить:</p><p>User-agent: *</p><p>Disallow: /wp-admin</p><p>Disallow: /wp-includes</p><p>Disallow: /wp-content/plugins</p><p>Disallow: /wp-content/themes</p><p>Disallow: /wp-register.php</p><p>Disallow: /wp-login.php</p><p>Disallow: /xmlrpc.php</p><p>Disallow: /*.js$</p><p>Disallow: /*.inc$</p><p>Disallow: /*.css$</p><p>Disallow: /*?*</p><p>Disallow: /?*</p><p>Disallow: /trackback</p><p>Disallow: */trackback</p><p>Disallow: /feed</p><p>Disallow: */feed</p><p>Disallow: /comments</p><p>Disallow: */comments</p><p>Disallow: /category</p><p>Disallow: /page</p><p>Disallow: */*?replytocom*</p><p>Disallow: /search</p><p>User-agent: Yandex</p><p>Disallow: /wp-admin</p><p>Disallow: /wp-includes</p><p>Disallow: /wp-content/plugins</p><p>Disallow: /wp-content/themes</p><p>Disallow: /wp-register.php</p><p>Disallow: /wp-login.php</p><p>Disallow: /xmlrpc.php</p><p>Disallow: /*.js$</p><p>Disallow: /*.inc$</p><p>Disallow: /*.css$</p><p>Disallow: /*?*</p><p>Disallow: /?*</p><p>Disallow: /trackback</p><p>Disallow: */trackback</p><p>Disallow: /feed</p><p>Disallow: */feed</p><p>Disallow: /comments</p><p>Disallow: */comments</p><p>Disallow: /category</p><p>Disallow: /page</p><p>Disallow: */*?replytocom*</p><p>Disallow: /search</p><p>Host: домен</p><p>Sitemap: <a href="http://домен/sitemap.xml.gz">домен/sitemap.xml.gz</a></p>]]></content:encoded>
	</item>
	<item>
		<title>Автор: VRS</title>
		<link>http://adw0rd.ru/2009/robotstxt-and-sitemapxml/#comment-4431</link>
		<dc:creator>VRS</dc:creator>
		<pubDate>Sun, 28 Feb 2010 18:56:35 +0000</pubDate>
		<guid isPermaLink="false">http://adw0rd.ru/?p=1410#comment-4431</guid>
		<description>Саша Ярош, прочтите сначала что такое тИЦ и PR . тИЦ НЕ ВЛИЯEТ на выдачу ПС Яндекса. PR тоже не единственный фактор для выдачи Гугла..

Вы задаете глупые вопросы, ответы на которые давно даны специально для новичков. Научитесь пользоваться поиском. 

Уникальные продуманные тексты с грамотно подобранными ключевиками, регистрация в  каталогах, размещение  на досках объявлений... в сети море... нет... океан... нет... - ВСЕЛЕННАЯ информации о методах оптимизации сайта! Ищите, читайте, учитесь... Лень? Хотите получить в разжеванном виде? - идите на платные курсы или в институт..</description>
		<content:encoded><![CDATA[<p>Саша Ярош, прочтите сначала что такое тИЦ и PR . тИЦ НЕ ВЛИЯEТ на выдачу ПС Яндекса. PR тоже не единственный фактор для выдачи Гугла...</p><p>Вы задаете глупые вопросы, ответы на которые давно даны специально для новичков. Научитесь пользоваться поиском. </p><p>Уникальные продуманные тексты с грамотно подобранными ключевиками, регистрация в  каталогах, размещение  на досках объявлений... в сети море... нет... океан... нет...&nbsp;&mdash; ВСЕЛЕННАЯ информации о методах оптимизации сайта! Ищите, читайте, учитесь... Лень? Хотите получить в разжеванном виде?&nbsp;&mdash; идите на платные курсы или в институт...</p>]]></content:encoded>
	</item>
	<item>
		<title>Автор: Саша Ярош</title>
		<link>http://adw0rd.ru/2009/robotstxt-and-sitemapxml/#comment-4429</link>
		<dc:creator>Саша Ярош</dc:creator>
		<pubDate>Sun, 28 Feb 2010 13:50:53 +0000</pubDate>
		<guid isPermaLink="false">http://adw0rd.ru/?p=1410#comment-4429</guid>
		<description>тИЦ и PR нужен для того чтобы мои сайты находились в поисковиках Яндекс и Google. У вас ежедневное посещение более 400 уников. А как у вас это произошло?</description>
		<content:encoded><![CDATA[<p>тИЦ и PR нужен для того чтобы мои сайты находились в поисковиках Яндекс и Google. У вас ежедневное посещение более 400 уников. А как у вас это произошло?</p>]]></content:encoded>
	</item>
</channel>
</rss>
