1. Какие расширения формата robots.txt поддерживает Яндекс?
Директиву “Allow”, спецсимволы “*” и “$”. Источник: Яндекс
1. Что значит директива “Allow:”?
Разрешает роботу/роботам индексировать определенную часть сайта.
2. Приведите пример использования использования директивы “Allow:”
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц начинающихся с '/cgi-bin'
второй пример:
User-agent: Yandex
Disallow: /
Allow: /cgi-bin
# запрещает скачивать весь сайт
4. Что значит спец. символ ‘*’?
Спецсимвол ‘*’ означает любую (в том числе и пустую) последовательность символов. Используется при указании путей директив Allow-Disallow
5. Приведите пример использования спец. символа ‘*’?
Disallow: /cgi-bin/*.aspx
# запрещает '/cgi-bin/example.aspx' и '/cgi-bin/private/test.aspx'
Disallow: /*private
# запрещает не только '/private', но и '/cgi-bin/private'
6. Что значит спец. символ ‘$’?
По умолчанию к концу каждого правила, описанного в robots.txt, приписывается ‘*’. Этот спец. символ позволяет избежать этой приписки. Пример:
User-agent: Yandex
Disallow: /example$
# запрещает '/example', но не запрещает '/example.html'
User-agent: Yandex
Disallow: /example
# запрещает и '/example', и '/example.html'
7. Где можно подробнее об этом прочитать?
На сайте Яндекса: http://help.yandex.ru/webmaster/?id=996567#996572
8. Как протестировать работу?
Официальный тест Яндекса находиться здесь: http://help.yandex.ru/webmaster/?id=996709
