META-теги роботов
Если несколько веб-разработчиков или подразделений одновременно управляют различными разделами сайта, то обновление файла robots.txt может оказаться трудной задачей. Используйте специальные META-теги HTML роботов для обозначения того, что страница может индексироваться или анализироваться роботами, хотя не все роботы поддерживают META-теги. Microsoft Index Server поддерживает META-теги роботов и исключает содержащие их веб-страницы. Мета-теги роботов чувствительны к регистру букв и размещаются в разделе <HEAD> страница HTML, как и все остальные META-теги. Например:
<HTML> <HEAD> <META NAME="robots" CONTENT="noindex,nofollow"> <META NAME="description" CONTENT="Данный документ рассказывает о …."> <TITLE>Внутренняя безопасность</TITLE> </HEAD> <BODY>
В содержимом META-тега роботов присутствуют директивы, разделяемые запятыми. В настоящий момент определены директивы INDEX, NOINDEX, FOLLOW и NOFOLLOW. Директива INDEX указывает, должен ли робот индексировать страницу. Директива FOLLOW указывает, должен ли робот переходить по ссылкам на странице для поиска других страниц. Директивами по умолчанию являются INDEX и FOLLOW. Значения ALL и NONE включают и выключают директивы: ALL=INDEX,FOLLOW и NONE=NOINDEX,NOFOLLOW. Чтобы разрешить роботу индексирование и анализ страницы на предмет ссылок, добавьте следующий META-тег:
<META NAME="robots" CONTENT="index,follow">
или
<META NAME="robots" CONTENT="all=index.follow">
Остальные комбинации приведены ниже:
<META NAME="robots" CONTENT="noindex,follow"> <META NAME="robots" CONTENT="index,nofollow"> <META NAME="robots" CONTENT="noindex,nofollow">
Очевидно, что не следует указывать конфликтующие или повторяющиеся директивы, например:
<META NAME="robots" CONTENT="index,noindex,nofollow,follow">Совет. Для получения более подробной информации о роботах посетите сайт http://www.robotstxt.org/.
