Доброго всем времени суток, дорогие посетители, но самые дорогие те, кто по рекламе кликает :). Надо внести предложение для всех блогеров негласное. Зашёл на другой блог, кликни на РСЯ или Google Adsense, для финансовой поддержке друг друга.
В этом уроке мы научимся создавать файл robots.txt.
Это файл указывает как правильно индексировать ваш сайт поисковым машинам. Или лучше сказать указывает что не индексировать, то есть запретить индексацию тех файлов которые не нужны посетителям при поске в браузере. Этот файл мы будем создавать в обычном блокноте, онлайн естественно, файл robots.txt, как и карта сайта sitemap.xml, существует для управления индексацией сайта! Задав в файле robots.txt определенные правила для поисковых машин и поместив его в корневой каталог, мы сможем правильно управлять индексацией своего блога. Роботы индексируют всё что им попадается на пути, тем самым увеличивая время самой индексации. Поэтому нам надо избавить их от лишней работы, сократив время и запретить сканировать дублированный контент. Яндекс особенно этого не любит, и можно попасть за это под фильтры. Дублированный контент это как раз и есть рубрики, архивы, архивы меток и если не закрыть их от индексации, то со временем блог обрастёт массой дубликаций.
А теперь к делу…
Как создать файл robots.txt
Файл помещают в корневой каталог, у некоторых хостингов это или » WWW «, или » public html «, или » httpdocs «.
Итак, открываем блокнот и заполняем. Заполните так как в моём примере ниже, а сейчас просто разберём правила заполнения.
Начинаем всегда с директивы User-agent. Это название поискового робота, можно указать робота Яндекс или Гугл, но правильнее разрешить всем роботам, для этого прописываем так:
User-agent: *
Далее прописывается директива Disallow , то есть Запретить. Запретить индексацию файлов, папок, некоторые части сайта ( Allow — разрешить индексацию всего,очень редко прописывается в robots.txt )
User-agent: *
Disallow:
Для запрета индексации содержимого в папке wp-admin, нужно прописать
User-agent: *
Disallow: /wp-admin/
далее вы хотите запретить индексацию определённых страниц, например karta-sajta, прописываем
User-agent: * Disallow: /wp-admin/
Disallow: /karta-sajta.html
Я надеюсь принцип заполнения файла понятен… Закрываем от индексации первым делом файлы системные:
- wp-admin/
- wp-content/plugins
- wp-content/themes
- wp-content/languages
- wp-includes/
- wp-login.php
- wp-register.php
Для того чтобы предотвратить дублирование в категориях, RSS ленте и комментариях закрываем следующие:
/category/*/* /feed */feed /comments
*/comments
Вот таким образом заполняется файл, если вам интересно самому прописать, если не хотите заморачиваться , тогда вот вам файл составленный правильно, копируйте и ставьте себе.
| Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Sitemap: http://site.ru/sitemap.xml User-agent: Googlebot-Image Allow: /wp-content/uploads/ Allow: /wp-content/uploads/ |
Далее создав документ, мы грузим его на хостинг FTP — клиентом , в нашем случае Filezilla в и корневой каталог » WWW «, вы смотрите, что у вас на хостинге. Обычно » public html «
Чтобы проверить правильность составления файла robots.txt, если вы сами составляли и сомневаетесь в верности своему глазу и тем более голове. То заходим на Яндекс проверка файла оного.
и вписываем свой домен, кликаем » Загрузить robots.txt с сайта «, затем кликаем » Проверить «
На этом всё, вопрос » Как создать файл robots.txt » считаю закрытым.
Всем удачи, успехов и побед, прежде всего над собой…