Зачем нужен robots.txt

 

Image 2

Файл robots.txt является обязательным элементом  корневой папки каждого сайта. Что же это за файл и для чего он нужен?

А нужен он поисковикам Yandex и Google. Зайдя на сайт, эти поисковики прежде всего ищут   файл robots.txt. В этом файле находятся Правила, которые указывают что надо индексировать поисковикам, а что не надо. Поисковики в соответствии с этими Правилами пропускают индексацию архивов, служебных папок и файлов, чего на любом сайте создается в огромных количествах. Эти служебные папки, файлы, архивы играют большую роль в жизни сайта, но не несут никакой информации посетителям и читателям сайта. Поэтому они не нуждаются в индексации. Вот это и прописано в файле  robots.txt. Поисковики тратили бы много времени на эту никому не нужную индексацию. И если бы не было запрета на индексацию, то сайт непременно попал бы под фильтры поисковиков, а нужные написанные статьи мог бы просто пропустить. А нам этого не надо. Нам надо, чтобы все наши статьи проиндексировались!

Синтаксис файла robots.txt

Следовательно, давайте правильно настроим файл robots.txt. Итак, открывает Notepad++ и прописываем в нем следующее:

Синтаксис robots.txt

 

Как видим, в файле параметров не так уж и много. Что они значат?

User-agent: *

Эта строчка говорит о том, что все последующие инструкции относятся ко всем роботам

Disallow: /wp-content/plugins

Данная строчка говорит о том, что поисковику запрещено индексировать файл plugins в каталоге wp-content

Как видим синтаксис файла robots.txt очень простой.  Для каждого файла и для каждой папки прописывается своя строчка.  Но надо очень аккуратно и внимательно написать каждую строчку. Считается, что бот Яндекса очень требовательный и капризный, именно поэтому для него в файле прописаны отдельные строки-правила.

Обратим особое внимание на 3 последние строчки. В них должно быть прописано название вашего сайта (в данном случае моего сайта svepet.ru)

У многих блогеров имеются зеркала сайтов и блогов. Параметр Host указывает поисковикам на главный домен ресурса.

Параметр Sitemap указывает на карту сайта.

Когда все аккуратно и правильно прописали прописали, сохраняем файл с именем  robots.txt

Название прописываем строчными буквами.

Месторасположение файла robots.txt

Заходим в панель управления хостингом:

Файловый менеджер

1. Находим папку ФАЙЛОВЫЙ МЕНЕДЖЕР

2. Открываем корневую паку publik_html

3. Закачиваем в него наш файл robots.txt

Ну вот, файл robots.txt готов и установлен в нужное место. Теперь роботы-поисковики с огромной радостью будут заходить на сайт и доставлять радость в виде проиндексированных статей!

также по этой теме: