Что такое robots.txt (профи не читать)

О том, что такое robots.txt, написано немало. Пишут, в основном, профессионалы, что не всегда понятно для чайников. Я тоже чайник в сайтостроении, но этот этап прошла, и у меня уже есть сайт, которым могу гордиться. И на нем стоит правильный (для меня) файл robots.txt. Как я его создала? Читайте далее.

Что такое robots.txt для чайников и чайниц (дилетантам от продвинутого дилетанта)

Файл robots.txt обитает в корневой директории файлов сайта.

Файл robots.txt- это ворота для роботов поисковых систем. Главные – Яша и Гоша, они же Яндекс и Гугл, они же yandex и google.

У каждой поисковой системы свои роботы, которые ходят-бродят по интернету и заходят во все сайты. Но первым делом они ищут свои ворота – куда им войти.

А ворота – вот они – файл robots.txt. Заходите, пожалуйста, милости просим, вот только сюда и сюда, а туда и туда – ни-ни!!! Так прописано в файле robots.txt. И скромные роботы идут туда, куда их посылают, и не заходят туда, куда им нельзя.

И если ваш сайт не индексируется, или плохо индексируется поисковиками, значит, не все в порядке в robots.txt.

  • Роботы приходят, стучатся, а им не открывают.
  • А может быть и такое: роботы приходят – а все нараспашку. И они начинают индексировать все подряд – что надо, и что не надо.

А все почему? Потому что не все ОК с вашим файлом robots.txt .

Пиратский проверенный метод создания robots.txt

Какой файл robots.txt нужен именно вам, вернее – вашему сайту, знать должны только вы. А для этого вам надо учиться, учиться, учиться, как завещали нам Великие! А если учиться на своих ошибках некогда! И хочется всего, побольше и сейчас. Хотеть не вредно! Зачем изобретать начинающему чайнику свой велосипед, когда все уже сидят на Мерседесах!

А если вы в этом деле, мягко выражаясь, Митрофанушка, то учитесь у конкурентов. Они уже наломали дров и выработали свою успешную тактику.

Вы в школе списывали у отличников? Если да, то вам будет легко и составить для себя файл robots.txt . Ну не совсем составить, а списать.

А для этого:

1. Выбираем сайт, на который будем равняться (успешный, посещаемый, индексируемый, с высокими показателями ТIC и PR.

2. Воруем их robots.txt и ставим себе, не забывая поменять Host на свой.

3. Загружаем новый robots.txt в корень своего сайта.

4. Пожинаем плоды успеха! Пусть этот robots.txt работает, пока вы учитесь, учитесь и учитесь. Учитесь у Яндекса, он плохому не научит http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Создание robots.txt – шаг за шагом

  1. Файл robots.txt – это текстовый файл, записанный в программке под названием Блокнот. У каждого владельца ПК ее надо искать в Пуск-все программы – стандартные.
  2. Находим, открываем, создаем новый файл, называем его robots.txt.
  3. В поле ввода текста вводим скопированный текст от конкурентов.
  4. В директиву Host вписываем свой домен.

Как найти и скопировать robots.txt конкурентов?

1. Заходим на http://webmaster.yandex.ua/robots.xml

2. В поле Имя хоста вводим адрес сайта, который нас интересует. Жмем - Загрузить....

3. В открывшемся поле Robots.txt видим нужный нам роботс.

4. Копируем, вставляем в свой чистый файл блокнота,.

5. Вместо чужих урлов вводим свои.

6. Сохраняем.

7. Заливаем в корень сайта. Ворота для роботов созданы.

Вуаля!

 

Метки записи:   ,
Оставьте комментарий к этой записи ↓

Войти, чтобы оставить комментарий