Главная страница Hi-tech Для чего нужен файл Robots. txt

Для чего нужен файл Robots. txt

11.03.2019

Robots. txt – это специальный файл указывающий поисковому роботу на открытие страниц (записей) для индексации в поисковой системе, или наоборот о запрещении их индексировать. Большинство CMS уже содержат данный файл, который изменяется с помощью административной панели. Однако если Вы начинаете конструировать свой сайт с нуля, ниже приведена инструкция:

1. Создаётся файл robots с расширением. txt и в него записываются теги для поискового робота:

User-agent: робот (например Googlebot или Yandex) – указывает о допуске определённого робота Disallow: URL-адреса, которые необходимо блокировать – блокирует указанные урл-ссылки Allow: URL-адреса, на которые необходимо обращать внимание -указывает роботу те урл-ссылки, которые обязательно необходимо проиндексировать.

Или проще:

User-agent: * Disallow: /images/

На этом примере звёздочка значит, что индексация разрешена для всех поисковиков, запрещена индексация директории /images/

Для того чтобы научиться работать с файлом вам не нужно специальных знаний, достаточно всего-лишь открыть ваш блокнот, вставить соответствующий шаблон:

1. блокировать весь сайт – косая черта. Disallow: / 2. блокировать каталог и все содержание – после названия каталога косая черта. Disallow: /junkI-directory/ 3. блокировать страницу – укажите эту страницу. Disallow: /privatTe_file. html 4. удалить конкретное изображение из поиска картинок Google – добавьте следующую строку: User-agent: Googlebot-Image Disallow: /kartinki/sobakA. jpg 5. удалить все изображения с вашего сайта из поиска картинок Google – введите такую запись: User-agent: Googlebot-Image Disallow: / 6. заблокировать все файлы определенного типа (например, . gif) – используйте такую запись: User-agent: Googlebot Disallow: /*. gif$ Далее сохраняете файл как Robots. txt и закачиваете на корневую директорию вашего сайта.

Если вы не собираетесь делать ограничения, то данный файл необходимо оставить пустым.

Теги:

Комментарии

Добавить комментарий

:
:
:

Еще в рубрике «Hi-tech»

Twitter- конкурент канала YouTube Как проверить уникальность картинки Работа на компьютере. Правильная организация Промышленные 3G/GSM-модемы и 3G/GSM-роутеры по лучшим ценам За ремонтом смартфонов Meizu в Одессе обращайтесь в сервисный центр ИТСА Где купить широкоформатный принтер во Владивостоке Финалисты Олимпиады НТИ в ДВФУ создадут подводных роботов, приложения с дополненной реальностью и систему, не дающую водителю уснуть за рулем АОН не пользуется большой популярностью Какое будет образование будущего и почему к нему стоит готовиться сейчас Преимущества экономических игр онлайн с выводом реальных денег и их мониторинг на сайте «Экономические игры» Робототехники ДВФУ победили на международном чемпионате в Сингапуре Впервые проведена операция с применением экзоскелета, разработанного при участии Лаборатории робототехники Сбербанка Яндекс купил сервис вопросов и ответов TheQuestion Как выбрать компьютер
НАВИГАЦИЯ
ВАШЕ МНЕНИЕ

Как вы считаете, что будут делать российские власти?

1. Позеленеют от злости и беспомощности.
2. Для наших властей главное — не результат, а процесс рапила бюджета. В этом их никто и ничто не остановит!
3. Наши власти возьмут бесплатный интернет у Маска и станут продавать населению.
4. Не нужен нам никакой Маск, будем пользоваться суверенным чебурнетом и заборами.
5. Российские власти захотят сбить все спутники Маска, но пока Рогозин командует Роскосмосом, нам опасаться нечего.
 

Всего проголосовало
32 человека
Прошлые опросы

Наши проекты

Издательский Дом "Водолей" - купить книгу или заказать издание своей

Суды и выборы - информационный сайт о выборах в Приморье с 1991 года