Универсальный
Рекламный
Сервис
ВЫБЕРИТЕ ПОДХОДЯЩИЙ ПЛАН ОБМЕНА ССЫЛКАМИ
1x31x51x71x101x121x151x201x251x301x351x401x451x501x751x1001x1501x2001x2501x300
Добавить ссылкуСЕРВИС ВИТРИН ССЫЛОК И БАННЕРОВ ДЛЯ ЗАРАБОТКА!
1611
Добавить ссылкуУспешно Замуж! Счастье!
967
Добавить ссылкуЗаймы и Кредиты
989
Добавить ссылкуТУТ ЗАРАБАТЫВАЮТ ВСЕ ОТ 5000 РУБЛЕЙ В ДЕНЬ!
1015
Добавить ссылку1000 баксов в управление! После регистрации!
7103
Добавить ссылку
Меню
Главная страница
Заказ WebMoney Заказ рекламы WebMoney
Динамические ссылки (11)
Каталог ссылок
Новости
Правила (Важно!)
Чат
Наши виджеты
Наши баннеры
Наши партнеры
Нарушители
Черный список
Обратная связь
С Т А Т И С Т И К А
 Старт проекта 27.10.2010
 Валюта сайта WMR
 Авторазмещение ДА
 Стоимость клика 0.02
 Реф. клик 1 уровня 0.01
 Реф. клик 2 уровня 0.01
 Просмотров сайтов 17487
 Обменов ссылками 2309829
 Бесплатных ссылок 1372
 Сейчас на сайте 3
 Платная реклама
Позиция ссылки
Онлайн-сервисы
Баннер 200x300
Добавить баннер   Смотреть все
Статические ссылки
Реклама
Что такое файл robots.txt




Что такое файл robots.txt


Robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов.
Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, как для всех, так и для определённых, роботов.
К файлу robots.txt предъявляются специальные требования, не выполнение которых может привести к неправильному считыванию роботом поисковой системы или вообще к неработоспособности данного файла.
 

Как создать robots.txt


Robots.txt должен создаваться в текстовом формате Unix.
Воспользуйтесь любым текстовым редактором, создайте файл с именем "robots.txt" и заполните его в соответствии с представленными ниже правилами.
Файл robots.txt должен находиться только в корневой директории сайта, только тогда он будет учитываться поисковыми системами.
robots.txt является регистрозависимым, называть файл необходимо robots.txt, Robots.txt будет уже ошибкой.
После этого необходимо загрузить файл в корневой каталог вашего сайта.
Всегда после того, как вы закачали файл robots.txt на сервер, проверяйте его. Достаточно в броузере набрать простой запрос:
http://ваш_сайт/robots.txt
 

Проверка синтаксиса


Инструмент Проверка файла robots.txt показывает, не блокирует ли ваш файл robots.txt доступ поискового робота к файлам и каталогам вашего сайта
и не разрешает ли он сканирование файлов, которые не должны появляться в Интернете.
Для проверки синтаксиса и структуры файла robots.txt существует ряд специализированных онлайн-служб.

Служба яндекса - webmaster.yandex.ua
Gogle webmasters - www.google.com

 

Содержимое файла robots.txt


Полностью пустой файл robots.txt эквивалентен его отсутствию, что предполагает разрешение на индексирование всего сайта.

User-agent: содержит название робота.
Disallow: URL-адреса, которые необходимо заблокировать.

User-agent: * - разрешение индексировать всем роботам.

Disallow: - разрешение индексировать всё содержимое сайта.
Disallow: / - запрет на индексацию всего сайта.
Disallow: /name – запрет на индексацию любых файлов и директорий, которые называются или имеют в своём названии name.
Disallow: /name/ - запрет на индексацию директории name.
Disallow: /*.gif$ - запрет на индексацию всех файлов, имеющих расширение .gif.
Disallow: /name.php – запрет на индексацию файла name.php.
Disallow: /name.php?action=print – запрет индексации переменной, например, страниц для печати.
Allow: / - всё наоборот (разрешается индексировать), синтаксис такой же, как и с Disallow

Примеры

Разрешает доступ всех роботов ко всему сайту:

User-agent: *
Disallow:

Запрет доступа всех роботов ко всему сайту:

User-agent: *
Disallow: /

Запрещает роботу Roverdog индексировать все файлы сервера:

User-agent: Roverdog
Disallow: /

Запрещает роботу googlebot индексировать файл cheese.htm:

User-agent: googlebot
Disallow: cheese.htm

Чтобы сообщить поисковым системам местоположение файла Sitemap, можно в robots.txt добавить строку вида:
Sitemap: http://ваш_сайт/sitemap.xml

Ротатор баннеров 468x60


Баннеров в ротаторе: 3   Смотреть все   Добавить баннер
 

 
Ротатор баннеров 88x31

 
 
Баннеров в ротаторе: 1   Смотреть все   Добавить баннер
 
Партнерская реклама


Баннер 100х100
Добавить баннер   Смотреть все
Меню пользователя
   
Регистрация   Забыли пароль
Новости сайта

  25.02.2012 - Добавлена "Жалоба на сайт" в режим обмена ссылками. Если просматриваемая страница перебивает фрейм, нажмите в своем браузере кнопку "Назад" и подайте жалобу....

  22.01.2012 - Идет обновление скрипта....

  06.03.2011 - Установлена проверка разрушения таймера при заказе рекламы....
Реклама
Карта посещений
Аттестат и контакты
WMID: 309688839848
WMR: R128368748333
E-mail: reklboard@mail.ru
ICQ: 35558515
  BL:Бизнес уровень [BL]