Суббота, 2024-04-20, 4:23 PM
Новости от stopmp3.ru это всё для вас можно скачать беспл...Главная

Регистрация

Вход
Приветствую Вас Гость | RSS
Меню сайта
  • Главная страница
  • Информация о сайте
  • Статьи
  • Форум
  • Фотоальбом
  • Гостевая книга
  • Каталог файлов
  • Бесплатный каталог сайтов
  • Дневник
  • Онлайн игры
  • Тесты
  • Доска объявлений
  • Видео
  • Самые лучшие sms
  • ..::Гороскоп::..
  • ДОСТУП "PDA"
    Категории раздела
    Мои статьи [173]
    Форма входа
    Статистика
    Статы pr-cy:
    CY & PR
    LiveInternet:

    Онлайн всего: 1
    Гостей: 1
    Пользователей: 0
    Главная » Статьи » Мои статьи

    Роботы Яндекса

    Виды роботов Яндекса (www.yandex.ru)

    • Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
    • Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
    • Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
    • Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
    • Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
    • Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
    • YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса
    • YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам.
    • YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей.
    • Bond, James Bond (version 0.07) — робот, заходящий на сайты из подсети Яндекса. Официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Судя по повадкам, робот занимается проверкой сайтов на нарушения – клоакинг и пр.

    IP-адреса роботов Яндекса

    IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов не разглашается.

    Кроме роботов у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.

    • Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
    • Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
    • Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
    • Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.

    Директива Host

    Во избежания возникновения проблем с зеркалами сайта рекомендуется использовать директиву «Host». Директива «Host» указывает роботу Яндекса на главное зеркало данного сайта. С директивой «Disallow» никак не связана.

    User-agent: Yandex
    Disallow: /cgi-bin
    Host: www.site.ru

    либо

    User-agent: Yandex
    Disallow: /cgi-bin
    Host: site.ru

    в зависимости от того что для вас оптимальнее.

    Вот цитата из ЧаВо Яндекса:

    Мой сайт показывается в результатах поиска не под тем именем. Как это исправить?

    Скорее всего, ваш сайт имеет несколько зеркал, и робот выбрал как основное не то зеркало, которое хочется вам. Есть несколько решений:

    • удалите зеркала вашего сайта;
    • на всех зеркалах, кроме того, которое вы хотите выбрать основным, разместите файл robots.txt, полностью запрещающий индексацию сайта, либо выложите на зеркалах robots.txt с директивой Host;
    • разместите на главных страницах неосновных зеркал тег <meta name="robots” content="noindex, nofollow”>, запрещающий их индексацию и обход по ссылкам;
    • измените код главных страниц на неосновных зеркалах так, чтобы все (или почти все) ссылки с них вглубь сайта были абсолютными и вели на основное зеркало.

    В случае реализации одного из вышеперечисленных советов ваше основное зеркало будет автоматически изменено по мере обхода робота.

    Интересная информация об обработке директивы Host из ответов А. Садовского на вопросы оптимизаторов:

    Вопрос: Когда планируется своевременное соблюдение директивы Host: в robots.txt? Если сайт индексируется как www.site.ru, когда указано Host: site.ru уже после того, как robots.txt был размещен 1–2 недели, то при этом сайт с www и без www не склеивается более 1–2 месяца и в Яндексе существуют одновременно 2 копии частично пересекающихся сайтов (один 550 страниц, другой 150 страниц, при этом 50 страниц одинаковых). Прокомментируйте, пожалуйста, проблемы с работой «зеркальщика».
    Ответ: Расширение стандарта robots.txt, введенное Яндексом, директива Host — это не команда считать зеркалами два любых сайта, это указание, какой сайт из группы, определенных автоматически как зеркала, считать главным. Следовательно, когда сайты будут идентифицированы как зеркала, директива Host сработает.

    HTML-тег <noindex>

    Робот Яндекса поддерживает тег noindex, который запрещает роботу Яндекса индексировать заданные (служебные) участки текста. В начале служебного фрагмента ставится <noindex>, а в конце — </noindex>, и Яндекс не будет индексировать данный участок текста.

    Тег работает аналогично мета-тегу noindex, но распространяется только на контент, заключенный внутри тега в формате:

    <noindex>текст, индексирование которого нужно запретить</noindex>

    Тег noindex не чувствителен к вложенности (может находиться в любом месте html-кода страницы). При необходимости сделать код сайта валидным возможно использование тега в следующем формате:

    <!––noindex––>текст, индексирование которого нужно запретить<!––/noindex––>

    http://dafka.pp.ru/publ/generator_sitemap_karty_sajta_dlja_poiskovykh_sistem_besplatno/1-1-0-18

    Категория: Мои статьи | Добавил: admin (2011-09-24) W
    Просмотров: 471 | Теги: Роботы Яндекса | Рейтинг: 0.0/0
    Всего комментариев: 0
    Добавлять комментарии могут только зарегистрированные пользователи.
    [ Регистрация | Вход ]
    Фотки
    Друзья сайта
  • Партнеры
  • Партнеры
  • Поиск
    ПРО НАС
  • Сообщество :)
    • У нас лучший сайт потому что мы ценим наших посетителей и стараемся угодить вам прежде всего! Ведь именно благодаря вам существует сайт! Большое спасибо тем кто участвует в жизни сайта и помогает материалами и спонсирует на разные мелочи! Вы наверное спросите чем же наш сайт new лучше других? А я вам отвечу тем что он прост как в оформление так и по Низкому количеству рекламы! Мы не бомбим спамом и массовой рекламой что бы заработать на вас хотя бы цент за посещение) У нас всё просто фото альбом он и в Африке фото (Фотографий: 3706) как понимаете (масса картинок позитивных смешных ну самых разных как поняли подборка для всех), новости тут у нас несколько разделов если заметили ( игры, кино, музыка, новости, картинки, сфот ) тут так же всё просто без каких то либо скрытых реклам и прочего! В общем посещая наш сайт гарантируем хорошие настроение и много нужной и полезной информации обновляемая каждый день! Кстати посетите наш каталог статей и форум) У нас нет обязательного условия на регистрацию вас принудительно скрывая ссылки на скачки! + размер информации на нашем сайте уже превысил 986 Mb а это значит что явно и для вас найдется что- то интересное, полезное и занимательное! Да и вообще администрация пойдёт навстречу к вам если у вас будут пожелания по сайту изменить, добавить, удалить и прочее пишите на форуме сделаем всё для вас! Всем кому понравился наш сайт добавляйте нас в закладки соц. сети и блоги, на наших страницах есть кнопка (ПОДЕЛИТЬСЯ) будем вам благодарны!
    Copyright MyCorp stopmp3.ru "софт, игры, кино, фото, новости, музыка, +форум" © 2006 - 2024