Как поисковые системы находят Ваш контент

Написал Буржунет Фев 26, 2010 в рубрике СЕО |

Прежде чем Вы начнете беспокоится непосредственно о ранжировании сайта Вам не обходимо, чтобы поисковик его проиндексировал. И конечно же, для того, чтобы это сделать, поисковику необходимо сперва найти Ваш контент. На языке извлечения информации, соответственно, это известно, как «обнаружение». Оно включает несколько понятий, таких как «сбор данных», «обнаружение данных», и т.д. Независимо от используемой терминологии, мне кажется, что будет интересно вернуться к основам и посмотреть как над этим работали поисковые системы.

Прямо сейчас, хотелось бы упомянуть, что эта статья основывается на огромном количестве патентов и бумаг. В этой статье речь пойдет не только о Google, здесь  показаны скорее общие методы. Методы, описанные в этой статье, применяются всеми тремя основными поисковыми системами. Также необходимо отметить, что от обнаружения далеко до ранжирования и трафика с рефереров. Чтобы сделать контент более доступным для поисковых систем, очень важно понимать многоликость обнаружения.

М”кэй, давайте начнём?

Традиционное обнаружение

Для начала, давайте рассмотрим несколько методов, о которых мы все знаем. Это методы «старой школы» которые помогают поисковым системам обнаружить контент:

Отправка страниц – В первую очередь необходимо отметить самый старый метод – отправка страниц через форму поисковой системы. Печально, что в 2010г. все еще существуют так называемые «SEO-компании», которые пытаются продать этот сервис. Хотелось бы отметить, что я НИКОГДА не пользовался этим методом (Более подробно об этом Вы сможете прочитать в разделе «Несколько слов об индексации» в этой статье).

Ссылки с веб-страниц – Это самый традиционный метод, который многие из нас знают. Поисковые системы находят ссылку, и переходят к контенту по этой ссылке. Вот почему ссылки важны не только для ранжирования, но и для индексации страниц. Все основные поисковые системы используют этот метод для обнаружения, и этот метод является самым распространенным.

Карта сайта (и её отправка) – одним из главных достижений последних лет является добавление карт сайтов (XML) и сервисов отправки карты через форму для поисковых систем. Это очень удобный метод. Иногда поисковым системам не приходится посещать эти сайты снова и снова. Этот метод скорее является дополнительным для получения найденных страниц, поэтому не стоит полагаться исключительно на него.

Новые способы обнаружения

Сейчас мы рассмотрим несколько новинок в области поискового обнаружения.

RSS и Atom – попутно поисковые системы поняли, что не так легко найти страницы без ссылок, и что для некоторых запросов необходимы более свежие результаты. Как можно с этим справиться? Они начали с индексации RSS-агрегаторов, таких как Google Reader (в случае с Google). Я бы также обратил внимание на PubSudHubub.

«Социальные» методы – с технической точки зрения речь идёт о тех же ссылках. Поисковые системы все больше и больше используют «социальный поиск/поиск в режиме реального времени» и это повышает потенциал обнаружения. Это новый  пример использования традиционной модели контекстных или форумных ссылок (social 1.0).

Ориентация на приложения.

И, наконец, что не менее важно, главная причина написания этой статьи – ориентация на приложения. Вы спросите, что это за странный термин?  Все очень просто – это означает, что приложения выходят за пределы всемирной паутины. Существует множество способов обнаружения контента,  помимо упомянутых выше. Некоторые из этих элементов могут включать:

  1. Email
  2. Программа мгновенного обмена сообщениями
  3. Приложения для обработки текста
  4. Мобильные телефоны
  5. Google Desktop
  6. Google Wave
  7. Любое приложение Microsoft

Понимаете о чем мы? Поисковые системы выходят за пределы традиционных методов, о которых мы уже говорили в первой части статьи, и находят ссылки среди огромного количества приложений.

Это уже сделано?  Проблема никогда не заключалась в доступности методов, она заключалась в их реализации. Вы заметили, что мы сказали «заключалась»? Это связано с тем, что благодаря спектру новых технологий (самой последней из которых был Caffeine Update), эти методы можно внедрять еще глубже. То, что раньше было бесполезным, теперь может приносить плоды.

Используются ли эти новые методы? Пока неизвестно, потому что их еще недостаточно проверили. Но можно с уверенность сказать, согласно многим патентам  интерес ко всем приложениям возрос за последние несколько лет, и этот  метод стоит рассмотреть.

Несколько слов об индексации

Прежде, чем мы продолжим, важно отметить, что между индексацией и обнаружением существует огромная разница. Помните о тех, кто берёт деньги за отправку страниц через форму в поисковую систему? НИКОГДА не платите, поскольку (в большинстве случаев) для индексации необходима передача PageRank (ссылочного веса) в той или иной форме на соответствующую страницу. Это могут быть внешние или внутренние ссылки – то, что мы обычно видим на авторитетных сайтах.

Поисковые системы решают, будут ли они индексировать и ранжировать контент, опираясь на различные факторы, начиная с ссылочного веса и заканчивая авторитетностью и временной важностью запроса (например, запросы о недавних событиях). От обнаружения до непосредственного ранжирования и привлечения целевого трафика – долгий путь.

Главное в нашем случае – понимание одного из первых шагов на пути к достижению конечной цели SEO: ранжирование и целевой трафик.

Автор: David Harry

Источник: Search Engine Journal

Метки: , , , ,




  • http://moi-doxod.ucoz.ru/ xanuka

    В связи с этими нововведениями стало действительно сложно продвинуть сайт в ТОП.
    Но я только рад сложившейся ситуации. Ведь несмотря на эти трудности в итоге пользователи интернета в итоге получат качественную информацию, а не просто увидят те сайты, которые вложили больше денег в свой проект. На 1 месте все же должно стоять качество контента.

  • http://denegdoma.net svanchez

    Согласен с xanuka!
    Но всё же отлично помогают проиндексировать свой сайт ссылки с других сайтов, а также карта сайта.
    В целом, спасибо автору за статью.
    Очень познавательная :)

© 2009 Валентин Домбровский