Звоните
Пишите
Общайтесь

Статьи

31 мая 2011
Эволюция поисковых алгоритмов Яндекса (часть 1)

Введение

Яндекс на данный момент самая популярная поисковая система Рунета. По данным статистики LiveInternet доля Яндекса в разрезе всей российской аудитории составляет 53,4%, а если рассматривать только Москву и область, то еще выше – 67,9%.

Немудрено, что большинство компаний предлагают продвижение именно в этой поисковой системе. Наша компания – не исключение.

Лично я занимаюсь продвижением в Яндексе уже около 5 лет и за это время усвоил множество тонкостей в работе данного поисковика. В свое время даже удалось поработать над прототипом небольшой поисковой системы, сделанной по образу и подобию Яндекса.

Нам кажется, что клиенты тоже должны иметь определенное представление о том, как функционирует Яндекс и в частности – особенности работы алгоритма ранжирования данной поисковой системы.

Если Вам интересно знать:

  • как устроен Яндекс,
  • почему продвижение некоторых запросов стоит так дорого,
  • почему в Подмосковье выдача Яндекса отличается от Московской,
  • почему некоторые запросы не растут и требуется пересмотр семантического ядра,

то читайте нашу статью!

1. Яндекс как поисковая система

Прежде чем пускаться в алгоритмические дебри, давайте вспомним, как вообще устроена поисковая система.
Логическую структуру поисковой системы можно представить в виде трех модулей:

alg1

1. Робот (краулер, crawler) – специальная программа, которая обходит интернет-сайты и загружает их содержимое. У робота есть специальное расписание, согласно которому он осуществляет свой обход.

2. Страницы сайта, загруженные роботом, специальным образом обрабатываются и помещаются на хранение в базу данных. Может быть, вас удивит этот факт, но на данный момент Яндекс хранит содержимое более чем 8 миллиардов страниц в своей базе! Это гигантские объемы информации и для их хранения используются специальные сервера.

3. Самая важная часть поисковой системы – клиентская, которая отвечает за обработку запросов пользователей и выдачу им результатов поиска. Ежедневно Яндекс обрабатывает более 50 млн пользовательских запросов! Для того чтобы выдавать на каждый запрос пользователя релевантные результаты, Яндекс ищет в своей базе все документы, отвечающие на запрос пользователя и выдает те, которые лучше всего отвечают на запрос. При этом в выдаче поисковой системы все сайты отсортированы по убыванию их релевантности запросу пользователю.

Качество работы поисковой системы определятся ее умением находить наилучшие ответы на запросы пользователей. Тут мы и приходим к такому понятию как алгоритм ранжирования. Алгоритм ранжирования – это система математических формул для оценки определенных факторов, на базе которой поисковая система присваивают сайту (странице) определенный рейтинг. В качестве факторов выступают различные показатели, характеризующие документ: наличие слов из запроса, наличие ссылок на документ, авторитетность сайта и др. На данный момент в Яндексе используется алгоритм ранжирования, который учитывает около 250 различных факторов.

Итак, представим упрощенно, что происходит в Яндексе, когда пользователь задает запрос, например, «пластиковые окна».

1. Запрос обрабатывается синтаксическим анализатором, приводится к начальной форме.

2. Далее по базе ищутся все документы, содержащие слова «пластиковый» и «окно». Естественно, Яндекс не производит прямой поиск информации по всем 5 млрд. документов в базе. Вся информация содержится в виде т.н. «обратного индекса» (см. рисунок ниже), т.е. для каждого слова указаны порядковые номера документов, где содержится это слово и позиции данного слова в документе.

3. После этого определяется релевантность каждого документа запросу, т.е. для всех 12 млн. документов, которые содержат слова «пластиковый» и «окно» считается значение релевантности.

4. Далее документы ранжируются по убыванию релевантности и формируется выдача.

На рисунке ниже представлена самая простая схема устройства обратного индекса. Естественно, в поисковых системах используются дополнительно различные методы оптимизации данной структуру, но я думаю, основной принцип понятен.

alg2

Аналогом обратного индекса является, например, алфавитный указатель в книге, где указано, на какой странице встречается тот или иной термин и вы можете с легкостью найти информацию, не пролистывая всю книгу.

Как мы видим – алгоритм ранжирования – это одна из основных частей поисковой системы. Давайте теперь посмотрим, какие изменения претерпевал алгоритм Яндекса, и более подробно остановимся на последней версии алгоритма и особенностях продвижения в Яндексе в настоящее время.

Продолжение статьи читайте на следующей неделе!

——————————

Рузанов Дмитрий

Генеральный директор