Введение

Создание нескольких сайтов для одной компании с целью привлечения как можно большей аудитории на свои сайты – и как следствие клиентов в компанию – явление в Рунете не новое. Также как и противодействие этому со стороны поисковых систем.

Фильтровать сайты за аффилированность, т.е. принадлежность к одной организации, начали уже достаточно давно. Изначально  сайты-аффилиаты не принимались в сервис контекстной рекламы Яндекс.Директ и сервис Яндекс.Маркет. Затем уже и основной поиск Яндекса перестал жаловать такие сайты, оставляя в выдаче только один, самый релевантный сайт из группы.

В целом политика поисковой системы в отношении сайтов-аффилиатов понятна – наличие в выдаче сайтов, представляющих одну и ту же компанию и одинаковый ассортимент товаров и услуг,  ухудшает качество поиска.

Что же такое – «аффилированность», каково отношение поисковых систем к сайтам-аффилиатам, какие факторы срабатывают при наложении фильтра и можно ли избавиться от фильтра?.. Попробуем разобраться…

1. Теоретическое определение

Для начала обратимся к самой популярной интернет-энциклопедии – Wikipedia – и посмотрим, какое определение дается для термина «аффилиат»:

Аффилированный ресурс – это сайт, не дающий пользователю принципиально новой полезной информации по отношению к другому сайту того же собственника или той же направленности (к примеру, второй сайт одной и той же фирмы, хотя и не являющийся зеркалом первого).

Из этого определения становится понятным, что аффилиаты – это не просто сайты одного и того же владельца. Есть ряд признаков, по которым можно заключить, что сайты являются аффилированными:

• Сайты представляют в интернете одну и ту же организацию/компанию.

• Информация на сайтах посвящена одинаковым/схожим товарам и услугам, оказываемых фирмой.

• Как следствие – сайты не несут по сравнению друг с другом никакой дополнительной пользы посетителям.

Именно отсутствие новой полезной информации на сайтах-аффилиатах является самым важным фактором при принятии решения об аффилированности.

Официальная позиция поисковых систем, и в частности, Яндекса достаточно проста: «Сайты-аффилиаты не должны одновременно присутствовать в выдаче, так как это ведет к ее монополизации со стороны одной кампании и ухудшению качества поиска».

2. История фильтра

a. Фильтр в Яндекс.Директе

Первыми про аффилированность узнали пользователи Яндекс.Директа. В правилах Показа Рекламных объявлений на Рекламных местах (http://direct.yandex.ru/help-easy/?id=1111770) говорится следующее:

При размещении рекламы в системе Яндекс.Директ Яндекс вправе по своему усмотрению признавать рекламные объявления сходными. Сходными признаются рекламные объявления (одного и того же или разных рекламодателей), которые …содержат ссылки на один и тот же или сходные сайты и/или совпадение указанных и/или фактических контактных реквизитов рекламодателей (поставщиков товаров).

При этом сайты признаются сходными при совпадении значительной части ассортимента предлагаемых на сайтах товаров (работ, услуг), реализуемых в одном регионе, и/или наличии других признаков, позволяющих предположить, что предлагаются одни и те же товары одним и тем же (аффилированными, имеющими тесную взаимосвязь) поставщиком, вне зависимости от незначительного различия ассортимента, разного дизайна, структурной организации сайтов, отличия цен, а также от принадлежности (администрирования) сайтов разным(-и) лицам(-и).

В итоге, из группы объявлений, рекламирующих «схожие сайты», показывается только одно, произведение кликабельности которого на ставку является наилучшим. Решение об аффилированности принимает модератор службы Яндекс.Директ при запуске новой кампании. Скорее всего, простые случаи аффилированности распознаются автоматически.

b. Фильтр в Яндекс.Маркете

В сервисе Яндекс.Маркет действуют схожие правила для сайтов-аффилиатов:

Интернет-магазины (сайты, на которые ведет Ссылка, включенная в товарные предложения, признанные дублирующимися) могут быть признаны сходными вне зависимости от различия ассортимента, дизайна, цен, структурной организации и принадлежности сайтов разным лицам.

Пересекающимся ассортиментом признаются товарные предложения сходных интернет-магазинов, относящиеся к одному и тому же товару, включая как идентичные по описанию товарные предложения, так и имеющие отличия по отдельным характеристикам (модификациям) одного и того же товара.

В итоге на Маркете показывается только одно предложение из группы аффилированных интернет-магазинов.

Как мы видим, формулировка определения достаточно размыта и  трактовка фактов в каждом случае, как и решение о наложении фильтра, остается за модератором Яндекс.Маркета.

c. Появление фильтра в основной выдаче

Доподлинно неизвестно, когда фильтр за аффилированность начал использоваться для «чистки» основной выдачи. Первые признаки фильтра были обнаружены в 2007 году, однако широкой огласки данная тема не получила. Но вот обострение влияния фильтра было сразу замечено оптимизаторами в марте 2008 года.

Как это часто бывает у Яндекса, первые результаты автоматической фильтрации были не всегда адекватны. В частности аффилиатами порой признавались сайты совершенно разных компаний. Однако поддерживая обратную связь с оптимизаторами, которые указывали на ошибки, аналитики Яндекса подкорректировали алгоритм.

3. Факторы, которые влияют на наложение фильтра

Фильтр за аффилированность накладывается как в автоматическом режиме, так и ручном. Логично предположить, что большинство сайтов, признанных аффилиатами, были признаны таковыми в автоматическом режиме.

Скорее всего, принцип создания алгоритма, определяющего факт аффилированности, соответствует принципам машинного обучения и примерно представляет собой следующее:

· Есть некая обучающая выборка, составленная экспертами, в которой присутствует информация о том, какие сайты признаны аффилированными. Решение об аффилированности эксперт принимает, руководствуясь информацией, которая представлена на сайтах, а также косвенной информацией о фирмах и ее представителях.

· Далее для каждого сайта из группы собирается максимально возможный набор данных, например:

• Информация об обладателе домена

• Контактная информация и наименование организации, которой принадлежит сайт.

• Текстовое содержимое сайтов.

• Ссылочное окружение, взаимные ссылки.

· После сбора данных автоматически строится алгоритм, который должен связать данные о сайте и факт того, что сайт является аффилиатом.  При этом задача алгоритма не только верно диагностировать случаи аффилированности, но и свести к минимуму случаи ошибочного наложения фильтра.

В принципе, можно не погрешить против истины, сказав, что очень многие из показателей, характеризующих группу сайтов, могут повлиять на решение признания их аффилиатами. Из наиболее явных:

• Совпадающие данные в whois о владельце домена

• Одинаковый ip-адрес сервера, на котором расположен сайт

• Совпадающие контактные данные

• Совпадающее текстовое содержимое

• Пересекающийся ассортимент товаров и услуг

• Схожий дизайн

• Взаимные ссылки

• Внешние ссылки с других источников

4. Как определить факт наличия фильтра

Несколько месяцев назад определить, является ли группа сайтов аффилиатами, было достаточно просто. Для этого нужно был лишь задать Яндексу запрос вида host:domain1.ru | host:domain2.ru и если в выдаче присутствовал только один сайт из двух, то группу можно было признать аффилированной.

Однако теперь в выдаче по запросам с оператором host результаты не группируются, и мы видим все страницы с данных сайтов и установить факт наличия фильтра таким способом теперь невозможно.  Например, для аффилированных сайтов turkey-obnovlenie.ru и host:obnovlenie.ru, мы видим следующее:

Однозначно получить ответ о том, являются ли сайты аффилиатами, можно при помощи сервиса Яндекс.XML – http://xml.yandex.ru/test_query.xml с помощью запроса вида:

<?xml version=”1.0″ encoding=”UTF-8″?>

<request>

<query>host:turkey-obnovlenie.ru | host:obnovlenie.ru</query>

<groupings>

<groupby attr=”d” mode=”deep” groups-on-page=”10″ docs-in-group=”1″ />

</groupings>

</request>

Где в <query>…</query> мы указываем адреса сайтов для проверки и оператор host.

Группировка «в глубину» (<groupby attr=”d” mode=”deep“) позволяет нам видеть в выдаче только одну релевантную страницу с каждого сайта и, таким образом, мы сразу видим, являются ли сайты аффилиатами или нет.

В нашем примере будет найдена только одна страница -

<url>http://obnovlenie.ru/card/</url>

что говорит о наличии фильтра.

Но на самом деле все эти проверки имеют смысл, когда вам уже известны адреса сайтов, являющихся потенциальными аффилиатами. А что делать, если приходит на продвижение новый сайт и мы не знаем, а есть ли у него аффилиаты?

1. Воспользоваться сервисом http://tools.promosite.ru/use/clones.php Точность работы сервиса на данный момент предельно высока, однако не для всех сайтов есть данные об их аффилированности.

2. Попробовать провести комплексный анализ с целью поиска аффилиатов:

a. Предварительно проанализировать ссылочное окружение сайта и позиции по запросам. Если мы замечаем, что есть запросы, по которым сайт релевантен, но отсутствует в выдаче, то вероятно, что причина отсутствия – наличие в выдаче аффилиата, не «пускающего» анализируемый сайт в выдачу

b. Далее можно осуществить поиск сайтов с данными whois, совпадающими с анализируемым сайтом и, если таковые будут найдены – посмотреть их. Также полезно поискать по запросам, связанным с наименованием компании, и проанализировать, на какой сайт ссылаются при упоминании наименования фирмы.

3. Но гораздо проще узнать у клиента, есть ли у него сайты-аффилиаты и далее прописать в договоре пункт, снимающий обязательства с оптимизатора в случае обнаружения в ходе продвижения аффилированных сайтов.

Осуществив все три вида анализа мы максимально обезопасим себя от неприятностей, связанных с наличием у клиентского сайта аффилиатов.

В качестве заключения – что делать, чтобы не попасться и можно ли выйти из-под фильтра

Итак, что делать, если:

1. Вы хотите заведомо создать несколько сайтов для вашей организации. Делаем сайты таким образом, чтобы не было ни одного фактора с одинаковым значением: используем разные хостинги, разные CMS, указываем различные контактные данные и т.п. При этом у постороннего человека, будь то конкурент или сотрудник Яндекса, не будет никаких формальных признаков для того, чтобы признать сайты аффилиатами.
2. У вас уже есть несколько сайтов-аффилиатов, но пока фильтр не наложен на них. В данном случае все достаточно просто: изменяем всю схожую информацию на сайтах. Убираем все взаимные ссылки, меняем контактные данные и т.д. К сожалению, с внешним ссылочным окружением ничего сделать не получится, так же как и не получиться спрятать данные whois, если они когда-то были «засвечены». При этом изменять информацию на сайтах нужно полностью – полумеры не помогут, так как всегда есть высокая вероятность, что конкурент «нажалуется» в службу поддержки Яндекса и последующий ручной контроль ваша группа аффилированных сайтов не пройдет.

Также в этом случае, естественно, надо быть осторожным при использовании сервисов Директ и Маркет и лишний раз в них не светиться.

1. У вас уже есть несколько сайтов, признанных Яндексом аффилиатами. Автоматически фильтр с сайтов не снимут, и без толку закрывать все взаимные ссылки в <nofollow>, менять контактные данные и разносить сайт по разным серверам. Снятие фильтра в большинстве случаев возможно только в случае обращения в службу поддержки Яндекса,  да и то – просто так фильтр не снимут, может быть, вы схитрили и выложили во время жалобы на сайт абсолютно другую информацию, чтобы потом вернуть содержимое своего аффилиата.

В целом – создание и активное продвижение сайтов-аффилиатов в Яндексе, особенно в свете последних событий с увеличением контроля за SEO-ссылками, – это игра с огнем. Будет больнее обжечься, получив фильтр, нежели реально извлечь пользу от нескольких группы аффилиатов.

Лучше создать один сайт, максимально полно представляющий фирму и заниматься его всесторонним развитием, нежели делить свое время и деньги между несколькими аффилиатами.

компания i-Vi