Как загнать сайт под фильтр без ПФ и ссылочного. Конкуренция в сложных нишах и методы защиты - Петренко Дмитрий, BDD 2018


The Presentation inside:

Slide 0

Как загнать сайт под фильтр без ПФ и ссылочного. Конкуренция в сложных нишах и методы защиты Петренко Дмитрий Head of SEO edu-cash.com


Slide 1

Как мы нашли возможный способ загнать даже самый трастовый сайт под фильтр Расскажу про то


Slide 2

Предупрежден – значит вооружен Цель, которую я преследую:


Slide 3

Мой доклад – это история


Slide 4

Нашей задачей был трафик


Slide 5

Трафик который мы использовали всегда: - SEO (Продуктовые сайты, Сателлиты, узконишевые сайты) - PPC (Adwords, Bing, Facebook и тд) - сайты Review - и тд


Slide 6

Примерно 15% всех поисковых запросов – Google видит в первые Более 400 000 000 000 ключевых слов за 2017 год Google считает новыми Т.е. это чуть больше 1 000 000 000 в день https://searchengineland.com/google-reaffirms-15-searches-new-never-searched-273786


Slide 7

Сетка сайтов + НЧ запросы = много трафика


Slide 8

В сетках под НЧ запросы основная проблема – это контент


Slide 9

Часто задаваемый вопрос – это семантика. Где брали, как формировали и тд.


Slide 10


Slide 11


Slide 12

Типы Ключевых слов в essay По типам и видам работ. Основные типы работ, например, Essay, paper, report, coursework, case study, dissertation etc. Общие запросы. Например, «buy essay», «Do my homework», «Custom writing services», «Who can write essay for me» и др. Subjects. Бoльшая часть предметов собрана тут, например, Literature, Technology, Biology, Geography, Physics etc. Темы работы. «Shakespeare essay», «World war essays» etc.


Slide 13

Этапы создания сетки, которые мы проходили: Создание шаблона генерации внутренней структуры Генерация разделов Проектирование размещения внутренних ссылок Генерация контента … и самое интересно – СЛИВ ТРАФИКА


Slide 14

Основные типы слива трафика Классика – после достижения топа поставить 301 Клоака – 301 все, кроме GoogleBot Баннерка – любой клик по экрану = переход на лендинг POP-UP – не дает других вариантов, кроме как переход на другой сайт Кнопка – (типа Order) и др


Slide 15

Но мы решили делать слив через <iframe>


Slide 16

Это позволило бы нам: Получить максимум трафика на целевой ленд Не отпугивать народ ужасным дизайном дора Повысить вероятность конвертации трафика Минимизировать потери трафика, после попадания на ордер форму, которая была на продающем сайте.


Slide 17

Трафик с доров начал расти и превращаться в конверсии


Slide 18

3 января, без объявления войны, в 10:56, наш сайт уходит в бан!


Slide 19

Рассматривались в первую очередь такие варианты как: Жалобы конкурентов в гугл DMCA Некачественное Ссылочное, которое могли привести к нам конкуренты Подклейка зеркала с фильтром


Slide 20

Лишь на следующий день, мы получили «письмо счастья» от гугла с очень подозрительным содержанием.


Slide 21

Но, на нашем сайте весь контент: Написан руками Контент ТОЧНО не менялся на протяжении достаточно длительного времени Мы не использовали генерированный контент на нашем сайте Наш контент не был скопирован с других сайтов ВСЕ чеккеры уникальности контента указывали на то, что практически все страницы имели 100% уникальность, а те что имели ниже – были незначительные пересечения Любые другие неугодные признаки приобретали частицу «не»


Slide 22

Так что же все таки произошло?


Slide 23

Когда закончились все возможные варианты Мы случайно вспомнили о нашей сетке со сливом через <iframe>


Slide 24

Это было настолько невероятно, что мы отказывались в это верить. Потому что: В выдаче контент сайта был уникальным, даже при вводе куска фразы в ковычках (т.е. ДОРЫ НЕ ПАЛИЛИСЬ) На доре <iframe> лежал в JS JS был закрыт от бота через клоаку (отдельный обходчик стоял, который проверял бот это или нет по ряду параметров)


Slide 25

Другими словами – это было НЕВОЗМОЖНО… кроме – кроме варианта если: GoogleBot действительно научился читать js GoogleBot действительно относится к указаниям Robots.txt как к рекомендательным, а не обязательным


Slide 26

И действительно, ведь мы знаем что: https://support.google.com/webmasters/answer/6062608


Slide 27

Таким образом, мы получили схему, когда: Мы сделали сетку на 250 сайтов по ~30 000 страниц каждый Каждая страница отображала в <iframe> главную страницу нашего основного домена, куда должен был сливаться трафик Пришел GoogleBot и увидел это ПРИ ЭТОМ – GoogleBot не положил в индекс содержание <iframe> , так как он стоял под запретом к индексированию. Прислал фильтр за дублирование контента Profit =)


Slide 28

Какой вывод мы можем сделать? Если бы мы НЕ ЗНАЛИ о существовании нашей сетки, мы бы даже не смогли предположить, какой именно контент был дублирован на нашем сайте, потому как в индексе дублей нашего контента НЕТ!


Slide 29

Как только мы убрали все <iframe> с нашей сетки и послали запрос на реквест – Google снял фильтр с нашего сайта.


Slide 30

Мы повторили эксперимент еще 2 раза И результат повторился! наложение санкций –> письмо счастья –> убираем <iframe> –> отправляем реквест –> выходим из под фильтра


Slide 31

Мы повторили эксперимент еще 2 раза И результат повторился!


Slide 32

И мы поняли, что у нас в руках есть нечто большее, чем мы предполагали


Slide 33

Как только я понял, что это может быть, я сразу опубликовал пост об этом на FB https://www.facebook.com/KievSEO


Slide 34

Что удивительно – в момент бана основного сайта, вся сетка сайтов продолжала быть в индексе по своим запросам и продолжала приводить трафик


Slide 35

А теперь самое интересное!


Slide 36

Механика исполнения


Slide 37

Исходный код дора, который видит бот


Slide 38

Исходный код с <iframe>


Slide 39

А теперь объясню на пальцах Происходит загрузка сайта В этот момент обходчик определяет это пришел BOT или user Если BOT – то js не загружается и <div id="preloader"> остается пустым Если это реальный юзер, то происходит обращение js и происходит загрузка <div id="preloader"> в исходном коде Далее, при загрузке <div id="preloader"> , происходит следующее «Основа js»: $( document ).ready(function() {$('#preloader').load(u)}); Вторая часть – подключается в другом месте. Т.е. после того как html загружен в <div id="preloader"> загрузить html , который указан впеременной "u" var u = "/wp-admin/{{theme_name}}/edit.php{% if query is not empty %}?query={{query}}{% endif %}";var style = "";var utm = "";var prc = "";


Slide 40

Как от этого защитится? Совет очень простой: Всеми возможными способами запретить выкачивать ваш сайт (насколько это объективно возможно) Запретить отображать ваш сайт через Iframe Отслеживать автоматом уникальность контента вашего сайта и автоматически отправлять жалобы DMCA Обращать внимание на скачки трафика (ваш сайт могут клоачить используя IP вашего сайта)


Slide 41

Как запретить отображать ваш сайт через Iframe? Запрет iframe через Javascript Запрет iframe через заголовок X-Frame-Options Подробнее о том, как это сделать тут - https://elims.org.ua/blog/zapret-prosmotra-sajta-cherez-iframe/


Slide 42

Как мы решили эту проблему и продолжаем собирать трафик?


Slide 43

Сейчас мы пошли немного дальше


Slide 44

https://www.facebook.com/KievSEO Петренко Дмитрий


×

HTML:





Ссылка: