Как загнать сайт под фильтр без ПФ и ссылочного. Конкуренция в сложных нишах и методы защиты - Петренко Дмитрий, BDD 2018


Презентация изнутри:

Слайд 0

Как загнать сайт под фильтр без ПФ и ссылочного. Конкуренция в сложных нишах и методы защиты Петренко Дмитрий Head of SEO edu-cash.com


Слайд 1

Как мы нашли возможный способ загнать даже самый трастовый сайт под фильтр Расскажу про то


Слайд 2

Предупрежден – значит вооружен Цель, которую я преследую:


Слайд 3

Мой доклад – это история


Слайд 4

Нашей задачей был трафик


Слайд 5

Трафик который мы использовали всегда: - SEO (Продуктовые сайты, Сателлиты, узконишевые сайты) - PPC (Adwords, Bing, Facebook и тд) - сайты Review - и тд


Слайд 6

Примерно 15% всех поисковых запросов – Google видит в первые Более 400 000 000 000 ключевых слов за 2017 год Google считает новыми Т.е. это чуть больше 1 000 000 000 в день https://searchengineland.com/google-reaffirms-15-searches-new-never-searched-273786


Слайд 7

Сетка сайтов + НЧ запросы = много трафика


Слайд 8

В сетках под НЧ запросы основная проблема – это контент


Слайд 9

Часто задаваемый вопрос – это семантика. Где брали, как формировали и тд.


Слайд 10


Слайд 11


Слайд 12

Типы Ключевых слов в essay По типам и видам работ. Основные типы работ, например, Essay, paper, report, coursework, case study, dissertation etc. Общие запросы. Например, «buy essay», «Do my homework», «Custom writing services», «Who can write essay for me» и др. Subjects. Бoльшая часть предметов собрана тут, например, Literature, Technology, Biology, Geography, Physics etc. Темы работы. «Shakespeare essay», «World war essays» etc.


Слайд 13

Этапы создания сетки, которые мы проходили: Создание шаблона генерации внутренней структуры Генерация разделов Проектирование размещения внутренних ссылок Генерация контента … и самое интересно – СЛИВ ТРАФИКА


Слайд 14

Основные типы слива трафика Классика – после достижения топа поставить 301 Клоака – 301 все, кроме GoogleBot Баннерка – любой клик по экрану = переход на лендинг POP-UP – не дает других вариантов, кроме как переход на другой сайт Кнопка – (типа Order) и др


Слайд 15

Но мы решили делать слив через <iframe>


Слайд 16

Это позволило бы нам: Получить максимум трафика на целевой ленд Не отпугивать народ ужасным дизайном дора Повысить вероятность конвертации трафика Минимизировать потери трафика, после попадания на ордер форму, которая была на продающем сайте.


Слайд 17

Трафик с доров начал расти и превращаться в конверсии


Слайд 18

3 января, без объявления войны, в 10:56, наш сайт уходит в бан!


Слайд 19

Рассматривались в первую очередь такие варианты как: Жалобы конкурентов в гугл DMCA Некачественное Ссылочное, которое могли привести к нам конкуренты Подклейка зеркала с фильтром


Слайд 20

Лишь на следующий день, мы получили «письмо счастья» от гугла с очень подозрительным содержанием.


Слайд 21

Но, на нашем сайте весь контент: Написан руками Контент ТОЧНО не менялся на протяжении достаточно длительного времени Мы не использовали генерированный контент на нашем сайте Наш контент не был скопирован с других сайтов ВСЕ чеккеры уникальности контента указывали на то, что практически все страницы имели 100% уникальность, а те что имели ниже – были незначительные пересечения Любые другие неугодные признаки приобретали частицу «не»


Слайд 22

Так что же все таки произошло?


Слайд 23

Когда закончились все возможные варианты Мы случайно вспомнили о нашей сетке со сливом через <iframe>


Слайд 24

Это было настолько невероятно, что мы отказывались в это верить. Потому что: В выдаче контент сайта был уникальным, даже при вводе куска фразы в ковычках (т.е. ДОРЫ НЕ ПАЛИЛИСЬ) На доре <iframe> лежал в JS JS был закрыт от бота через клоаку (отдельный обходчик стоял, который проверял бот это или нет по ряду параметров)


Слайд 25

Другими словами – это было НЕВОЗМОЖНО… кроме – кроме варианта если: GoogleBot действительно научился читать js GoogleBot действительно относится к указаниям Robots.txt как к рекомендательным, а не обязательным


Слайд 26

И действительно, ведь мы знаем что: https://support.google.com/webmasters/answer/6062608


Слайд 27

Таким образом, мы получили схему, когда: Мы сделали сетку на 250 сайтов по ~30 000 страниц каждый Каждая страница отображала в <iframe> главную страницу нашего основного домена, куда должен был сливаться трафик Пришел GoogleBot и увидел это ПРИ ЭТОМ – GoogleBot не положил в индекс содержание <iframe> , так как он стоял под запретом к индексированию. Прислал фильтр за дублирование контента Profit =)


Слайд 28

Какой вывод мы можем сделать? Если бы мы НЕ ЗНАЛИ о существовании нашей сетки, мы бы даже не смогли предположить, какой именно контент был дублирован на нашем сайте, потому как в индексе дублей нашего контента НЕТ!


Слайд 29

Как только мы убрали все <iframe> с нашей сетки и послали запрос на реквест – Google снял фильтр с нашего сайта.


Слайд 30

Мы повторили эксперимент еще 2 раза И результат повторился! наложение санкций –> письмо счастья –> убираем <iframe> –> отправляем реквест –> выходим из под фильтра


Слайд 31

Мы повторили эксперимент еще 2 раза И результат повторился!


Слайд 32

И мы поняли, что у нас в руках есть нечто большее, чем мы предполагали


Слайд 33

Как только я понял, что это может быть, я сразу опубликовал пост об этом на FB https://www.facebook.com/KievSEO


Слайд 34

Что удивительно – в момент бана основного сайта, вся сетка сайтов продолжала быть в индексе по своим запросам и продолжала приводить трафик


Слайд 35

А теперь самое интересное!


Слайд 36

Механика исполнения


Слайд 37

Исходный код дора, который видит бот


Слайд 38

Исходный код с <iframe>


Слайд 39

А теперь объясню на пальцах Происходит загрузка сайта В этот момент обходчик определяет это пришел BOT или user Если BOT – то js не загружается и <div id="preloader"> остается пустым Если это реальный юзер, то происходит обращение js и происходит загрузка <div id="preloader"> в исходном коде Далее, при загрузке <div id="preloader"> , происходит следующее «Основа js»: $( document ).ready(function() {$('#preloader').load(u)}); Вторая часть – подключается в другом месте. Т.е. после того как html загружен в <div id="preloader"> загрузить html , который указан впеременной "u" var u = "/wp-admin/{{theme_name}}/edit.php{% if query is not empty %}?query={{query}}{% endif %}";var style = "";var utm = "";var prc = "";


Слайд 40

Как от этого защитится? Совет очень простой: Всеми возможными способами запретить выкачивать ваш сайт (насколько это объективно возможно) Запретить отображать ваш сайт через Iframe Отслеживать автоматом уникальность контента вашего сайта и автоматически отправлять жалобы DMCA Обращать внимание на скачки трафика (ваш сайт могут клоачить используя IP вашего сайта)


Слайд 41

Как запретить отображать ваш сайт через Iframe? Запрет iframe через Javascript Запрет iframe через заголовок X-Frame-Options Подробнее о том, как это сделать тут - https://elims.org.ua/blog/zapret-prosmotra-sajta-cherez-iframe/


Слайд 42

Как мы решили эту проблему и продолжаем собирать трафик?


Слайд 43

Сейчас мы пошли немного дальше


Слайд 44

https://www.facebook.com/KievSEO Петренко Дмитрий


×

HTML:





Ссылка: