[Программа] Парсер внешних ссылок с сайта

[Dream_Wizard]

Были случаи, что кому-то требовалось узнать сайты в л2 топе, на поиски уязвимостей вебдвижков и чтоб облегчить это вот вам инструкция

Ролик с сайта разработчиков,что бы облегчить вашу участь.
[Ссылки могут видеть только зарегистрированные пользователи. ]

Сбор внешних ссылок с сайта является важным этапом оценки качества донора для покупки ссылок. Критерии оценки на базе этого параметра у каждого сеошника могут несколько отличаться, но вряд ли кто-нибудь поспорить о его важности

Задача

Нашей задачей является сбор внешних ссылок с интересующего нас сайта с помощью Datacol. Причем возле каждой внешней ссылки должна быть указана страница, на которой она была найдена.
[Ссылки могут видеть только зарегистрированные пользователи. ]

Демонстрация

Работу данного профиля настроек вы можете потестировать сразу после установки Datacol. Демонстрационный профиль настроек называется OutgoingLinksParser.
[Ссылки могут видеть только зарегистрированные пользователи. ]

Поскольку демо версия Datacol не умеет сохранять результаты в файл, для просмотра результатов после запуска парсера необходимо перейти на вкладку Результаты.

[Ссылки могут видеть только зарегистрированные пользователи. ]

Реализация

Начнем с общих настроек. Установим 20 потоков и ограничимся 1000 страниц с сайта (по этому количеству легко можно будет оценить интенсивность продажи ссылок).
[Ссылки могут видеть только зарегистрированные пользователи. ]

В начальных URL вводим адрес интересующего нас сайта и не забываем указать достаточную глубину (300 в текущем случае).
[Ссылки могут видеть только зарегистрированные пользователи. ]

На вкладке Сбор данных настраиваем 2 поля. Одно для получения самих ссылок, а другое для сохранения URL страницы, на которой найдена ссылка.
[Ссылки могут видеть только зарегистрированные пользователи. ]

В условиях уточняем, что собранные ссылки не должны содержать URL главной страницы сайта (при том что должны иметь вхождение http://). Таким образом, мы будем получать только внешние ссылки. Также исключаем ссылки со словом twitter (часто создает много лишних результатов).

[Ссылки могут видеть только зарегистрированные пользователи. ]

Обратите внимание на то, что второе поле представляет собой Спец значение.

[Ссылки могут видеть только зарегистрированные пользователи. ]

Далее настраиваем блок Навигации.

[Ссылки могут видеть только зарегистрированные пользователи. ]

Обратите внимание, что для навигации собираются только внутренние ссылки (ВАЖНО: не путать со сбором внешних ссылок в качестве данных!!!). Также не забываем про увеличение допустимого уровня вложенности (если это нужно).

Далее настраиваем блок Экспорта.

[Ссылки могут видеть только зарегистрированные пользователи. ]

[Ссылки могут видеть только зарегистрированные пользователи. ]



[Ссылки могут видеть только зарегистрированные пользователи. ]


Копи-паст с сайта разработчиков,но работает везде однако