Большой обход
Обход больших списков адресов
Список из тысяч адресов программа не проходит одним рывком — она идёт по очереди, страница за страницей, с паузами между ними.
Очередь, а не одновременность
Адреса открываются по очереди с задержкой между ними
Программа не открывает все адреса разом: очередь двигается партиями, а между запросами стоит пауза — так обход не выглядит для сайта атакой. Задача переживает закрытие панели и перезапуск браузера: незавершённый адрес просто возвращается в очередь.
Что копится по пути
Новые адреса программа находит сама на страницах
Со страницы обход подбирает похожие на карточку товара или профиля ссылки и добавляет их в очередь. Список растёт на ходу, не только из того, что дали в начале, а уже посещённые адреса повторно не открываются.
Граница
50000 адресов на задачу и остановка на CAPTCHA
Одна задача берёт не больше 50000 адресов — предел зашит в коде; без числа в запросе берётся 10000. Наткнувшись на CAPTCHA или проверку человека, обход останавливается сразу и ждёт: за вас её никто не решает. Что ещё роднит эту остановку с разбором одного сайта, — в глубоком обходе.
Как это делается
За один такт — до трёх вкладок разом
Очередь двигается тактами: за один такт обход открывает не больше трёх вкладок одновременно, обычно две, — не тысячу сразу и не одну за раз. Переходы вглубь сайта — не больше двух-трёх уровней от исходного адреса. Так задача успевает пройти тысячи адресов за разумное время, но не выглядит для сайта залпом запросов. Страницу, которую уже прочитали, программа закрывает и переходит к следующей — открытые вкладки не копятся сотнями на всё время задачи.
Где граница
Неудачные адреса не повторяются сами
Адрес, который не открылся или споткнулся об ошибку, программа не пытается повторить бесконечно — он уходит в отдельный список неудач и ждёт вашей отдельной команды на повтор. Скрытие контактов работает и здесь по умолчанию: даже собирая тысячи страниц разом, программа не передаёт телефоны и почту в модель без вашего отдельного разрешения.
Отправьте список адресов и уйдите по делам
Обход идёт в фоне, а вернётесь вы — к готовым карточкам или к CAPTCHA, ждущей вас.