Обход блокировки и получение данных с сайта (парсер кэфов)
Бюджет По договорённости
Срок 07.12.2026
Описание
Есть рабочий парсер данных с целевого сайта (Node.js, чистый код, работает стабильно часами). Парсер собирает данные по WebSocket (поток работает стабильно, без банов) и по HTTP (полная роспись с деталями — но тут сайт жестко режет запросы). Проблема: сайт ставит лимит на HTTP-запросы для каждой залогиненной сессии. При частых запросах (1 раз в 5 секунд) сессия быстро «выгорает» — сервер отвечает «Too many requests» на все последующие запросы этой сессии. После этого запросы с той же сессией не проходят ни через какой IP — лимит привязан к аккаунту/сессии, а не только к IP. Попробовали:
- Ротация 40 SOCKS5-прокси + одна сессия — не помогает (лимит по сессии)
- Мультиаккаунт — сессии конфликтуют, после второго входа одна сессия аннулируется
- Увеличение цикла до 30-60 с — данные приходят, но не realtime
- Сокращение числа запрашиваемых матчей — лимит всё равно догоняет. Что нужно Обойти rate-limit (или предложить альтернативный способ) для получения полной росписи в реальном времени (обновление 1 раз в 1-5 секунд на каждый live-матч) на длинной дистанции (недели, месяцы). Технические детали (что уже известно) Сайт: Node.js-сервер, WebSocket ws://.../socket.io/ (engine.io v4), HTTP /en/bets///; Авторизация: кука auth (RAW hex, 176 символов в одном из вариантов) + PHPSESSID + __ddg1_/__ddg9_ (ddos-guard cookies); Rate-limit: сервер возвращает HTML «Too many requests. Please try again later...» (200 OK) при превышении частоты; Авторизация привязана к куке auth — сессия не привязана жёстко к IP (подтверждено); При 5+ «log in again» подряд парсер помечает сессию мёртвой. Варианты, которые рассматриваем Обход rate-limit на уровне сессии — например, эмуляция человеческого поведения (действия между запросами), другие точки входа (mobile-версия, PWA, API-эндпойнт, Telegram-бот сайта), кастомные заголовки; Мульти-сессии на разных IP — но нужно чтобы каждая сессия жила независимо; Альтернативные точки данных — внутренние API сайта, не публичные HTTP-пути, которые не лимитятся так жёстко; Парсинг с «прогретого» IP — резидентный прокси, который уже «знает» сессию; Другие способы — на ваше усмотрение. Что предоставляем Рабочий парсер (Node.js, полный исходный код); Две рабочие сессии (аккаунты с депозитом); Пул 40 SOCKS5-прокси (rotating, можно резидентные добавить); API-ключ капча-решателя; Техническую поддержку (доступ к сайту, объяснение форматов). На выходе нужно: Скрипт/модуль, который выдаёт данные в JSON-строки в stdout Устойчивость к обрывам (WS-reconnect, retry, EPIPE) Сессии живут хотя бы 5 дней при постоянном сборе (в идеале не банятся вообще) Работа 24/7 без вмешательства (неделями). Текущий способ банит сессии примерно раз в сутки