Skip to content

Источники данных

3. Источники данных (Вкладка Proxy Sources)

Раздел предназначен для автоматизации сбора прокси-листов. Основное пространство занимает таблица со столбцами: path, format, proxy type, extract, process type. Каждая строка оснащена чекбоксом для быстрого включения/выключения источника из общего цикла. Справа от таблицы расположены кнопки управления: Add..., Edit, Delete, View File, Explore to file, Move Up, Move Down, Check All, Uncheck All, Check Selected, Select All, Unselect All.

3.1. Параметры источника (Диалог Add Source)

Источник может представлять собой локальный файл или удаленный URL.

  • File Path/URL. Путь к источнику прокси серверов. Рядом находятся кнопки ... (обзор), View (просмотр содержимого во внутреннем окне) и Explore to file (открытие целевой папки в Проводнике Windows).
  • Format. Выбор одного из трех стандартных текстовых шаблонов парсинга (аналогично п. 2.4).
  • HTTP Headers. Конфигурация сетевых заголовков запроса (Accept, Referer, User Agent) для обхода ограничений удаленных веб-серверов при скачивании списков.
  • SID Tag. Опция включения генерации SID (SID Tag, SID Length, SID Count).

3.2. Продвинутый парсинг (Регулярные выражения)

Для извлечения прокси из неструктурированного текста или сложного HTML-кода используются механизмы регулярных выражений:

  • Extract Pattern. Регулярное выражение (Regex) для поиска целевого блока. Например, для строки HTML:

    <tr><td class="left"><script>document.write(Base64.decode("MTI3LjAuMC4x"))</script></td><td><span class="fport">1088</span></td></tr>

    Паттерн: decode\("([^"]+)".+<span class="fport"[^>]+>([0-9]+)

    Он найдет нам следующее значение: decode("MTI3LjAuMC4x"))</script></td><td style=""><span class="fport" style="">1088, группа 1: MTI3LjAuMC4x, группа 2: 1088.

  • Extract Rule: Правило сборки прокси-строки на основе захваченных Regex-групп ($1, $2 и т.д.). Поддерживает текстовые литералы и встроенные функции трансформации:

    1. decode_base64(...) — декодирование строк из Base64.
    2. decode_url(...) — URL-декодирование строк.

    Пример правила для образца выше: decode_base64($1):$2 преобразует данные в стандартный вид 127.0.0.1:1088.

  • Extract from tag. Ограничивает область сканирования конкретным HTML-тегом. Задается имя тега (например, tr) и область поиска внутри него: body (текстовое содержимое) или attribute (значение атрибута тега).

  • Extract SID: Позволяет не генерировать, а извлекать SID напрямую из тела источника с помощью аналогичной пары индивидуальных настроек Pattern и Rule.
  • Инструменты тестирования. Окно Subject служит для вставки фрагмента кода. Кнопка Load загружает в него данные напрямую из указанного File Path/URL, а кнопка Test позволяет наглядно проверить корректность составленных регулярных выражений.
  • Exclude. Инвертирует логику обработки источника. При включении все найденные по правилам прокси будут исключаться из финального списка проверки.

3.3. Глобальные параметры источников (под таблицей)

  • Append. Добавление новых прокси серверов в конец текущего списка. Если флаг снят, перед каждым циклом импорта основной рабочий список программы полностью очищается.
  • Min. X proxies in source. Защитный барьер. Если источник отдал меньше X прокси (например, удаленный сайт выдал ошибку), программа проигнорирует это обновление и сохранит старый рабочий список, предотвращая сбои в связанном внешнем софте.
  • Save all loaded proxies to file. Дублирование всех собранных сырых (непроверенных) прокси в единый файл для последующего анализа.