Поднимайте ваши базы на новый уровень!

Скопируйте или переместите содержимое папки Xrumer/Logs в папку Stage1, расположенную в корневой директории рядом со скриптами.
Если папка Stage1 отсутствует или была случайно удалена, просто создайте её вручную.

По желанию можно также добавить любые [Z] базы от прошлых прогонов из папки Xrumer/Links в папку Stage1.

Настройте параметры скрипта в соответствии с вашими задачами и намерениями, после чего запустите его выполнение.

Если вы не знаете, как запускать скрипты, подробное объяснение вы найдете в разделе FAQ.

Скрипт автоматически найдёт все файлы, указанные в настройках, внутри папки Stage1. Включая те фаилы, которые находятся во вложенных папках.

По стандарту настройки скрипта предусматривает работу с этими фаилами:

• Success.txt
• Halfsuccess.txt
• Others.txt
• Любые [Z]-базы которые сможет найти

Также скрипт может обрабатывать вспомогательные фаилы:

• Activation.txt
• Profiles.txt
• Registered Accounts.txt
• *xgrabbed.txt
• Anchors.txt

Скрипт объединяет файлы одного типа, которые вы указали в настройках. Например, он найдёт все файлы Success.txt из разных прогонов и соберёт их в один общий файл Success.txt, содержащий все данные из исходных файлов. После завершения объединения все исходные файлы автоматически удаляются, остаются только объединённые файлы с полным содержимым.

Этот процесс выполняется для всех типов файлов, указанных в настройках.

Иногда файл xgrabbed.txt содержит контент, который Windows Defender может распознать как угрозу. Это зависит от ресурсов с которых была получена информация. Обработка этого файла включает только удаление дубликатов.

Все фаилы, обработанные на прошлом этапе конвертируются в формат UTF-8.
(Перед конвертацией удаляются служебные символы, мешающие правильной конвертации)

Основные фаилы баз после конвертации попадают в папку Stage2, а вспомогательные фаилы в папку tmp.

*Кроме того, из вспомогательных файлов удаляются все комментарии и дублирующиеся строки.

Если вы включили в настройках CLEAR_PATH1=1 то содержимое папки Stage1 будет очищено, иначе оно останеться без изменений.

Тут стоит ещё упомянуть что в скрипте присутствуют такие настройки:

• REMOVE_ACCESS_FILES=1
• REMOVE_ANCHORS_FILE=1
• REMOVE_LASTURL_FILE=1

Если они включены, то такие фаилы как *.access, Anchors.txt, LastURL.txt будут автоматически удалены. Это по максимуму очистит всевозможный мусор из Stage1. И если у вас в какой то из этих папок затесался какой то важный фаил вы сможете с легкостью его найти.

Вы можете настроить отправку уведомлений в Telegram об успешном выполнении скрипта. Для этого:

• Укажите токен вашего бота в переменной TELEGRAM_TOKEN.
• Укажите ID чата в переменной TELEGRAM_CHAT_ID.
• Включите уведомления задав TELEGRAM_ENABLE=1 (они отключены по умолчанию).

Текст сообщения можно изменить в переменных TELEGRAM_SUCCESS_MESSAGE и TELEGRAM_ERROR_MESSAGE.

На этом этапе скрипт анализирует файл Stage2/raw_base.txt и сопоставляет его строки с шаблонами из заранее подготовленных сниппетов. Каждый сниппет отвечает за обработку одной конкретной фразы.

Когда строки в файле raw_base.txt совпадают с шаблоном сниппета, они сначала записываются в соответствующий отдельный файл.

Например:

• Строки с текстом "регистрация запрещена администратором" записываются в файл Bad-регистрация-запрещена-администратором.txt
• Строки с текстом "слишком большая страничка" записываются в файл Testing-слишком-большая-страничка.txt

После этого все строки, которые были записаны в отдельный файл, удаляются из исходного файла raw_base.txt. Это делается для того, чтобы исключить их повторную обработку другими сниппетами.

Примеры основных сниппетов находятся в папке _extras/Snippets. Эти сниппеты покрывают самые распространённые строки, которые встречаются в отчётах Xrumer. Вы можете использовать их "из коробки" или адаптировать под свои задачи.

Настройка сниппетов

Выберите подходящие вам сниппеты (примеры находятся в папке _extras/Snippets), скопируйте их и вставьте в файл script2.sh после строки "Insert Snippets Below". Это позволяет настраивать функционал скрипта как конструктор: добавляйте только необходимые правила, оставляя базовую структуру неизменной.

В качестве примера script2.sh будет содержать логику состоящую из всех имеющихся на данный момент сниппетов.
Однако это лишь пример — вы можете настроить скрипт по своему усмотрению.

Совет: разместите в начале сниппеты для очистки ненужного мусора, а в конце — сниппеты для важных действий, например таких как "зарегистрировались (100%)". Это позволит получить действительно рабочие и пробивные базы.

Создание собственных сниппетов

Если вам нужно обработать строки, которые не входят в стандартный набор сниппетов, вы можете легко добавить свои собственные правила. Для этого достаточно придумать текстовый шаблон или регулярное выражение.

Чтобы быстрее разобраться, как это работает, обратитесь к примерам в папке _extras/Snippets.

Создание нового сниппета максимально упрощено: вам нужно будет изменить всего две строки:

• Первую, связанную с парсингом фразы, слова или регулярного выражения
• Вторую, отвечающую за название файла, куда будет сохраняться результат.

Настроить обработку под свои задачи смогут даже пользователи с минимальным опытом.

Важно: при создании нового сниппета не забывайте экранировать специальные символы. Например, "[v23]" нужно заменить на "\[v23\]".

Тестирование собственных сниппетов

Рядом с основными скриптами в корневой директории вы найдёте специальный мини-скрипт для тестирования сниппетов — script2-snippets-test.sh.
С его помощью вы сможете проверять корректность работы новых сниппетов без запуска основного процесса обработки. Это удобное решение для быстрого и безопасного тестирования новых идей.

Важно! Чтобы проверить корректность работы скрипта, выполните следующие шаги:

1. Посчитайте количество строк в исходном файле raw_base.txt до парсинга и удаления строк.
Например там было 155321 строк

2. После выполнения скрипта посчитайте количество строк в новом файле, который был создан на основе вашего сниппета (файл, указанный в вашем сниппете).
Например 20144 строк

3. Вычтите количество строк в новом фаиле из исходного количества строк в raw_base.txt.
155321 - 20144 = 135177

Если результат совпадает с количеством строк в файле raw_base.txt после парсинга и удаления строк, значит, скрипт работает корректно.

Примечание: Из-за добавления переноса каретки в конце файла, количество строк в новом файле будет на 1 больше.
Это нормально и не влияет на корректность работы.

На этом этапе каждая строка, найденная и обработанная на предыдущем шаге, получает соответствующий тег, который зависит от её содержания. Хотя процесс тегирования начинается уже на предыдущем этапе, я решил выделить его как отдельный шаг для удобства восприятия и лучшего понимания логики работы скрипта.

Теги позволяют классифицировать строки по категориям, делая их дальнейшую обработку и использование более удобными и организованными.

Основные категории тегов

По умолчанию используются четыре основные категории тегов:

• Bad — строки, связанные со сбойными действиями, такими как неудачная регистрация, невозможность отправки сообщения, ошибки определения IP и другие случаи, где результат оказался бесполезным.
• Testing — строки, представляющие потенциальный интерес для дальнейшего анализа. Обычно включают такие случаи, как "слишком большая страничка", "возможно, отправлено", "данный IP забанили" и подобные. Эти строки можно использовать для повторного прогона в отдельном заходе, чтобы уточнить их пригодность.
• Good — строки, обозначающие потенциально успешные действия. Например, "зарегистрировались", "успех — запостили в первый попавшийся раздел" и подобные. Эти данные обладают высокой ценностью и могут быть использованы для дальнейшей работы.
• GoodHQ — строки высочайшего качества, однозначно подтверждающие успешное выполнение действий. Например, "зарегистрировались (100%)", "успех (с первой страницы)" и тому подобные. База с этим тегом представляет наибольшую ценность для наших задач.

Примеры названий файлов с тегами

Каждая строка, соответствующая определённой категории, записывается в файл, имя которого включает тег и описание. Например:

• Bad-не-нашлось-формы-для-отправки.txt
• Testing-слишком-большая-страничка.txt
• Good-зарегистрировались.txt

Настройка и создание новых тегов

Система тегов в BaseShaper — это инструмент для удобной классификации строк. Она позволяет не только работать с предустановленными тегами, такими как:

BASETAG1="Bad"
BASETAG2="Testing"
BASETAG3="GoodHQ"
BASETAG4="Good"

а также добавлять свои собственные. Это открывает широкие возможности для точной настройки обработки строк под индивидуальные задачи.

Чтобы добавить новый тег, выполните два простых шага:

1) Определите название нового тега, например, CustomTag, и добавьте его в настройки скрипта:

BASETAG5="CustomTag"

Для корректной работы его название должно состоять из латинских букв и цифр без пробелов!

2) В нужных сниппетах замените номер базового тега на 5. Для этого найдите строку с указанием BASETAG и измените соответствующее значение.
После этого строки, соответствующие этим сниппетам, будут записаны в файл с новым тегом, например:

CustomTag-ресурс-для-постинга-непригоден.txt

Процесс создания новых тегов максимально упрощён. Вы можете легко адаптировать скрипт под свои задачи, добавляя новые категории для классификации строк. Это позволит вам более точно организовывать и использовать данные в ваших базах.

Таким образом, вы получаете полный контроль над сортировкой баз, всё ограничивается только вашей фантазией и креативностью.

По умолчанию в скрипте установлено значение ENABLE_MERGE=1.

Это означает, что все файлы с одинаковым тегом будут автоматически объединены в один общий файл (например, файлы с тегом Bad объединяются в Bad.txt), а оригиналы удаляются.

Итоговые файлы сохраняются в папке Stage3, что необходимо для корректной работы следующего скрипта!

Чтобы сохранить файлы по отдельности, установите ENABLE_MERGE=0.

Объединение будет отключено, и каждый файл с тегом останется отдельным.

Но для работы следующего скрипта всё равно потребуется объединение!

Для объединения файлов позже используйте скрипт script2-merge-all.sh.

Вы можете настроить отправку уведомлений в Telegram об успешном выполнении скрипта. Для этого:

• Укажите токен вашего бота в переменной TELEGRAM_TOKEN.
• Укажите ID чата в переменной TELEGRAM_CHAT_ID.
• Включите уведомления задав TELEGRAM_ENABLE=1 (они отключены по умолчанию).

Текст сообщения можно изменить в переменных TELEGRAM_SUCCESS_MESSAGE и TELEGRAM_ERROR_MESSAGE.

Скрипт проверяет каждую строку и удаляет всё, что находится после первого пробела.

Например такая строка:

https://example.com/some-page комментарий от Xrumer

Будет преобразована в такую:

https://example.com/some-page

По стандарту такая обработка включена для всех строк:

CLEAN_COMMENTS=1

На этом этапе скрипт удаляет повторяющиеся строки из баз.

Операция выполняется после удаления комментариев, так как их наличие снижает эффективность и увеличивает ресурсоёмкость удаления дублей.

Удаление дублей включено по умолчанию (CLEAN_DUPLICATES=1).

На этом этапе скрипт автоматически скачивает актуальные версии чёрного списка с заданных URL.

Все строки, совпадающие с чёрным списком, удаляются из файлов, что помогает очистить базу от нежелательных данных.

Чёрный список изначально загружается с GitHub, но вы можете заменить ссылки на свои, указав прямые URL к нужным файлам в коде скрипта.

Для удобства обработки все загруженные списки объединяются в единый файл перед удалением.

Чёрный список по умолчанию включает:

• ссылки на социальные сети (например, VK, Facebook, Twitter)
• ссылки на популярные Web2.0 сервисы (например, blogspot, wordpress)
• ссылки на государственные сайты РФ (и любые другие)
• ссылки на проблемные домены (например, вызывающие бесконечный постинг)

Применение чёрного списка включено по умолчанию ENABLE_BLACKLIST=1.

На этом этапе скрипт выполняет операцию вычитания строк между файлами.

Это позволяет удалить из файлов с меньшим приоритетом строки, которые уже присутствуют в более приоритетных файлах.

Например:

• Строки из файла GoodHQ удаляются из файлов Good, Testing и Bad.
• Строки из файла Good удаляются из файлов Testing и Bad.
• И так далее, пока из всех файлов с более низким приоритетом не будут удалены строки, дублирующиеся в файлах с более высоким приоритетом.
• Также строки вычитаются из фаила [Z]all.txt

Эта операция позволяет сократить общий объём данных и сделать их более чистыми. Несмотря на удаление дублей на предыдущем этапе, они всё же могут остаться из-за особенностей работы Xrumer. Например, одна и та же ссылка могла одновременно оказаться в файлах с успехами и ошибками из-за редиректов. В первый раз ссылка могла не пробиться, а в другой — быть успешно обработанной, что привело к её попаданию в разные категории.

Вычитание строк между файлами включено по умолчанию ENABLE_SUBTRACTION=1.

На этом этапе скрипт извлекает наиболее часто встречающиеся домены из баз.

Это позволяет проанализировать популярность доменов, содержащихся в ваших данных, и выявить ключевые ресурсы, которые могут быть полезны или, наоборот, нежелательны.

Основные этапы обработки

• Скрипт извлекает только хосты из ссылок для каждой отдельной базы.
• Подсчитывает количество вхождений каждого домена.
• Сортирует домены по частоте в сторону увеличения популярности.
• И формирует для каждой базы свой уникальный список из заданного количества наиболее популярных доменов.

Настройки:

Количество отображаемых доменов задаётся переменной EXTRACT_TOP_DOMAIN_COUNT.
Например, если установлено значение 50, скрипт покажет 50 самых часто встречающихся доменов.

Переменная EXTRACT_TOP_DOMAINS_ALL=1 включает обработку всех файлов.
Если установлено значение 0, извлечение ограничивается только определёнными в коде скрипта базами (GoodHQ, Good, Testing, Bad и [Z]all)

Вы можете настроить отправку уведомлений в Telegram об успешном выполнении скрипта. Для этого:

• Укажите токен вашего бота в переменной TELEGRAM_TOKEN.
• Укажите ID чата в переменной TELEGRAM_CHAT_ID.
• Включите уведомления задав TELEGRAM_ENABLE=1 (они отключены по умолчанию).

Текст сообщения можно изменить в переменных TELEGRAM_SUCCESS_MESSAGE и TELEGRAM_ERROR_MESSAGE.

С помощью BaseShaper я обрабатывал базы объёмом более 40 GB за один проход на домашнем сервере с 32 GB оперативной памяти.

Процесс прошёл успешно, и я зафиксировал время выполнения каждого скрипта для наглядности:

Скрипт 1: время выполнения — 15 минут 39 секунд

Изначальный размер:

Время выполнения:

---

Скрипт 2: время выполнения — 65 минут 35 секунд

Изначальный размер:

Время выполнения:

---

Скрипт 2 (merge-all): время выполнения — 0 минут 45 секунд

Изначальный размер:

Время выполнения:

---

Скрипт 3: время выполнения — 31 минута 4 секунды

Изначальный размер:

Обратите внимание: файл [Z]all.txt уже присутствовал в Stage3 (создан на этапе Script 1), поэтому размер данных чуть больше.

Время выполнения:

---

Финальный результат:

BaseShaper: Превращает хаос логов Xrumer в порядок.
40+ GB → 4.5 GB.
За один проход.

Вот как он разложил эти 4.5 GB по категориям:

• Good + GoodHQ = ~538 MB (готовы к использованию)
• Testing + raw_base.txt + [Z]all.txt = ~1.13 GB (тестируемые, можно перепроверить)
• Bad = ~3.0 GB (фэйлы, можно использовать как фильтр или просто удалить)

Суммарное время обработки 40+ GB отчётов составило 1 час 53 минуты 4 секунды. Этот пример показывает, что BaseShaper может эффективно справляться с крупными базами при достаточных системных ресурсах.

Мой сервер оснащён процессором Xeon E5-2680 v4 с частотой 2.4 GHz на ядро. На более мощном процессоре с большей частотой время обработки, скорее всего, будет ещё меньше, что сделает работу с крупными базами ещё более быстрой и эффективной.

Проблема:

WSL 2 накладывает ограничения на ресурсы CPU/RAM для своей виртуальной машины, что замедляет обработку больших баз в BaseShaper. В WSL 1 эти ограничения отсутствуют.

Решение:

Создайте или преобразуйте дистрибутив Linux в режим WSL 1. Выполните шаги в CMD или PowerShell с правами администратора:

1. Для нового дистрибутива:

wsl --install -d Ubuntu-22.04 --version 1

Замените "Ubuntu-22.04" на предпочитаемый дистрибутив (доступные варианты: wsl --list --online)

2. Для существующего дистрибутива:

Проверьте текущие дистрибутивы и их версии:

wsl -l -v

Затем преобразуйте (замените DISTRO_NAME на имя вашего дистрибутива):

wsl --set-version DISTRO_NAME 1

⏳ Ожидайте 1-5 минут. Результат: "Операция успешно завершена".

Пример:

wsl --set-version Ubuntu-22.04 1

3. Проверка:

wsl -l -v

Убедитесь, что в колонке VERSION указана 1:

4. Запуск дистрибутива:

wsl -d Ubuntu-22.04

Ключевые замечания:

Почему WSL 1?

• Полный доступ к системным ресурсам (без искусственных ограничений RAM/CPU)
• Оптимальная производительность для обработки больших баз

Возврат к WSL 2:

wsl --set-version Ubuntu-22.04 2

Если необходимо использовать WSL 2 (не рекомендуется):

Создайте файл .wslconfig в C:\Users\<ВАШ_ПОЛЬЗОВАТЕЛЬ> с содержимым:

[wsl2]
memory=16GB
processors=8

Затем выполните:

wsl --shutdown

Если ваша оперативная память не справляется с нагрузкой, можно увеличить файл подкачки (виртуальную память) для более стабильной работы.

Для этого:

Нажмите комбинацию клавиш Win + R

В открывшемся окне введите команду:

SystemPropertiesAdvanced

Нажмите Enter — откроется окно "Свойства системы" с вкладкой "Дополнительно".

В разделе "Быстродействие" нажмите кнопку Параметры.

Перейдите на вкладку Дополнительно и нажмите Изменить в разделе "Виртуальная память".

Снимите чекбокс с пункта Автоматически выбирать объём файла подкачки.

Выберите диск, на котором хотите увеличить файл подкачки. Значения нужно устанавливать индивидуально, ориентируясь на параметры вашей системы.

Для примера, у меня указаны следующие значения:

Нажмите ОК и перезагрузите компьютер, чтобы изменения вступили в силу.

Если ваша оперативная память не справляется с нагрузкой, можно создать файл подкачки (виртуальную память) для более стабильной работы.

Для этого:

Определитесь с количеством свободного места. Для примера, мы создадим файл подкачки объёмом 4 GB.

Выполните команду:

sudo dd if=/dev/zero of=/swapfile bs=1M count=4096

Установите права на файл:

sudo chmod 600 /swapfile

Приведите файл в формат swap:

sudo mkswap /swapfile

Включите файл подкачки:

sudo swapon /swapfile

Проверьте, что swap успешно активирован:

sudo swapon --show

Чтобы swap сохранялся после перезагрузки, добавьте его в файл /etc/fstab:

sudo nano /etc/fstab

Добавьте строку:

/swapfile none swap sw 0 0

Сохраните внесённую информацию при помощи сочетания клавишь

"CTRL" "O"

И перезагрузите систему. Если после перезагрузки свап присутствуют в системе значит вы всё сделали правильно.

Если вы никогда ранее не работали с криптовалютой и не знаете, как её приобрести, вы можете воспользоваться сервисом BestChange. Это удобный агрегатор, где вы найдёте надежные обменники для покупки криптовалюты за рубли, доллары или другую валюту.

Для примера, вы можете:

• Выбрать направление обмена: например, Сбербанк → TON.
• Найти подходящий обменник с выгодным курсом и высокой репутацией.
• Следовать инструкциям на сайте обменника для перевода денег и получения криптовалюты.

Для вашего удобства я подготовил несколько реферальных ссылок на популярные обменники:

• Обмен Сбербанк RUB → TON
• Обмен Сбербанк RUB → USDT (TRC-20)
• Обмен Т-Банк RUB → BTC

Важное замечание:

Рекомендуется сначала купить криптовалюту на ваш собственный кошелёк. Это даст вам больше контроля над процессом и позволит избежать ошибок.

Например:

1. Создайте криптовалютный кошелёк для TON, USDT или другой подходящей валюты.

2. Купите криптовалюту и переведите её на ваш кошелёк, следуя инструкциям выбранного обменника.

3. Только после того, как криптовалюта окажется на вашем кошельке, отправьте оплату на указанный адрес для приобретения скриптов.

Такой подход позволяет вам убедиться, что криптовалюта успешно поступила, и минимизирует риски ошибок при оплате.

Тестирование не предусмотрено, однако подробное описание продукта и его возможностей поможет вам понять, подходит ли он для ваших задач.

Для запуска скриптов вам потребуется работающая система Linux (или WSL) с установленным Bash.

Пошаговая инструкция:

Перейдите в директорию, где находятся скрипты. Например:

cd /mnt/d/Soft/botmaster/Xrumer/base/BaseShaper

При первом запуске необходимо дать скриптам права на выполнение. Для этого, находясь в корневой папке со скриптами, выполните команду:

chmod +x *.sh

Если требуется, измените настройки скрипта по своему усмотрению. Все настройки снабжены подробными комментариями. Просто отредактируйте фаил, например:

nano script1.sh

Запустите скрипт командой:

./BaseShaper.sh

В файле raw_base.txt могут оставаться строки. Обычно их немного.

Одна из причин — обработка файлов из старых прогонов, где комментарии (по которым идёт парсинг) были изменены в новой версии Xrumer.

Например, в версии 23.0.5 комментарий "скриптозащита дешифрована;" был заменён на "AJAX/JS антибот-защита обработана;".
Для получения актуальных данных просто перепрогоните этот фаил.

Также в raw_base.txt могут содержаться строки без комментариев, такие как:

http://333securityservices.com Result: [Lang=en];
http://333security.com Result: [Lang=en];
http://333nothingness.com Result: [Lang=sv];

В случае выхода обновлений информация будет размещена в закрытой группе для клиентов.

Свяжитесь со мной по предоставленным контактам, указав детали платежа и ваш ник на форуме.