ParsUserMailUpName_by_Sh_IlY шаблон для сбора e-mail адресов с mail.ru для рассылки

ParsUserMailUpName_by_Sh_IlY шаблон для сбора e-mail адресов с mail.ru для рассылки

⏩Шаблон закрытого типа для ZennoPoster по сбору почт с mail.ru⏪​

✨Шаблон работает полностью на Post/Get запросах;
✨Парсинг e-mail адресов по:

⏩ Имени(прописываются в файле);
⏩ Возрасту;
⏩ Стране;
⏩ Актив/не актив. поиску.​

✨Удобный табличный вид конечного результата(Имя/Последняя активность/Email почта/Возраст/Страна/Город/URL профиля/Пол);
✨Авточистка дублей и прочего мусора типа: "@vk" и "@ok";
✨Быстрый парсинг за счет поддержки многопотока(Тесты проводились на 50 потоках. Итог: 5-8к за 2:30 мин, "Без нарезки");
✨Тех.поддержка и мануал - прилагаются.(Шаблон отлично работает, поэтому обновления пока можно не пилить. Если хотите, чтобы что-то добавил - пишите, если это возможно и актуально - добавлю без проблем);

✅Это моя первая складчина, надеюсь, она же не последняя. Пока собирался выложить, чутка доработал))
✅Добавлена поддержка нарезки по заданному количеству строк в таблице(нарезает плюс-минус). Скорость сбора падает(примерно 1к мыл в минуту), ибо идет лок таблицы для всех потоков, пока 1-н выполняет условие, но теперь нет слета таблицы по достижению большого количества данных. Так же оставил пункт "Без нарезки", с ним должно быть быстрее, но чистить и следить за таблицей должны будите сами.
✅Добавлена функция "Минимизация банов". Условие такое: если ответ пришел пустой, всё равно идти дальше без повторного запроса.
✅Так же, из шаблона был выкинут всякий мусор, добавлена доп.информация в лог при ошибках, и пофиксил всякую мелочевку.

⛔Шаблон закрытого типа. Привязка к ZP по ID.
⛔Сразу говорю: для шаблона нужны хорошие прокси(суперпрокси, возможно файны, если не задрочены и т.д.), и, чем больше - тем лучше, тем меньше банов прилетит и больше спарсится.
⛔Баны проксей обычно, примерно, на 24 часа.(У меня, за 300к спаршенных адресов, с суперпрокси(100шт.) и функцией "Минимизировать баны", банов не было).

❓Что по паблик проксям? На пабликах кучу ошибок будет из-за превышенного тайм-аута, но да, тоже парсит.
❓Как работает скрипт? 1 Имя = 12 повторений = 12 акков = 12 прокси.(Сделано для минимизации блокировки сайтом). То есть, имя раскладывается на 12-ть основных частей и один поток берет одну основную часть и делает по ней, плюс-минус, 30-ть post/get запросов, после чего завершает работу.
❓Кому это будет полезным? Тем, кто имеет отношение к емейл рассылкам.

⏩Сделано на версии программы - 5.12.0.0(проводились тесты на более младшей версии - была ошибка компиляции, поэтому ограничение - не ниже указанной версии).

✅Автор шаблона: Sh_IlY

​

Как бонус: Если шаблон будет актуален, то позже добавлю отдельный парсер друзей юзеров из таблицы.(Да много чего можно придумать с парсом в бонус, если будет актуал. Так что, если Вам не сложно, то, пожалуйста, прошу помочь с продвижением).

 

Ищу проверяющих

 

А если в один поток то за 3 часа сколько он напарсит?

 

@Huligan3, сейчас глянул, челу парсил для теста, там в один поток за час 13к. Не буду говорить точно, но где-то 25-35к должно быть(лучше выставить "без нарезки", чтобы лишний алгоритм не подрубался, потом просто копирнуть док для работы, а сам файл очистить).

 

Если что буду рад выступить в роли не официального проверяющего

 

не на баге основано?

 

Увы, но нет, если ты про дыры в системе. Я в них не очень.)
Если бы было на какой-то дыре - не нужны бы были прокси))

 

Гарант есть - нужны официальные проверяющие!

 

Пару неофов возьми обязательно. Без обид, но ввиду последних не самых удачных авторских складчин отзывы неоф.проверяющих, котируются вполне себе достойно, и для некоторых складчиков имеют даже большую ценность.
С уважением.

 

Спасибо за совет, учту)
Думаю, на выбор возьму парочку, модер тоже советует)

 

@Sh_IlY
группы пользователя бы еще парсить его научить, цены бы ему не было. вписалась. чуть позже в подпись включу для раскачки.

 

Благодарствую, милая ромашка
Смотри, если всё хорошо пойдет, то мне просто ТЗ напишешь - я позже добавлю это, как бонусный шаблон. Ибо я не люблю всякие "комбайны" и т.д.
Тем более этот шаблон получает "json/xml" данные, поэтому всё удобно лежит в таблице.
А если парсить группы и людей из групп - это уже "html" будет, там нет данных развернутых. Получается, что будет "Имя" и "емейл", или если только группы - это список ссылок в текстовик))
В общем, походу дела глянем и решим, чего да как

 

@Sh_IlY А что значит Последняя активность? Я думал это дата или время, а судя по скрину вообще не понятно что это)

 

@Sh_IlY

Готов быт неофициальным проверяющим Работаю с ZP давно.

 

unixtime

 

Это люди, которые находятся в активном поиске и отключить эту функцию)
Если актив, то можно работать с офферами знакомств и т.д.))

А в таблице числа - это активность в юникстайме)
Чем больше число, тем ближе время, когда он заходил в последний раз)

 

Я одному написал уже.) Сначала с ним поработаю, если ему что-то не понравится - я поправлю, потом ещё выберу, если оно надо будет)
А так учту)

 

глубина даты обновления ( последней активности) присутствует ?
с плейлистов парсинг идёт ? как дополнительный вариант, можно оттуда ещё сделать, если нет

 

На скрине показано, какие данные сохраняет. Да, "Последняя активность" есть
Нет, от туда не парсит, но да, я знаю, что можно)
Если будет нужно - сделаю

 

Sh_IIY Не могу понять откуда парсятся эти емейлы, с соцсети Мой Мир? И в колонке "Профиль" выводится ссылка на профиль пользователя в Моем Мире, да?