Открыто

ParsUserMailUpName_by_Sh_IlY шаблон для сбора e-mail адресов с mail.ru для рассылки

Тема в разделе "Бизнес и свое дело", создана пользователем Sh_IlY, 23 ноя 2017.

Цена: 2300р.
Взнос: 2300р.

Основной список: 8 участников

Резервный список: 2 участников

Статус темы:
Закрыта.
  1. Sh_IlY

    Sh_IlY СкладчикСкладчик

    [​IMG]
    ⏩Шаблон закрытого типа для ZennoPoster по сбору почт с mail.ru⏪

    ✨Шаблон работает полностью на Post/Get запросах;
    ✨Парсинг e-mail адресов по:

    ⏩ Имени(прописываются в файле);
    ⏩ Возрасту;
    ⏩ Стране;
    ⏩ Актив/не актив. поиску.
    ✨Удобный табличный вид конечного результата(Имя/Последняя активность/Email почта/Возраст/Страна/Город/URL профиля/Пол);
    ✨Авточистка дублей и прочего мусора типа: "@vk" и "@ok";
    ✨Быстрый парсинг за счет поддержки многопотока(Тесты проводились на 50 потоках. Итог: 5-8к за 2:30 мин, "Без нарезки");
    ✨Тех.поддержка и мануал - прилагаются.(Шаблон отлично работает, поэтому обновления пока можно не пилить. Если хотите, чтобы что-то добавил - пишите, если это возможно и актуально - добавлю без проблем);


    Это моя первая складчина, надеюсь, она же не последняя. Пока собирался выложить, чутка доработал))
    Добавлена поддержка нарезки по заданному количеству строк в таблице(нарезает плюс-минус). Скорость сбора падает(примерно 1к мыл в минуту), ибо идет лок таблицы для всех потоков, пока 1-н выполняет условие, но теперь нет слета таблицы по достижению большого количества данных. Так же оставил пункт "Без нарезки", с ним должно быть быстрее, но чистить и следить за таблицей должны будите сами.
    Добавлена функция "Минимизация банов". Условие такое: если ответ пришел пустой, всё равно идти дальше без повторного запроса.
    Так же, из шаблона был выкинут всякий мусор, добавлена доп.информация в лог при ошибках, и пофиксил всякую мелочевку.

    ⛔Шаблон закрытого типа. Привязка к ZP по ID.
    ⛔Сразу говорю: для шаблона нужны хорошие прокси(суперпрокси, возможно файны, если не задрочены и т.д.), и, чем больше - тем лучше, тем меньше банов прилетит и больше спарсится.
    ⛔Баны проксей обычно, примерно, на 24 часа.(У меня, за 300к спаршенных адресов, с суперпрокси(100шт.) и функцией "Минимизировать баны", банов не было).

    ❓Что по паблик проксям? На пабликах кучу ошибок будет из-за превышенного тайм-аута, но да, тоже парсит.
    ❓Как работает скрипт? 1 Имя = 12 повторений = 12 акков = 12 прокси.(Сделано для минимизации блокировки сайтом). То есть, имя раскладывается на 12-ть основных частей и один поток берет одну основную часть и делает по ней, плюс-минус, 30-ть post/get запросов, после чего завершает работу.
    ❓Кому это будет полезным? Тем, кто имеет отношение к емейл рассылкам.

    Сделано на версии программы - 5.12.0.0(проводились тесты на более младшей версии - была ошибка компиляции, поэтому ограничение - не ниже указанной версии).

    Автор шаблона: Sh_IlY

    [​IMG]
    [​IMG]
    [​IMG]
    Как бонус: Если шаблон будет актуален, то позже добавлю отдельный парсер друзей юзеров из таблицы.(Да много чего можно придумать с парсом в бонус, если будет актуал. Так что, если Вам не сложно, то, пожалуйста, прошу помочь с продвижением).
     
    Последнее редактирование: 23 ноя 2017
    5 пользователям это понравилось.
  2. Последние события

    1. vadoil

      vadoil участвует в складчине.

      26 апр 2019
    2. Huligan3

      Huligan3 не участвует в складчине.

      27 дек 2018
    3. Leda35

      Leda35 не участвует в складчине.

      15 авг 2018
    4. Ёхан Палыч

      Ёхан Палыч не участвует в складчине.

      13 авг 2018
  3. Sh_IlY

    Sh_IlY СкладчикСкладчик

    Ищу проверяющих
     
  4. Huligan3

    Huligan3 ЧКЧлен клуба

    А если в один поток то за 3 часа сколько он напарсит?
     
  5. Sh_IlY

    Sh_IlY СкладчикСкладчик

    @Huligan3, сейчас глянул, челу парсил для теста, там в один поток за час 13к. Не буду говорить точно, но где-то 25-35к должно быть(лучше выставить "без нарезки", чтобы лишний алгоритм не подрубался, потом просто копирнуть док для работы, а сам файл очистить).

    [​IMG]
     
  6. Huligan3

    Huligan3 ЧКЧлен клуба

    Если что буду рад выступить в роли не официального проверяющего
     
    1 человеку нравится это.
  7. Mr-Grey

    Mr-Grey ОргОрганизатор (А)

    не на баге основано?
     
  8. Sh_IlY

    Sh_IlY СкладчикСкладчик

    Увы, но нет, если ты про дыры в системе. Я в них не очень.)
    Если бы было на какой-то дыре - не нужны бы были прокси))
     
    1 человеку нравится это.
  9. Sh_IlY

    Sh_IlY СкладчикСкладчик

    Гарант есть - нужны официальные проверяющие!
     
  10. simak84

    simak84 ЧКЧлен клуба

    Пару неофов возьми обязательно. Без обид, но ввиду последних не самых удачных авторских складчин отзывы неоф.проверяющих, котируются вполне себе достойно, и для некоторых складчиков имеют даже большую ценность.
    С уважением.
     
    1 человеку нравится это.
  11. Sh_IlY

    Sh_IlY СкладчикСкладчик

    Спасибо за совет, учту)
    Думаю, на выбор возьму парочку, модер тоже советует)
     
  12. Sh_IlY

    Sh_IlY СкладчикСкладчик

     
    1 человеку нравится это.
  13. Anyaax

    Anyaax ЧКЧлен клуба

    @Sh_IlY
    группы пользователя бы еще парсить его научить, цены бы ему не было. вписалась. чуть позже в подпись включу для раскачки.
     
    1 человеку нравится это.
  14. Sh_IlY

    Sh_IlY СкладчикСкладчик

    Благодарствую, милая ромашка:)
    Смотри, если всё хорошо пойдет, то мне просто ТЗ напишешь - я позже добавлю это, как бонусный шаблон. Ибо я не люблю всякие "комбайны" и т.д.
    Тем более этот шаблон получает "json/xml" данные, поэтому всё удобно лежит в таблице.
    А если парсить группы и людей из групп - это уже "html" будет, там нет данных развернутых. Получается, что будет "Имя" и "емейл", или если только группы - это список ссылок в текстовик))
    В общем, походу дела глянем и решим, чего да как;)
     
    1 человеку нравится это.
  15. Hozy84

    Hozy84 БанЗабанен

    @Sh_IlY А что значит Последняя активность? Я думал это дата или время, а судя по скрину вообще не понятно что это)
     
  16. Alexhao

    Alexhao ЧКЧлен клуба (А)

    @Sh_IlY

    Готов быт неофициальным проверяющим :) Работаю с ZP давно.
     
    1 человеку нравится это.
  17. analytic

    analytic ОргОрганизатор (А)

    unixtime
     
    1 человеку нравится это.
  18. Sh_IlY

    Sh_IlY СкладчикСкладчик

    Это люди, которые находятся в активном поиске и отключить эту функцию)
    Если актив, то можно работать с офферами знакомств и т.д.))

    А в таблице числа - это активность в юникстайме)
    Чем больше число, тем ближе время, когда он заходил в последний раз)
     
    1 человеку нравится это.
  19. Sh_IlY

    Sh_IlY СкладчикСкладчик

    Я одному написал уже.) Сначала с ним поработаю, если ему что-то не понравится - я поправлю, потом ещё выберу, если оно надо будет)
    А так учту)
     
  20. Open

    Open ЧКЧлен клуба

    глубина даты обновления ( последней активности) присутствует ?
    с плейлистов парсинг идёт ? как дополнительный вариант, можно оттуда ещё сделать, если нет
     
  21. Sh_IlY

    Sh_IlY СкладчикСкладчик

    На скрине показано, какие данные сохраняет. Да, "Последняя активность" есть:)
    Нет, от туда не парсит, но да, я знаю, что можно)
    Если будет нужно - сделаю;)
     
    1 человеку нравится это.
Статус темы:
Закрыта.

Поделиться этой страницей