Открыто

[Zennoposter]GroupsParseMailRu - ультрабыстрый парсер участников с груп mail.ru

Тема в разделе "Бизнес и свое дело", создана пользователем xxxSSSxxx, 13 фев 2018.

Цена: 2000р.
Взнос: 2000р.

Основной список:

  1. 1.Anyaax  
  2. 2.prosper  
  3. 3.Stethem  

Резервный список:

  1. 1.affmonster  
  1. xxxSSSxxx

    xxxSSSxxx xxxSSSxxx СкладчикСкладчик

    Предлагаю вашему вниманию
    GroupsParseMailRu
    Шаблон для ZennoPoster

    1. GET&POST
    2. Работает без прокси
    3. Работает в один поток
    4. Без привязки списков и таблиц
    5. Сделал уменьшение обращения к файлам что увеличило скорость и уменьшило обращение к диску, сохранение данных происходит раз в 3-4 секунды
    6. Скорость


    На данный момент шаблон ищет все группы и парсит email пользователей
    Количество групп выдаётся по разному
    В настройках есть глубина для поиска групп и поиска участников

    При запуске программы у нас происходит парсинг групп
    Создаётся один общий каталог
    ResultOnOffLine

    Более подробно это выглядит таким образом

    [​IMG][​IMG][​IMG]


    А теперь про скорость.:)

    Скрин теста с 5-ти групп

    [​IMG]

    Итог работы шаблона
    [​IMG]

    [​IMG]

    Считаем скорось работы шаблона
    Спарсили 2137 групп, кол-во групп выдаёт по разному
    Парсинг участников начался в 21.45.40 завершился 00.29.17
    Общее время 2 часа 20 минут = 140 минут
    Общее кол - во участников: 20520+174461+151912+152467+190390 = 689750
    689750 / 140 = 4927 в минуту :cool:

    Дальнейшие планы по возможности
    Парсинг по запросу, по названию группы
    Парсинг email друзей спарсенного участника
    Парсинг участников по любой букве алфавита
    И другие фишки

    Для участников данной складчины обновления будут бесплатны.
    Повтор будет дороже! Поэтому успевайте записаться.

    Для кого данный шаблон
    Для всех, кому нужна большая база email адресов.;)
     
    Последнее редактирование: 13 фев 2018
    Михаил_63, CashFlow7 и Huligan3 нравится это.
  2. Последние события

    1. Stethem

      Stethem участвует в складчине.

      18 май 2018 в 01:46
    2. Stethem

      Stethem не участвует в складчине.

      9 май 2018
    3. Холмс

      Холмс не участвует в складчине.

      25 апр 2018
    4. AngryError

      AngryError не участвует в складчине.

      24 апр 2018
  3. Huligan3

    Huligan3 Huligan3 ЧКЧлен клуба

    Если будут нужны не оф проверяющие с радостью проверю продукт.
     
  4. xxxSSSxxx

    xxxSSSxxx xxxSSSxxx СкладчикСкладчик

    Хорошо, возьму на заметку
     
    Huligan3 нравится это.
  5. Anyaax

    Anyaax Anyaax ЧКЧлен клуба

    и сразу традиционные вопросы. как он обходит лимиты маил.ру на отображение участников групп? они сейчас равны 500 (еще два года назад было 5000). что кроме email парсит еще? (локацию, пол и т.д.). спасибо.
     
  6. Mr-Grey

    Mr-Grey Mr-Grey МодерМодератор Команда форума

    Автор, займись пока снятием статуса.
     
    Кроули нравится это.
  7. xxxSSSxxx

    xxxSSSxxx xxxSSSxxx СкладчикСкладчик

    ну если я расскажу как он обходит лимиты какой смысл тогда будет от складчины, парсит данные если они предоставлены, email, имя фамилия, год, город, последний визит на сайте, на скрине видно данные

    да займусь
     
    Anyaax нравится это.
  8. websdk

    websdk websdk ЧКЧлен клуба

  9. xxxSSSxxx

    xxxSSSxxx xxxSSSxxx СкладчикСкладчик

    Добавил дополнение, поиск по ключевым словам

    2018-02-16_045743.png
     
    Anyaax нравится это.
  10. Anyaax

    Anyaax Anyaax ЧКЧлен клуба

    ребят, дружнее вписываемся. зря игнорируете.
     
    xxxSSSxxx нравится это.
  11. CashFlow7

    CashFlow7 CashFlow7 РезервистРезервист

    на zennobox выписка будет?
     
  12. xxxSSSxxx

    xxxSSSxxx xxxSSSxxx СкладчикСкладчик

    Я первый раз складку создаю, с правилами тут ещё не сильно силён, но как мне сейчас сказали что надо будет создать другую складку для зенобокса, если так то да
     
    Anyaax нравится это.
  13. xxxSSSxxx

    xxxSSSxxx xxxSSSxxx СкладчикСкладчик

    Один проверяющий найден. Нужны еще офф. проверяющие. Кому интересно, пишите в личку.
     
  14. xxxSSSxxx

    xxxSSSxxx xxxSSSxxx СкладчикСкладчик

    Добавил ещё одно дополнение => Поиск друзей пользователя
    в список EMAIL копируете любые спаршеные или свои с баз email и старт
    выглядит в настройках это вот так
    2018-02-17_221049.png
     
    Anyaax нравится это.
  15. xxxSSSxxx

    xxxSSSxxx xxxSSSxxx СкладчикСкладчик

    Добавил ещё одно дополнение => Поиск участников из групп пользователей
    работает по принципу поиска друзей
    только сначала ищет все группы пользователей с вашей базы или выпаршеной, потом парсит участников

    2018-02-21_110404.png
     
    Anyaax нравится это.
  16. Basill

    Basill Basill ОргОрганизатор

    Отзыв:

    В каком виде предоставлен материал и насколько удобно он оформлен?

    Сам шаблон и инструкция

    Сколько времени заняло изучение и выполнение заданий данного инфопродукта?

    По скорости работы, прикладываю логи

    14:27:19 Парсинг успешно запущен ● 23.02.2018 14:27:19
    14:27:32 Поиск друзей
    14:27:37 У пользователя ● kkairbekov@bk.ru ● спарсили друзей ● 93
    14:27:40 У пользователя ● super_glashka@mail.ru ● спарсили друзей ● 149
    14:29:53 У пользователя ● knyajevich@mail.ru ● спарсили друзей ● 9510
    14:30:06 У пользователя ● vlad14051953@mail.ru ● спарсили друзей ● 974
    14:30:10 У пользователя ● comfort-life@bk.ru ● спарсили друзей ● 331
    14:30:12 У пользователя ● yuriu1964@mail.ru ● спарсили друзей ● 36
    14:30:16 У пользователя ● ramenpa1984@mail.ru ● спарсили друзей ● 10
    14:30:20 У пользователя ● r_a_v_64@mail.ru ● спарсили друзей ● 210
    14:30:22 У пользователя ● metsukini1986@mail.ru ● спарсили друзей ● 10
    14:30:25 У пользователя ● antoniya.skripkina@mail.ru ● спарсили друзей ● 13
    14:30:28 У пользователя ● gkolzhan@mail.ru ● спарсили друзей ● 10
    14:30:29 У пользователя ● potsushiki1985@mail.ru ● спарсили друзей ● 9
    14:30:31 У пользователя ● doshirodo1986@mail.ru ● спарсили друзей ● 7
    14:30:33 У пользователя ● karpienko.nik@mail.ru ● спарсили друзей ● 10
    14:30:35 У пользователя ● vitalii.bondarchuk.75@mail.ru ● спарсили друзей ● 8
    14:30:37 У пользователя ● alieksiei.boghomolienko@mail.ru ● спарсили друзей ● 17
    14:31:18 У пользователя ● lysenko1976@bk.ru ● спарсили друзей ● 1780
    14:31:33 У пользователя ● svetlana.alex_7@mail.ru ● спарсили друзей ● 856
    14:31:35 У пользователя ● bev.24@mail.ru ● спарсили друзей ● 83
    14:31:36 У пользователя ● misangu1972@mail.ru ● спарсили друзей ● 6
    14:31:38 У пользователя ● muganen1978@mail.ru ● спарсили друзей ● 11
    14:31:40 У пользователя ● boghdan.bondarchuk.68@mail.ru ● спарсили друзей ● 12
    14:31:43 У пользователя ● denamiki1981@mail.ru ● спарсили друзей ● 8
    14:31:45 У пользователя ● peirita1987@mail.ru ● спарсили друзей ● 10
    14:31:47 У пользователя ● fiedorienko.2018@mail.ru ● спарсили друзей ● 11
    14:31:57 У пользователя ● lshku@mail.ru ● спарсили друзей ● 567
    14:31:59 У пользователя ● ekaterinanikiforovna@mail.ru ● спарсили друзей ● 72
    14:33:55 У пользователя ● azze@mail.ru ● спарсили друзей ● 9171
    14:33:58 У пользователя ● 231323132@mail.ru ● спарсили друзей ● 65
    14:34:01 У пользователя ● elenast38@mail.ru ● спарсили друзей ● 88
    14:34:13 У пользователя ● potroshitel.2013@mail.ru ● спарсили друзей ● 731
    14:34:13 "Успешно спарсили друзей
    OnLine ● 343 ● участник(а)(ов)
    OffLine ● 24525 ● участник(а)(ов) "
    14:34:28 ★★★ ПАРСИНГ УСПЕШНО ЗАВЕРШЁН ★★★

    21:35:51 "Обработана группа ● soyuz_sov ● №.160 ~ осталось ~ 196
    OnLine ● 0 ● участник(а)(ов)
    OffLine ● 96 ● участник(а)(ов) "
    21:35:56 "Обработана группа ● investori ● №.162 ~ осталось ~ 194
    OnLine ● 0 ● участник(а)(ов)
    OffLine ● 35 ● участник(а)(ов) "
    21:36:11 "Обработана группа ● nuigde ● №.166 ~ осталось ~ 190
    OnLine ● 3 ● участник(а)(ов)
    OffLine ● 546 ● участник(а)(ов) "
    21:36:15 "Обработана группа ● kapital_dengi ● №.167 ~ осталось ~ 189
    OnLine ● 0 ● участник(а)(ов)
    OffLine ● 35 ● участник(а)(ов) "
    21:36:20 "Обработана группа ● 888fengshui ● №.168 ~ осталось ~ 188
    OnLine ● 0 ● участник(а)(ов)
    OffLine ● 43 ● участник(а)(ов) "
    21:36:25 "Обработана группа ● finkultura ● №.169 ~ осталось ~ 187
    OnLine ● 1 ● участник(а)(ов)
    OffLine ● 22 ● участник(а)(ов) "
    21:36:29 "Обработана группа ● misk_yarmarka ● №.170 ~ осталось ~ 186
    OnLine ● 0 ● участник(а)(ов)
    OffLine ● 43 ● участник(а)(ов) "
    21:36:35 "Обработана группа ● kontrolnuie ● №.171 ~ осталось ~ 185
    OnLine ● 0 ● участник(а)(ов)
    OffLine ● 165 ● участник(а)(ов) "
    21:36:39 "Обработана группа ● narkotik-stop ● №.172 ~ осталось ~ 184
    OnLine ● 0 ● участник(а)(ов)
    OffLine ● 113 ● участник(а)(ов) "
    21:36:44 "Обработана группа ● russian_turizm ● №.173 ~ осталось ~ 183
    OnLine ● 0 ● участник(а)(ов)
    OffLine ● 23 ● участник(а)(ов) "
    21:36:49 "Обработана группа ● nikken-wellness ● №.174 ~ осталось ~ 182
    OnLine ● 0 ● участник(а)(ов)
    OffLine ● 24 ● участник(а)(ов) "
    21:36:57 "Обработана группа ● businessufa ● №.175 ~ осталось ~ 181
    OnLine ● 1 ● участник(а)(ов)
    OffLine ● 468 ● участник(а)(ов) "
    21:37:01 "Обработана группа ● nauka_mistika ● №.176 ~ осталось ~ 180
    OnLine ● 0 ● участник(а)(ов)
    OffLine ● 22 ● участник(а)(ов) "

    Сами группу ищутся быстро. Шаблон работает в 1 поток с пазуами между поиск по группам, быстрее не получится, хотя и так скорость отличная.
    Лучше дольше но стабильнее Проверка шла на версии ЗП 5.15.0.0, минимальная версия 5.13 со слов автора.

    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?

    Не вызвала, шаблон понятный по своим настройкам.

    Нужны ли специальные навыки и дополнительные материальные вложения?

    Нужны аки от маил.ру

    Оказывал ли автор должную поддержку в процессе проверки?

    Да оказывал + дополнин шаблон по замечанием. На момент проверки шаблон работает отлично.

    Каковы в целом общие впечатления о компетентности автора?

    Автор компетентен.

    Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

    Если будут вопросы, пишите свой вопрос с
    Код:
    @Basill
    С удовольствием отвечу!
     
    Anyaax и xxxSSSxxx нравится это.
  17. Anyaax

    Anyaax Anyaax ЧКЧлен клуба

    @Basill
    правильно я понимаю, парсятся, в том числе, дубли, и они как то чистятся на лету?
    не вижу в отчете групп численностью больше, хотя бы, 1000, как парсятся такие?
     
  18. xxxSSSxxx

    xxxSSSxxx xxxSSSxxx СкладчикСкладчик

    при каждом новом старте парсится только уник
    при повторном старте могут и конечно будут дубли, но при каждом старте создаются новые файлы
    изменена логика сохранения
    при старте создаётся общий каталог ResultOnOffLine
    в нём создаётся три каталога EMAIL, GROUPS_LINK, USER_INFO в которых и сохраняется весь результат парсинга
    при новом старте общий каталог со всеми папками и файлами можно удалять, создастся новый

     
    Anyaax нравится это.
  19. CashFlow7

    CashFlow7 CashFlow7 РезервистРезервист

    когда старт?) нужен шаблон)
     
  20. formatted

    formatted formatted ЧКЧлен клуба

    Как минимум, еще двое проверяющих должны проверить и оставить свои отзывы.
     
  21. CashFlow7

    CashFlow7 CashFlow7 РезервистРезервист

    так можно еще прождать полгода(
     

Поделиться этой страницей

  1. Сбор взносов (Бизнес и свое дело):
  2. Нужен организатор (Бизнес и свое дело):