[Zennoposter]GroupsParseMailRu - ультрабыстрый парсер участников с груп mail.ru

[Zennoposter]GroupsParseMailRu - ультрабыстрый парсер участников с груп mail.ru

Предлагаю вашему вниманию
GroupsParseMailRu
Шаблон для ZennoPoster​

1. GET&POST
2. Работает без прокси
3. Работает в один поток
4. Без привязки списков и таблиц
5. Сделал уменьшение обращения к файлам что увеличило скорость и уменьшило обращение к диску, сохранение данных происходит раз в 3-4 секунды
6. Скорость

На данный момент шаблон ищет все группы и парсит email пользователей
Количество групп выдаётся по разному
В настройках есть глубина для поиска групп и поиска участников

При запуске программы у нас происходит парсинг групп
Создаётся один общий каталог ResultOnOffLine

Более подробно это выглядит таким образом​

А теперь про скорость.

Скрин теста с 5-ти групп


Итог работы шаблона




Считаем скорось работы шаблона
Спарсили 2137 групп, кол-во групп выдаёт по разному
Парсинг участников начался в 21.45.40 завершился 00.29.17
Общее время 2 часа 20 минут = 140 минут
Общее кол - во участников: 20520+174461+151912+152467+190390 = 689750
689750 / 140 = 4927 в минуту

Дальнейшие планы по возможности
Парсинг по запросу, по названию группы
Парсинг email друзей спарсенного участника
Парсинг участников по любой букве алфавита
И другие фишки

Для участников данной складчины обновления будут бесплатны.
Повтор будет дороже! Поэтому успевайте записаться.

Для кого данный шаблон
Для всех, кому нужна большая база email адресов.

 

Если будут нужны не оф проверяющие с радостью проверю продукт.

 

Хорошо, возьму на заметку

 

и сразу традиционные вопросы. как он обходит лимиты маил.ру на отображение участников групп? они сейчас равны 500 (еще два года назад было 5000). что кроме email парсит еще? (локацию, пол и т.д.). спасибо.

 

Автор, займись пока снятием статуса.

 

ну если я расскажу как он обходит лимиты какой смысл тогда будет от складчины, парсит данные если они предоставлены, email, имя фамилия, год, город, последний визит на сайте, на скрине видно данные

да займусь

 

Добавил дополнение, поиск по ключевым словам

 

ребят, дружнее вписываемся. зря игнорируете.

 

на zennobox выписка будет?

 

Я первый раз складку создаю, с правилами тут ещё не сильно силён, но как мне сейчас сказали что надо будет создать другую складку для зенобокса, если так то да

 

Один проверяющий найден. Нужны еще офф. проверяющие. Кому интересно, пишите в личку.

 

Добавил ещё одно дополнение => Поиск друзей пользователя
в список EMAIL копируете любые спаршеные или свои с баз email и старт
выглядит в настройках это вот так

 

Добавил ещё одно дополнение => Поиск участников из групп пользователей
работает по принципу поиска друзей
только сначала ищет все группы пользователей с вашей базы или выпаршеной, потом парсит участников

 

Отзыв:

В каком виде предоставлен материал и насколько удобно он оформлен?

Сам шаблон и инструкция

Сколько времени заняло изучение и выполнение заданий данного инфопродукта?

По скорости работы, прикладываю логи

Спойлер: Поиск друзей

14:27:19 Парсинг успешно запущен ● 23.02.2018 14:27:19
14:27:32 Поиск друзей
14:27:37 У пользователя ● kkairbekov@bk.ru ● спарсили друзей ● 93
14:27:40 У пользователя ● super_glashka@mail.ru ● спарсили друзей ● 149
14:29:53 У пользователя ● knyajevich@mail.ru ● спарсили друзей ● 9510
14:30:06 У пользователя ● vlad14051953@mail.ru ● спарсили друзей ● 974
14:30:10 У пользователя ● comfort-life@bk.ru ● спарсили друзей ● 331
14:30:12 У пользователя ● yuriu1964@mail.ru ● спарсили друзей ● 36
14:30:16 У пользователя ● ramenpa1984@mail.ru ● спарсили друзей ● 10
14:30:20 У пользователя ● r_a_v_64@mail.ru ● спарсили друзей ● 210
14:30:22 У пользователя ● metsukini1986@mail.ru ● спарсили друзей ● 10
14:30:25 У пользователя ● antoniya.skripkina@mail.ru ● спарсили друзей ● 13
14:30:28 У пользователя ● gkolzhan@mail.ru ● спарсили друзей ● 10
14:30:29 У пользователя ● potsushiki1985@mail.ru ● спарсили друзей ● 9
14:30:31 У пользователя ● doshirodo1986@mail.ru ● спарсили друзей ● 7
14:30:33 У пользователя ● karpienko.nik@mail.ru ● спарсили друзей ● 10
14:30:35 У пользователя ● vitalii.bondarchuk.75@mail.ru ● спарсили друзей ● 8
14:30:37 У пользователя ● alieksiei.boghomolienko@mail.ru ● спарсили друзей ● 17
14:31:18 У пользователя ● lysenko1976@bk.ru ● спарсили друзей ● 1780
14:31:33 У пользователя ● svetlana.alex_7@mail.ru ● спарсили друзей ● 856
14:31:35 У пользователя ● bev.24@mail.ru ● спарсили друзей ● 83
14:31:36 У пользователя ● misangu1972@mail.ru ● спарсили друзей ● 6
14:31:38 У пользователя ● muganen1978@mail.ru ● спарсили друзей ● 11
14:31:40 У пользователя ● boghdan.bondarchuk.68@mail.ru ● спарсили друзей ● 12
14:31:43 У пользователя ● denamiki1981@mail.ru ● спарсили друзей ● 8
14:31:45 У пользователя ● peirita1987@mail.ru ● спарсили друзей ● 10
14:31:47 У пользователя ● fiedorienko.2018@mail.ru ● спарсили друзей ● 11
14:31:57 У пользователя ● lshku@mail.ru ● спарсили друзей ● 567
14:31:59 У пользователя ● ekaterinanikiforovna@mail.ru ● спарсили друзей ● 72
14:33:55 У пользователя ● azze@mail.ru ● спарсили друзей ● 9171
14:33:58 У пользователя ● 231323132@mail.ru ● спарсили друзей ● 65
14:34:01 У пользователя ● elenast38@mail.ru ● спарсили друзей ● 88
14:34:13 У пользователя ● potroshitel.2013@mail.ru ● спарсили друзей ● 731
14:34:13 "Успешно спарсили друзей
OnLine ● 343 ● участник(а)(ов)
OffLine ● 24525 ● участник(а)(ов) "
14:34:28 ★★★ ПАРСИНГ УСПЕШНО ЗАВЕРШЁН ★★★

Спойлер: Поиск по групам

21:35:51 "Обработана группа ● soyuz_sov ● №.160 ~ осталось ~ 196
OnLine ● 0 ● участник(а)(ов)
OffLine ● 96 ● участник(а)(ов) "
21:35:56 "Обработана группа ● investori ● №.162 ~ осталось ~ 194
OnLine ● 0 ● участник(а)(ов)
OffLine ● 35 ● участник(а)(ов) "
21:36:11 "Обработана группа ● nuigde ● №.166 ~ осталось ~ 190
OnLine ● 3 ● участник(а)(ов)
OffLine ● 546 ● участник(а)(ов) "
21:36:15 "Обработана группа ● kapital_dengi ● №.167 ~ осталось ~ 189
OnLine ● 0 ● участник(а)(ов)
OffLine ● 35 ● участник(а)(ов) "
21:36:20 "Обработана группа ● 888fengshui ● №.168 ~ осталось ~ 188
OnLine ● 0 ● участник(а)(ов)
OffLine ● 43 ● участник(а)(ов) "
21:36:25 "Обработана группа ● finkultura ● №.169 ~ осталось ~ 187
OnLine ● 1 ● участник(а)(ов)
OffLine ● 22 ● участник(а)(ов) "
21:36:29 "Обработана группа ● misk_yarmarka ● №.170 ~ осталось ~ 186
OnLine ● 0 ● участник(а)(ов)
OffLine ● 43 ● участник(а)(ов) "
21:36:35 "Обработана группа ● kontrolnuie ● №.171 ~ осталось ~ 185
OnLine ● 0 ● участник(а)(ов)
OffLine ● 165 ● участник(а)(ов) "
21:36:39 "Обработана группа ● narkotik-stop ● №.172 ~ осталось ~ 184
OnLine ● 0 ● участник(а)(ов)
OffLine ● 113 ● участник(а)(ов) "
21:36:44 "Обработана группа ● russian_turizm ● №.173 ~ осталось ~ 183
OnLine ● 0 ● участник(а)(ов)
OffLine ● 23 ● участник(а)(ов) "
21:36:49 "Обработана группа ● nikken-wellness ● №.174 ~ осталось ~ 182
OnLine ● 0 ● участник(а)(ов)
OffLine ● 24 ● участник(а)(ов) "
21:36:57 "Обработана группа ● businessufa ● №.175 ~ осталось ~ 181
OnLine ● 1 ● участник(а)(ов)
OffLine ● 468 ● участник(а)(ов) "
21:37:01 "Обработана группа ● nauka_mistika ● №.176 ~ осталось ~ 180
OnLine ● 0 ● участник(а)(ов)
OffLine ● 22 ● участник(а)(ов) "

Сами группу ищутся быстро. Шаблон работает в 1 поток с пазуами между поиск по группам, быстрее не получится, хотя и так скорость отличная.
Лучше дольше но стабильнее Проверка шла на версии ЗП 5.15.0.0, минимальная версия 5.13 со слов автора.

Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?

Не вызвала, шаблон понятный по своим настройкам.

Нужны ли специальные навыки и дополнительные материальные вложения?

Нужны аки от маил.ру

Оказывал ли автор должную поддержку в процессе проверки?

Да оказывал + дополнин шаблон по замечанием. На момент проверки шаблон работает отлично.

Каковы в целом общие впечатления о компетентности автора?

Автор компетентен.

Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

Если будут вопросы, пишите свой вопрос с

Код:

@Basill

С удовольствием отвечу!

 

@Basill
правильно я понимаю, парсятся, в том числе, дубли, и они как то чистятся на лету?
не вижу в отчете групп численностью больше, хотя бы, 1000, как парсятся такие?

 

при каждом новом старте парсится только уник
при повторном старте могут и конечно будут дубли, но при каждом старте создаются новые файлы
изменена логика сохранения
при старте создаётся общий каталог ResultOnOffLine
в нём создаётся три каталога EMAIL, GROUPS_LINK, USER_INFO в которых и сохраняется весь результат парсинга
при новом старте общий каталог со всеми папками и файлами можно удалять, создастся новый

 

когда старт?) нужен шаблон)

 

Как минимум, еще двое проверяющих должны проверить и оставить свои отзывы.

 

так можно еще прождать полгода(

 

Можно! Но таковы правила.