5/5, 1 голос
Закрыто

[ZennoPoster] Парсер Email с сайтов и их страниц (многопоток, Get-запросы, паук)

Тема в разделе "Бизнес и свое дело", создана пользователем orka13, 19 мар 2018.

Цена: 8132р.
Взнос: 900р.
110%

Основной список: 19 участников

Резервный список: 1 участников

Статус обсуждения:
Комментирование ограничено.
  1. orka13

    orka13 ЧКЧлен клуба (А)

    Ну парсер дает возможность парсить любые страницы, которые ему подсунуть, а в базе только доменная зона RU парсилась (Парсилась главная страница + дополнительно список из 30 шт. внутренних страниц).
     
    1 человеку нравится это.
  2. Mozgovik

    Mozgovik ЧКЧлен клуба

    Если подсунуть список чьих-нибудь друзей из ВК - он спарсит их телефоны?
    И вообще, как обстоят дела с парсингом мейлов из соц сетей и форумов?
     
  3. orka13

    orka13 ЧКЧлен клуба (А)

    Телефоны не парсятся вообще, только email.
    Если на страничке соцсети или форума показывает почту БЕЗ авторизации в коде страницы, без скрытия скриптами, то да. Но таких доноров очень мало. На первой странице в этом посте я уже отвечал на подобный вопрос.
     
  4. orka13

    orka13 ЧКЧлен клуба (А)

    Забыл поделится опытом работы с этим парсером на крупной базе (добавлю это в отдельную вкладку в настройках):
    Внимание: шаблон работает сверх-быстро без использования браузера (на Get-запросах).
    Но обратной стороной медали будет большая нагрузка на сетевое оборудование в многопотоке. Например, когда я работаю свыше 100 потоков, то обычный домашний Lan-роутер зависает каждые пару минут (не из-за скорости, а из-за слишком большого количества секций). Приходилось временно без него работать напрямую, или сбавлять потоки.
    А при "промышленном парсинге" (я парсил несколько дней подряд базу на 5 млн сайтов) вас может заблокировать вышестоящий провайдер за «подозрительную сетевую активность» (мне урезали на сутки скорость с 100 мбит до 10 без предупреждения :D). Подобно поступит и большинство хостинг-провайдеров, если вы надумаете на удаленном сервере парсинг длительный запустить.
     
    1 человеку нравится это.
  5. Кроули

    Кроули ДолжникДолжник

    ОТЗЫВ:
    Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?

    Практик. Работаю с шаблонами Зенки (время от времени) 2,5 года

    В каком виде предоставлен материал и насколько удобно он оформлен?
    Шаблон Зенки. Инструкция видео и текстовая

    Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
    Можно проверить работоспособность шаблона буквально запустив его один раз. Если пользоваться донорами, предоставленными Автором – это будет долго.
    Я оставил пару десятков сайтов и… проверка произошла очень-очень быстро.

    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
    Легка! Самое прикольное, что шаблон и настраивать то не нужно. Только запустить шаблон…

    Сколько времени заняло достижение заявленного автором результата?
    Шаблон работает. Сразу же.

    Нужны ли специальные навыки и дополнительные материальные вложения?
    Самые минимальные навыки работы с Зенкой

    Оказывал ли автор должную поддержку в процессе проверки?
    Да, оказывал.

    Каковы в целом общие впечатления о компетентности автора?
    Несомненно, Автор компетентен.

    Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

    Отзыв на инфопродукт отражает мое субъективную точку зрения.
     
    1 человеку нравится это.
  6. Basill

    Basill ОргОрганизатор (А)

    Отзыв:

    Свой уровень владения информацией и навыками: в данной области вы: новичок, теоретик либо опытный практик?

    Практик.

    В каком виде предоставлен материал и насколько удобно он оформлен?

    Шаблон, текстовый файл с описанием и видео из шапки топика

    Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?


    Все настройки понятно, можно запускать особо не меня, только нужна адреса сайтов, взял из того дал автор, потом свои добавил.

    Сколько времени заняло достижение заявленного автором результата?

    Скорость, 5 потоков, 100 адресов, глубина 30 страниц. На выходе 25 сайтов где нашел почты 66 почт за 90 секунд. Кол-во почт и сайтов на выходе будет у вас различатся, в зависимосит от сайтов и глубины парсинга, для понимания скорости. Шаблон работает быстро, нагрузка небольшая идет.

    Нужны ли специальные навыки и дополнительные материальные вложения?

    Не нужно.

    Оказывал ли автор должную поддержку в процессе проверки?

    Все понятно.

    Каковы в целом общие впечатления о компетентности автора?

    Автор компетентен.

    Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

    Если будут вопросы, пишите свой вопрос с
    Код:
    @Basill
    С удовольствием отвечу!
     
    1 человеку нравится это.
  7. intelligent man

    intelligent man ЧКЧлен клуба

    @orka13
    Вопрос, есть один известный парсер и есть установленный Kaspersky Internet Security. Так вот, когда запущен Касперский, этот парсер почти не собирает почты. Написал этому автору, его решение только одно, удалить программу от Касперского. А как работает ваш парсер при запущенном KIS?
     
  8. orka13

    orka13 ЧКЧлен клуба (А)

    Пока нет нет желания устанавливать KIS, ибо после него долго чистить систему. Но если будут проблемы у кладчиков, то обязательно углублюсь в поиски решения, а не просто пошлю лесом.
    Тот парсер тоже на зенке был? В моем парсере нет ничего секретного из-за чего должны быть блокировки. Из сторонних библиотек используется только открытая C# DLL "HtmlAgilityPack", на нее нет жалоб, ибо продаю и другие шаблоны с ее использованием.
     
    1 человеку нравится это.
  9. Teronokot

    Teronokot БанЗабанен

    В чем отличие от этого ?
    Парсинг выдачи и емейлов с этой выдачи.
     
  10. orka13

    orka13 ЧКЧлен клуба (А)

    хз, не щупал. Запишитесь и туда и сюда, и потом расскажите нам о сравнении :). По описанию похожи, и там там на запросах. Только у него функционал шире, так как еще и парсер выдачи прикручен. У меня все заточено только на быстрый парсинг страниц-доноров в поисках почты.
    И что-то отзывов от тестов проверяющих все еще нет там, а у меня уже все готово, и найден орг (Аллекс2014), им уже подана заявка на одобрение проведения авторской складчины, скоро будет назначена дата сборов.
    UPD: попутал складчины, тут еще не все готово.
     
    Последнее редактирование: 25 апр 2018
  11. Кроули

    Кроули ДолжникДолжник

     
    1 человеку нравится это.
  12. orka13

    orka13 ЧКЧлен клуба (А)

    Да, сори парни, я заработался, и спутал складчины, здесь место орга забронировал модератор Брат, и я еще жду последнего отзыва. А через пару дней стартанет сбор в другой моей складчине, и после ее окончания придется дней 14 еще ждать. Так что где-то через 21 дней старт тут.
     
    1 человеку нравится это.
  13. ЗиминА

    ЗиминА ОргОрганизатор

    Отзыв:

    Свой уровень владения информацией и навыками: в данной области вы: новичок, теоретик либо опытный практик?
    Практик. Уже очень много лет.

    В каком виде предоставлен материал и насколько удобно он оформлен?
    Шаблон + директория с вспомогательными файлами.

    Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?

    Всё предельно понятно. Времени заняло мало.

    Сколько времени заняло достижение заявленного автором результата?
    Скорость зависит от Вашего интернета. И количества потоков. Я тестировала в 1 поток

    Нужны ли специальные навыки и дополнительные материальные вложения?
    Не нужно.

    Оказывал ли автор должную поддержку в процессе проверки?
    Все понятно.

    Каковы в целом общие впечатления о компетентности автора?
    Автор компетентен.

    Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.
     
    1 человеку нравится это.
  14. orka13

    orka13 ЧКЧлен клуба (А)

    Все отзывы готовы. Правда надо еще подождать завершения другой моей складчины. Так что ~23 мая старт этой.
     
    1 человеку нравится это.
  15. Gobla

    Gobla ЧКЧлен клуба

    А есть возможность добавить эту функцию - парсить телефоны?
     
  16. orka13

    orka13 ЧКЧлен клуба (А)

    Пока не планирую.
     
  17. fetmarshal

    fetmarshal ЧКЧлен клуба

  18. orka13

    orka13 ЧКЧлен клуба (А)

    Сбор взносов с 26 мая, подтягиваемся. Пока сделал еще в новой версии возможность работы "Проект в проекте", это позволяет интегрировать шаблон в ваш зенно-комбайн.
     
  19. Mr Garik

    Mr Garik ЧКЧлен клуба

Статус обсуждения:
Комментирование ограничено.

Поделиться этой страницей