Закрыто

[Live-курс] Пишем многопоточный парсер на POST/GET [ZennoPoster + HTML Agility Pack]

Тема в разделе "Бизнес и свое дело", создана пользователем nztcoder, 23 сен 2018.

Цена: 32855р.
Взнос: 2250р.
80%

Основной список: 21 участников

Статус обсуждения:
Комментирование ограничено.
  1. 23 сен 2018
    #1
    nztcoder
    nztcoder ЧКЧлен клуба (А)

    [Live-курс] Пишем многопоточный парсер на POST/GET [ZennoPoster + HTML Agility Pack]

    [​IMG]
    Привет! Я NZT и я практикуюсь на написании парсеров. Я - парсельщик :) (Скажите "Привет, NZT! ;)")

    Как часто вы сталкивались с подобного рода ситуациями:

    1) доооолгий поиск хорошего кодера
    2) ок, кодера нашли, но спустя время на сайте-доноре что-то поменялось и до кодера почему-то не достучаться
    3) ок, до кодера достучались, но сумма правок просто неприемлема
    4) кодер отказываеться дорабатывать ваш проект на отрез, как результат - написание проекта у другого кодера с повторными на это затратами
    5) нашли кодера, но очередь до вашего заказа на неделю, а то и на две

    Все эти ситуации влекут за собой большие расходы и потерю времени - одни минусы. Давайте прекратим эту вакханалию и будем сами себе писать парсеры для чего бы то ни было - для любых ваших целей. Контент - наше все ;)

    Я предлагаю вам LIVE разбор написания парсера сайта-каталога. Мы разберем парсинг товаров, сюда входит: парсинг характеристик, парсер фото, парсер ссылок видео.

    Как и с помощью чего мы будем парсить?
    Используем полюбившейся многим автоматизаторам ZennoPoster и крайне удобную либу HTML-agility-pack.

    В данном курсе я стараюсь отойти от заезженных повседневно и повсеместно методов. Я не использую стандартные таблицы ZennoPoster, я использую обычный текстовый файл - гораздо меньше нагрузки на комп. Да-да, конечно можно было бы подключить либу для работу с Excel и работать с ней, но я выбрал такой вот путь :)

    Смотрим часть кода:

    [​IMG]
    Как видите данный курс не подойдет полным новичкам в C# (хотя разобраться можно будет, скажем так: дорогу осилит идущий). Нужно иметь понятие типов переменных и классов/методов/конструкторов (открывайте новую вкладку и вбивайте запросы в гугл, а потом смело вписывайтесь в тему ;) ), так как парсер пишем используя элементы объектно-ориентированного программирования (ООП). Прокачай свои знания на ступень выше, и назад уже не захочется возвращаться!

    Отрывок видео


    Да, в последней версии ZennoPoster реализован способ парсинга через веб... Через веб - вы можете себе представить время затраченное на парсинг, это что-то из разряда "поседеть в ожидании". А тут еще и в многопопточном режиме идет парсинг, разница во времени не то чтобы "отличается" - она просто колоссальна!

    Что вы получите в данном курсе:
    - LIVE написание парсера для e-katalog.ru
    - шаблон с открытым исходным кодом, т.е. по сути "скелет парсинга", который вы сможете перекроить под другой донор не затратив на это много времени (как например некоторые переделали парсер под rozetka(точка)com(точка)ua, catalog(точка)onliner(точка)by, price(точка)ru, 1k.by и прочие)
    - первоочередная поддержка - 3 мес со дня старта, далее поддержка по мере возможности (по наличию свободного времени). Поверьте, этого более чем достаточно, чтобы понять как писать парсеры:)

    Бонус! Парсер Avito.ru (тоже с открытым исходным кодом) и дополнительно 3 месяца поддержки. Для его получения ставим ссылку на тему в подпись + рекламим в 3 смежных темах не нарушая правила.

    Отзывы
    Брат
    Hade
    Axelrod



     
    Последнее редактирование модератором: 6 ноя 2018
    5 пользователям это понравилось.
  2. Последние события

    1. skladchik.com
      Складчина закрыта.
      27 дек 2018
    2. Open
      Open участвует.
      27 дек 2018
    3. skladchik.com
      Складчина доступна.
      27 дек 2018
    4. Nike59
      Nike59 оставил отзыв "Отлично".
      27 дек 2018

    Последние важные события

    1. skladchik.com
      Складчина закрыта.
      27 дек 2018
    2. skladchik.com
      Складчина доступна.
      27 дек 2018
    3. skladchik.com
      Складчина закрыта.
      14 дек 2018
    4. skladchik.com
      Складчина доступна.
      18 ноя 2018
  3. Отзывы участников

    5/5,
    • 5/5,
      Работой организатора доволен
      Курс по парсингу на POST/GET запросах с использованием всей мощи библиотеки Html Agility Pack от @Nztcoder я купил из любопытства. Однако, он превзошел все мои ожидания. Ради него я на четыре дня отложил другие дела, в том числе, один из серьезных курсов по дейтингу, который уже начал изучать. Если сказать, что произошел когнитивный шок, то это не будет преувеличением. Я вышел на другой, более высокий и даже неожиданный для меня уровень понимания программирования для Zennoposter на C#. При этом , покупая курс, я боялся, что не потяну предложенный автором подход. Я справился! Теперь я полностью отбросил "игрушки в кубики" для написания шаблонов под Zennoposter. Это все благодаря данному в этом курсе лично мне пониманию объектной модели и тонкостей программирования в общем коде на C#. Спасибо, @Nztcoder за живые уроки программирования. Да, я записался и уже изучаю еще один его курс, и жду его курс по "живому" программированию под дейтинг-тематику.
      27 дек 2018
      11 пользователям это понравилось.
  4. Обсуждение
  5. 23 сен 2018
    #2
    nztcoder
    nztcoder ЧКЧлен клуба (А)
    Бронь
     
  6. 23 сен 2018
    #3
    Info00
    Info00 ОргОрганизатор (П)
    @nztcoder привет
    я правильно понимаю, что эта складчина только для тех, у кого есть Зенка?
     
  7. 23 сен 2018
    #4
    nztcoder
    nztcoder ЧКЧлен клуба (А)
    Привет. В коде из зенковских методов только гет запросы и вывод сообщений в лог, их можно заменить на запросы с помощью html agility pack. Код можно перенести в VS за несколько минут. Парсер написан исключительно на C#
     
    1 человеку нравится это.
  8. 23 сен 2018
    #5
    Stromden
    Stromden МодерМодератор Команда форума
    @nztcoder
     
    1 человеку нравится это.
  9. 24 сен 2018
    #6
    nztcoder
    nztcoder ЧКЧлен клуба (А)
    Ищу поверяющих в данную тему.
     
  10. 24 сен 2018
    #7
    stomp
    stomp ЧКЧлен клуба
    Готов проверить.
     
  11. 8 окт 2018
    #8
    Брат
    Брат ОргОрганизатор
    ОТЗЫВ:

    Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?
    Опытный практик.

    В каком виде предоставлен материал и насколько удобно он оформлен?
    10 защищенных видео основного курса (всего ~4.8 часа), шаблон ZP(написанный парсер сайта) + сопутствующие файлы и библиотеки, шаблон ZP в рамках справочника HAP(переведенная справка библиотеки Html Agility Pack).
    Видео - представляют собой мастер-класс по написанию шаблона в режиме реального времени с нуля, с голосовыми пояснениями что и как делается.

    Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
    4 дня, по 1-2 часа

    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
    Материал не из легких, несколько раз пересматривались отдельные моменты.

    Сколько времени заняло достижение заявленного автором результата?
    Результат не заявлен

    Нужны ли специальные навыки и дополнительные материальные вложения?
    Нужны навыки работы с зеннопостером, обязательны знания основ c# и иметь понятия о объектах.

    Оказывал ли автор должную поддержку в процессе проверки?
    Автор развернуто отвечает на вопросы.

    Каковы в целом общие впечатления о компетентности автора?
    Автор компетентен.

    Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

    ps
    Как уже и сказал выше, курс представляет собой мастер-класс по написанию шаблона парсера, даже не в кубике C#, а сразу в общем коде. Здесь нет теории по шарпу, только практика.
    Одно видео посвящено основам XPath и применению осей, для поиска элементов.
    Парсер пишется в основном анализируя HTML код сайта и запросов к нему из браузерной строки, и только при анализе скачивания контента (фото/видео) - используется анализатор трафика Fiddler.
    Автором так же предоставлен, не заявленный шаблон, представляющий собой справочник библиотеки Html Agility Pack. В принципе она хорошо задокументирована на официальном сайте, автор просто сделал перевод описания свойств, методов и примеры их использования.
    В итоге получившийся парсер - тестировался на версии ZennoPoster 5.15.0, в 10 потоков без прокси: 3 категории спарсились за 24 минуты - 2460 товара со всеми характеристиками + 16370 изображений (1,4 ГБ).
    В шарпе хоть и не новичок, некоторые моменты реализации - взял к себе в записную книжку :).
    Смотрю Автор снизил цену, и текущая цена вполне адекватная за предоставленный материал, рекомендую к изучению.

    ps (проверка бонуса)
    Выданный бонус - парсер авито - написан в стиле основного шаблона, в общем коде, скорее это скелет шаблона, без всяких усложнений (проверок и логирования), что позволяет лучше изучить логику работы шаблона. И то что шаблон открыт на редактирование - позволяет вносить правки в него "под себя", где лично я добавил дополнительные паузы, т.к. авито иногда не отдавал ответ, но тут больше все индивидуально + для авито нужны хорошие прокси.
     
     
    Последнее редактирование модератором: 5 ноя 2018
    4 пользователям это понравилось.
  12. 8 окт 2018
    #9
    nztcoder
    nztcoder ЧКЧлен клуба (А)
    @Брат спасибо за отзыв!
    Да, сбросил цену!:)
     
  13. 8 окт 2018
    #10
    infoprodukt
    infoprodukt ЧКЧлен клуба (А)
    @nztcoder а в курсе будет про обход лимитов сайтов или принципы обхода? Например некий сайт при парсинге без регистрации и использования прокси, выдает какие нибудь ограничения типа ввода капчи или скрытия номеров/почт или еще что либо.
     
    1 человеку нравится это.
  14. 8 окт 2018
    #11
    nztcoder
    nztcoder ЧКЧлен клуба (А)
    Каждый сайт под лимиты индивидуален. Возьмем например Авито. Там если сработал фильтр, то видим сообщение "Доступ с Вашего IP временно ограничен" и просьбу ввести каптчу. В конкретном случае нам вводить каптчу не нужно, нужно просто сменить IP адрес. Сделать обработку такой ситуации не сложно - при обнаружении в запросе текста "Доступ с Вашего IP временно ограничен" вызываем метод смены прокси и продолжаем цикл с последнего шага. Далее, по скрытию номеров/почт. На Авито номер отображается в виде картинки. Данную проблему я решил с помощью библиотеки Tesseract (готовый пример есть в бонусе), она справляется с распознаванием номера. Есть и другой способ - все данные объявления парсим с веб версии Авито (потому как в мобильной версии не всегда все данные объявления видны), а для получения номера телефона делаем запрос на мобильную версию сайта - он там в строковом формате, парсим либо регуляркой, либо как я - библой HAP :). Найти выход всегда можно.
     
    3 пользователям это понравилось.
  15. 8 окт 2018
    #12
    infoprodukt
    infoprodukt ЧКЧлен клуба (А)
    про это будет в курсе?
     
    1 человеку нравится это.
  16. 8 окт 2018
    #13
    nztcoder
    nztcoder ЧКЧлен клуба (А)
    Курс написан на примере сайта e-catalog.ru, там лимитов не увидел. Такая ситуация обработана в бонусном шаблоне - парсер Авито.
    Да и в приватке в случае необходимости подскажу как лучше сделать в том или ином случае.
     
    1 человеку нравится это.
  17. 11 окт 2018
    #14
    Hade
    Hade ДолжникДолжник
    ОТЗЫВ (обновленный с бонусом):

    Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?
    Плотно работаю с шаблонами зенки , но свои не пишу.

    В каком виде предоставлен материал и насколько удобно он оформлен?
    Курс из видео уроков , все подробно и по полочкам . Присутствует шаблон который получается в курсе.

    Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
    На проработку курса у меня ушло где то неделя. смотрел по 1-2 урока. Иногда пересматривал материал , все таки это не кубики.

    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
    Я с программирование уже давно на ты , но даже тут пришлось прислушиваться . Материал не для новичка , но в тоже время это хороший пример для новичка.

    Сколько времени заняло достижение заявленного автором результата?
    Сроков нету. Это процесс творческий и в нем не последнее место занимает внимание. Не все как правило получается с первого раза. Но с этим курсов все нормально.

    Нужны ли специальные навыки и дополнительные материальные вложения?
    Без начальных знаний программирования не зайдет , но при условии того что с# очень простой язык - при желании справится любой. В сети можно найти любой ответ на вопрос + автор в теме !

    Оказывал ли автор должную поддержку в процессе проверки?
    Автор молодец , я как до вопросов не дошел. Но видел вопросы других.

    Каковы в целом общие впечатления о компетентности автора?
    Как только я начал смотреть курс у меня сложилось четкое мнение - Автор знает свое дело.

    Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

    ps
    Ну а теперь свои впечатления. Первый раз встретился с новой защитой , до этого видел только протектор . Опешил немного , но плеер оказался очень производительным , нету таких задерэек как в протекторе.
    Уроки разбиты на маленькие видео в которых поставлены конечные задачи , это лично мне очень понравилось. Как писал выше формат просто повторяй это лучшее решение выучить что то если нет своего проекта.
    Конечно понимание программирование нужно - теория , курс ореинтирован на то что вы в теме c#. Но это не повод для того что бы опустить руки, автор всегда поможет.

    Чем больше проверяю материалов тем все больше убеждаюсь что на складчике много толковых людей, @nztcoder не исключение. Для меня лично это новый уровень.



    Всем советую , Новичкам будет хороший старт . Старички хорошо прокачают свой опыт..

    Спасибо за доверие автора.


    В качестве бонуса автором на проверку был предложен готовый шаблон для работы с доской объявления Авито. В задачи заложен парсинг - есть два режима работы
    1)сбор ссылок - работает очень быстро. в качестве материала для проверки было взято гео и рубрика. за пару минут собрал 2500 ссылок
    2)сбор объявлений - работает достойно. (Тут для меня главное это телефоны для спама!) Много граф в табличке получается, но все нужные.

    Толковая статистика получается на базе экселя.

    Шаблон полностью рабочий на момент проверки.
     
    Последнее редактирование модератором: 13 окт 2018
    5 пользователям это понравилось.
  18. 11 окт 2018
    #15
    nztcoder
    nztcoder ЧКЧлен клуба (А)
    @Hade спасибо за отзыв :)
     
    1 человеку нравится это.
  19. 24 окт 2018
    #16
    hunterDartMoul
    hunterDartMoul ЧКЧлен клуба
    Подскажите, а на курсе я получу навыки, которые помогут писать парсеры для Facebook?
     
  20. 24 окт 2018
    #17
    nztcoder
    nztcoder ЧКЧлен клуба (А)
    Фейсбук сама по себе сложная сеть для автоматизации. И гарантировать, что Вы всё же научитесь с ней работать я не могу. Но применить полученные навыки в написании парсера для фейсбук думаю сможете - принцип парсинга на всех сайтах схож.
     
    1 человеку нравится это.
  21. 1 ноя 2018
    #18
    Hade
    Hade ДолжникДолжник
    Удивлен что к этому курсу нету интереса. Тут реальная практика и поддержка автора. По мне это лучше чем складки по переписыванию шаблонов на пост гет - где видео по 20-30 мин.
    Тут полный разбор и много инфы для анализа. Над некоторыми вещами я не задумывался даже до этого курса.

    зы цена более чем демократична.
     
    1 человеку нравится это.
  22. 5 ноя 2018
    #19
    Axelrod
    Axelrod ОргОрганизатор
    ОТЗЫВ

    Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?

    Новичок, но уже знаком с c# на zennoposter

    В каком виде предоставлен материал и насколько удобно он оформлен?
    Видео и шаблоны

    Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
    Изучение ушло порядка 2 недель. Сложность заключалась в специфике защиты, и автор справился с этой задачей оперативно

    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?

    Очень понятно и подробно автор рассказывает. Не смотря на то, что материал все такие для тех, кто хоть чуток знаком с С#, автор подброно объясняет почему он пишет и использует тот или иной метод.

    Сколько времени заняло достижение заявленного автором результата

    Сроков не было, а процесс обучения бесконечен

    Нужны ли специальные навыки и дополнительные материальные вложения?

    Необходимы основы программирования, желательно c#. Если владеете другим языком, либо есть хоть какие то базовые представления, то для понимания курса этих знаний вполне достаточно.

    Оказывал ли автор должную поддержку в процессе проверки?
    Автор постоянно на связи.

    Каковы в целом общие впечатления о компетентности автора?
    Знаете, это очень крутой автор и очень сильный кодер. Огромным плюсом, является что автор сложные вещи объясняет понятным и простым языком.

    От себя:
    Очень удивительный мастер класс по принципу "Бери и повторяй", если вы разок пройдесь и напишите, как это делает автор. 100% уровень вашего понимания get/post запрос повыситься и знаний в c# прибавиться существенно сильно.

    Как я уже говорил, автор дает описание каждому своему действию и поясняет, зачем и почему он это делает. И благодаря этому в голове складывается полная картина, каким образом все устроено и как правильно создавать шаблоны.

    Самое главное, что знания полученные по данном мастер классу позволяет создавать парсеры любой сложности без браузера. Будь то интерент магазин или доска объявлений, соц сети, сайт знакомств или например все статьи с информационного сайта.

    Эти знания универсальны.

    Бонусный шаблон по Авито, огромный плюс он открытый, каждый может его подробно и детально изучить. Работает очень быстро, если писать через стандартные кубики это было долго и муторно.

    Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.
     
    5 пользователям это понравилось.
  23. 5 ноя 2018
    #20
    Icant
    Icant ЧКЧлен клуба (А)
    @nztcoder
    Привет. Поставил на отслеживание. В бонусном шабе какие данные с авито парсятся и как и куда сохраняются? Он тоже на post/get и работает быстро?
     
    1 человеку нравится это.
Статус обсуждения:
Комментирование ограничено.

Поделиться этой страницей