5/5, 1 голос
Закрыто

[Live-курс] Пишем многопоточный парсер на POST/GET [ZennoPoster + HTML Agility Pack]

Тема в разделе "Бизнес и свое дело", создана пользователем nztcoder, 23 сен 2018.

Цена: 32855р.
Взнос: 2250р.
100%

Основной список: 21 участников

Статус обсуждения:
Комментирование ограничено.
    1. nztcoder

      nztcoder ЧКЧлен клуба (А)

      [​IMG]
      Привет! Я NZT и я практикуюсь на написании парсеров. Я - парсельщик :) (Скажите "Привет, NZT! ;)")

      Как часто вы сталкивались с подобного рода ситуациями:

      1) доооолгий поиск хорошего кодера
      2) ок, кодера нашли, но спустя время на сайте-доноре что-то поменялось и до кодера почему-то не достучаться
      3) ок, до кодера достучались, но сумма правок просто неприемлема
      4) кодер отказываеться дорабатывать ваш проект на отрез, как результат - написание проекта у другого кодера с повторными на это затратами
      5) нашли кодера, но очередь до вашего заказа на неделю, а то и на две

      Все эти ситуации влекут за собой большие расходы и потерю времени - одни минусы. Давайте прекратим эту вакханалию и будем сами себе писать парсеры для чего бы то ни было - для любых ваших целей. Контент - наше все ;)

      Я предлагаю вам LIVE разбор написания парсера сайта-каталога. Мы разберем парсинг товаров, сюда входит: парсинг характеристик, парсер фото, парсер ссылок видео.

      Как и с помощью чего мы будем парсить?
      Используем полюбившейся многим автоматизаторам ZennoPoster и крайне удобную либу HTML-agility-pack.

      В данном курсе я стараюсь отойти от заезженных повседневно и повсеместно методов. Я не использую стандартные таблицы ZennoPoster, я использую обычный текстовый файл - гораздо меньше нагрузки на комп. Да-да, конечно можно было бы подключить либу для работу с Excel и работать с ней, но я выбрал такой вот путь :)

      Смотрим часть кода:

      [​IMG]
      Как видите данный курс не подойдет полным новичкам в C# (хотя разобраться можно будет, скажем так: дорогу осилит идущий). Нужно иметь понятие типов переменных и классов/методов/конструкторов (открывайте новую вкладку и вбивайте запросы в гугл, а потом смело вписывайтесь в тему ;) ), так как парсер пишем используя элементы объектно-ориентированного программирования (ООП). Прокачай свои знания на ступень выше, и назад уже не захочется возвращаться!

      Отрывок видео


      Да, в последней версии ZennoPoster реализован способ парсинга через веб... Через веб - вы можете себе представить время затраченное на парсинг, это что-то из разряда "поседеть в ожидании". А тут еще и в многопопточном режиме идет парсинг, разница во времени не то чтобы "отличается" - она просто колоссальна!

      Что вы получите в данном курсе:
      - LIVE написание парсера для e-katalog.ru
      - шаблон с открытым исходным кодом, т.е. по сути "скелет парсинга", который вы сможете перекроить под другой донор не затратив на это много времени (как например некоторые переделали парсер под rozetka(точка)com(точка)ua, catalog(точка)onliner(точка)by, price(точка)ru, 1k.by и прочие)
      - первоочередная поддержка - 3 мес со дня старта, далее поддержка по мере возможности (по наличию свободного времени). Поверьте, этого более чем достаточно, чтобы понять как писать парсеры:)

      Бонус! Парсер Avito.ru (тоже с открытым исходным кодом) и дополнительно 3 месяца поддержки. Для его получения ставим ссылку на тему в подпись + рекламим в 3 смежных темах не нарушая правила.

      Отзывы
      Брат
      Hade
      Axelrod



       
      Последнее редактирование модератором: 6 ноя 2018
      4 пользователям это понравилось.
    2. Последние события

      1. skladchik.com

        Складчина закрыта.

        27 дек 2018
      2. Open

        Open участвует в складчине.

        27 дек 2018
      3. skladchik.com

        Складчина доступна.

        27 дек 2018
      4. Nike59

        Nike59 оставил отзыв "Отлично".

        27 дек 2018

      Последние важные события

      1. skladchik.com

        Складчина закрыта.

        27 дек 2018
      2. skladchik.com

        Складчина доступна.

        27 дек 2018
      3. skladchik.com

        Складчина закрыта.

        14 дек 2018
      4. skladchik.com

        Складчина доступна.

        18 ноя 2018
    3. nztcoder

      nztcoder ЧКЧлен клуба (А)

      Бронь
       
    4. Info00

      Info00 ОргОрганизатор

      @nztcoder привет
      я правильно понимаю, что эта складчина только для тех, у кого есть Зенка?
       
    5. nztcoder

      nztcoder ЧКЧлен клуба (А)

      Привет. В коде из зенковских методов только гет запросы и вывод сообщений в лог, их можно заменить на запросы с помощью html agility pack. Код можно перенести в VS за несколько минут. Парсер написан исключительно на C#
       
      1 человеку нравится это.
    6. Huligan3

      Huligan3 ЧКЧлен клуба

    7. Stromden

      Stromden МодерМодератор Команда форума

      @nztcoder
       
      1 человеку нравится это.
    8. mironoff

      mironoff ЧКЧлен клуба

    9. nztcoder

      nztcoder ЧКЧлен клуба (А)

      Ищу поверяющих в данную тему.
       
    10. stomp

      stomp ЧКЧлен клуба

      Готов проверить.
       
    11. infoprodukt

      infoprodukt ЧКЧлен клуба (А)

    12. Dires

      Dires ЧКЧлен клуба

      На правах рекламы: Хочешь научится писать шаблоны на C# для парсинга и соц. сетей под руководством опытного мастера - Ссылка
       
      Последнее редактирование модератором: 2 июл 2019
    13. Hade

      Hade ОргОрганизатор (А)

       
    14. nztcoder

      nztcoder ЧКЧлен клуба (А)

       
      1 человеку нравится это.
    15. Hade

      Hade ОргОрганизатор (А)

       
      1 человеку нравится это.
    16. Stethem

      Stethem ЧКЧлен клуба

    17. Брат

      Брат МодерМодератор Команда форума

      ОТЗЫВ:

      Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?
      Опытный практик.

      В каком виде предоставлен материал и насколько удобно он оформлен?
      10 защищенных видео основного курса (всего ~4.8 часа), шаблон ZP(написанный парсер сайта) + сопутствующие файлы и библиотеки, шаблон ZP в рамках справочника HAP(переведенная справка библиотеки Html Agility Pack).
      Видео - представляют собой мастер-класс по написанию шаблона в режиме реального времени с нуля, с голосовыми пояснениями что и как делается.

      Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
      4 дня, по 1-2 часа

      Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
      Материал не из легких, несколько раз пересматривались отдельные моменты.

      Сколько времени заняло достижение заявленного автором результата?
      Результат не заявлен

      Нужны ли специальные навыки и дополнительные материальные вложения?
      Нужны навыки работы с зеннопостером, обязательны знания основ c# и иметь понятия о объектах.

      Оказывал ли автор должную поддержку в процессе проверки?
      Автор развернуто отвечает на вопросы.

      Каковы в целом общие впечатления о компетентности автора?
      Автор компетентен.

      Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

      ps
      Как уже и сказал выше, курс представляет собой мастер-класс по написанию шаблона парсера, даже не в кубике C#, а сразу в общем коде. Здесь нет теории по шарпу, только практика.
      Одно видео посвящено основам XPath и применению осей, для поиска элементов.
      Парсер пишется в основном анализируя HTML код сайта и запросов к нему из браузерной строки, и только при анализе скачивания контента (фото/видео) - используется анализатор трафика Fiddler.
      Автором так же предоставлен, не заявленный шаблон, представляющий собой справочник библиотеки Html Agility Pack. В принципе она хорошо задокументирована на официальном сайте, автор просто сделал перевод описания свойств, методов и примеры их использования.
      В итоге получившийся парсер - тестировался на версии ZennoPoster 5.15.0, в 10 потоков без прокси: 3 категории спарсились за 24 минуты - 2460 товара со всеми характеристиками + 16370 изображений (1,4 ГБ).
      В шарпе хоть и не новичок, некоторые моменты реализации - взял к себе в записную книжку :).
      Смотрю Автор снизил цену, и текущая цена вполне адекватная за предоставленный материал, рекомендую к изучению.

      ps (проверка бонуса)
      Выданный бонус - парсер авито - написан в стиле основного шаблона, в общем коде, скорее это скелет шаблона, без всяких усложнений (проверок и логирования), что позволяет лучше изучить логику работы шаблона. И то что шаблон открыт на редактирование - позволяет вносить правки в него "под себя", где лично я добавил дополнительные паузы, т.к. авито иногда не отдавал ответ, но тут больше все индивидуально + для авито нужны хорошие прокси.
       
       
      Последнее редактирование: 5 ноя 2018
      4 пользователям это понравилось.
    18. nztcoder

      nztcoder ЧКЧлен клуба (А)

      @Брат спасибо за отзыв!
      Да, сбросил цену!:)
       
    19. infoprodukt

      infoprodukt ЧКЧлен клуба (А)

      @nztcoder а в курсе будет про обход лимитов сайтов или принципы обхода? Например некий сайт при парсинге без регистрации и использования прокси, выдает какие нибудь ограничения типа ввода капчи или скрытия номеров/почт или еще что либо.
       
      1 человеку нравится это.
    20. nztcoder

      nztcoder ЧКЧлен клуба (А)

      Каждый сайт под лимиты индивидуален. Возьмем например Авито. Там если сработал фильтр, то видим сообщение "Доступ с Вашего IP временно ограничен" и просьбу ввести каптчу. В конкретном случае нам вводить каптчу не нужно, нужно просто сменить IP адрес. Сделать обработку такой ситуации не сложно - при обнаружении в запросе текста "Доступ с Вашего IP временно ограничен" вызываем метод смены прокси и продолжаем цикл с последнего шага. Далее, по скрытию номеров/почт. На Авито номер отображается в виде картинки. Данную проблему я решил с помощью библиотеки Tesseract (готовый пример есть в бонусе), она справляется с распознаванием номера. Есть и другой способ - все данные объявления парсим с веб версии Авито (потому как в мобильной версии не всегда все данные объявления видны), а для получения номера телефона делаем запрос на мобильную версию сайта - он там в строковом формате, парсим либо регуляркой, либо как я - библой HAP :). Найти выход всегда можно.
       
      3 пользователям это понравилось.
    21. infoprodukt

      infoprodukt ЧКЧлен клуба (А)

      Для бонуса
      1
      2
      3
       
      1 человеку нравится это.
    1. Nike59
      5/5,
      Работой организатора доволен
      Курс по парсингу на POST/GET запросах с использованием всей мощи библиотеки Html Agility Pack от @Nztcoder я купил из любопытства. Однако, он превзошел все мои ожидания. Ради него я на четыре дня отложил другие дела, в том числе, один из серьезных курсов по дейтингу, который уже начал изучать. Если сказать, что произошел когнитивный шок, то это не будет преувеличением. Я вышел на другой, более высокий и даже неожиданный для меня уровень понимания программирования для Zennoposter на C#. При этом , покупая курс, я боялся, что не потяну предложенный автором подход. Я справился! Теперь я полностью отбросил "игрушки в кубики" для написания шаблонов под Zennoposter. Это все благодаря данному в этом курсе лично мне пониманию объектной модели и тонкостей программирования в общем коде на C#. Спасибо, @Nztcoder за живые уроки программирования. Да, я записался и уже изучаю еще один его курс, и жду его курс по "живому" программированию под дейтинг-тематику.
      11 пользователям это понравилось.
Статус обсуждения:
Комментирование ограничено.

Поделиться этой страницей