Создаем парсер на Python

Создаем парсер на Python

Приветствую!

О чем эта складчина?
В сети все больше и больше появляются сайты с курсами, презентациями и прочим обучающем и развлекающим контентом. Все это работает по системе подписки. Что порою совсем не выгодно, учитывая кол-во курсов и ограниченное время. Единственное, что остается - выкачать курсы для просмотра оффлайн. Но в 99% случаях ресурсы не дают этого сделать человеческим способом, а скачивать вручную процесс достаточно долгкий, особенно если курсы исчисляются тысячами, как на lynda.com. Поэтому необходимо автоматизировать процесс.

В этой складчине мы рассмотрим процесс создании парсера на python. Именно такие парсеры работают на складчинах lynda.com, safari books, linuxacademy, cartoonsmart и т.д. В качестве примера рассмотрим сайт lynda.com и сделаем функциональный загрузчик курсов.

Для кого эта складчина?
Складчина рассчитана на людей с начальным уровнем программирования. Синтаксис питона достаточно прост, поэтому на нем внимание заострено не будет. Но подробно разберем необходимые нам библиотеки, как встроенные, так и внешние.

Но... в интернете есть большое количество бесплатных уроков...
Да, это так. Но, к сожалению, человеку который никогда не сталкивался с парсерами, открытые уроки мало чем помогут. В них описан процесс парсинга сферического сайта в вакууме, например, википедии, достаточно простых страниц. Этого достаточно, чтобы получить данные о курсах валют или погоду своего города, но недостаточно, чтобы выгружать курсы и проходить защиты ресурсов.

Что полезного в этом курсе?

• Мы построим полноценное консольное приложение от и до.
• Научимся работать с аргументами консольного приложения и напишем различные настройки под разные случаи парсинга.
• Рассмотрим авторизацию, и какие сюрпризы нам могут преподнести.
• Вскроем страницы и узнаем, как достать нужную нам информацию.
• Напишем простой, но эффективный менеджер загрузок
• Поработаем с файловой системой
  
• Изучим альтернативные способы парсинга
• Домашнее задание с поддержкой
  
• и много других мелочей

Бонусы
50 складчиков - загручик субтитров lynda.com
100 складчиков - методы борьбы с drm стримингом на примере linuxacademy + использование внешних загрузчиков (аля ffmpeg)
150 складчиков - полноценный пример парсера для linuxacademy

Формат: текстовый
Стоимость: 199 руб.

Внимание! В рамках данного курса не предусмотрена поддержка по установке и настройке python.

 

Grab, будет отдельная глава, в которой расскажу, как можно было бы переписать часть кода отвечающего за парсинг, на нем.
Но, основная линия будет по более простым библиотекам, по той причине, что курс рассчитан на тех, кто мало знаком с python (или вообще с ним не знаком). Им разобраться с grab будет несколько тяжело.

 

Да, нужны!
Хорошо, как все будет готово - вышлю

 

Если будет интерес, то почему нет

 

Полностью, и авторизация, и брожение, и сохранение данных.

 

Добавил информацию о бонусах,
и легкий пример будущего загрузчика.

Уже совсем скоро вышлю проверяющим экземпляры для отзыва.

 

Каптчи здесь не будет Она хорошо впишется в продолжение... Но рано об этом.

А вот о двухфакторной авторизации, как таковой о ней сказано не будет или будет пару слов. В ней нет ничего не обычного или сложного.
По свой структуре, она как обычная авторизация. Сначала делаем запрос с данными авторизации, далее в зависимости от типа второго фактора (смс/звонок/аутентификатор) вводим код и отправляем его со вторым запросом.

В руководстве будут описаны моменты, как определить куда и какие запросы нужно отправлять и что при этом важно учитывать, поскольку курс основан на примере сайта линда, то основное будет показано на нем, но отдельно еще расскажу (без реализации) с какими необычными авторизациями можно встретиться.

 

По срокам так,
в конце недели выдам на проверку материал,
надеюсь, что за неделю материал будет проверен и в конце месяца запустимся