[Python] Scrapy - фреймворк для парсинга

С помощью данного материала смогу собрать базу с контактами из Я.карт по нужной категории? спасибо.

 

Готов взять на проверку.

 

маловероятно... яндекс парсят давно и они все лучше и лучше защищают свою собственность)

 

Это как после удаления аппендицита спрашивать: а я смогу теперь играть на пианино?
scrapy - это инструмент, как Вы его будете использовать и в совокупности с чем, это уже будет зависеть только от Вас. При помощи scrapy можно писать пауков, парсить сайты, собирать данные, но тут нужно понимать, что нужны базовые знания python и умение пользоваться и разбираться в сторонних библиотеках. Например, что бы собирать данные с сайтов использующих javascript (к примеру те же карты яндекса), нужно будет дополнительно разобраться с библиотекой selenium

 

Как замену Selenium давно использую Splinter , очень прост и удобен. Может кому пригодится А еще есть библиотека, называется PyAutoGui, тоже очень простая, позволяет управлять мышкой, можно кликать на что угодно и как угодно... и вообще, чего только для пайтона нету...

 

Я с вами, тема парсинга давно меня интересует, но никак руки не доходили, а тут подробный мануал и на примерах, прям находка для меня, записываюсь! Думаю можно подождать до второго бонуса, я только за!

 

Отзыв.
Обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?
С парсингом начал знакомиться еще год назад, но почему-то начал это делать на javascript. А потом увидел пару курсов на линда.ком по питон и пошло поехало.
В общем целом, можно сказать, что я что-то среднее между новичком и не новичком. Написать что-то смогу, но перед этим придется пошариться в гугле.

В каком виде предоставлен материал и насколько удобно он оформлен?
Материал представлен в виде pdf книги с оглавлением.
Также в книге есть быстрые ссылки на официальную документацию, т.к. не о все моменты отражены в ней самой. Например, глава Настройки. В конце главы приводится список наиболее важных настроек фреймворка, с указанием ссылки на полный список настроек. Очень удобно, как по мне.
+ прилагается архив с готовым проектом, который создается в практической части.

Сколько времени заняло изучение и выполнение заданий данного инфопродукта? Сколько времени заняло достижение заявленного автором результата?
Неспешным шагом – 6 дней. Большая часть времени ушла на баловство с фреймворком. Уж очень мне понравилось по сайтам ползать.

Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
Материал усваивается достаточно легко. Почти на каждый шаг даётся пример с описанием - это очень помогает сориентироваться.

Нужны ли специальные навыки и дополнительные материальные вложения?
Таки да! Если в предыдущем руководстве автора требовался низкий уровень вхождения и подробно описывалась каждая строчка кода, то здесь уже нет ничего подобного. Базовые знания python и устройства web страниц должны быть обязательны.

Оказывал ли автор должную поддержку в процессе проверки? Каковы в целом общие впечатления о компетентности автора?
Это уже второй материал по парсингу от данного автора и в целом все хорошо. Ну а его складчины на различные ресурсы, проведённые им, причём с годовым обновлением, говорят сами за себя.

Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

 

Не совсем понял, новый курс дополняет старый, или новый курс полностью новый и что бы его усвоить изучение первого курса необязательно?
Дается ли информация о том, как парсить "требовательные" сайты, например, гугл.

 

Отзыв

Материал представлен в виде учебника в pdf формате, содержащий около 60 страниц. Не особо много, но без воды. Все по делу.

Условно материал разделен на 3 части. Первая часть посвящена теории и основным составляющим фреймворка, приводятся примеры. Вторая часть – практическая, создается полный проект. Третья часть, как дополнение. Не особа важная, но очень полезная информация о запросах, настройках и т.д.

Смутило отсутствие главы об установке фреймворка. Была дана всего 1 команда. Как оказалось, этого действительно достаточно. Фреймворк встал ровно и с полпинка.

В руководстве нам предлагают использовать xpath вместо css селекторов для извлечения данных. Я никогда ранее с ним не встречался, но он оказался действительно удобным.

Теперь по вопросам,

Обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?

C python знаком давно, а вот парсингом никогда не доводилось встречаться.

В последнее время стал понимать, что очень много рутинных процессов, в т.ч. и в организации складчин, можно совершать через парсеры.

В каком виде предоставлен материал и насколько удобно он оформлен?

Материал содержит учебное пособие в формате pdf и zip архив с файлами проекта.

PDF оформлен аккуратно, интерактивное содержание, все при себе.


Сколько времени заняло изучение и выполнение заданий данного инфопродукта?

Читается все легко и быстро. Весь материал был освоен за пару вечеров. С ходу конечно все не запомнил – практика исправит.

Сколько времени заняло достижение заявленного автором результата?

Если за достижение результата брать создание проекта, то по шагам все создается быстро. На глазах имеется готовый проект, если вдруг что-то пошло не так.


Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?

В каждой главе присутствуют примеры. Это значительно облегчает понимание описанной функции.


Нужны ли специальные навыки и дополнительные материальные вложения?

Несомненно,

требуется понимания структуры DOM модели и работы с ней. Базовые знания HTML и CSS.


Оказывал ли автор должную поддержку в процессе проверки?

Это лишь книга. У меня проблем не возникло.

Каковы в целом общие впечатления о компетентности автора?

Что сказать, о полном профессионализме я не берусь сказать, по книге сложно судить. Но все замечательно, многие моменты были разжёваны.

Как уже сказал проверяющий выше, данный автор уже несколько лет проводит складчины на годовые подписки, где трудятся его роботы, а если это все работает, то ему есть чем с нами поделиться.

Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

 

Отзыв

Обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?

Опыт работы с парсерами имеется. Мне была интересна работа самого фреймворка.

В каком виде предоставлен материал и насколько удобно он оформлен?

Материал оформлен хорошо, есть подробное руководство, как и что делать. Все с подробными картинками и подробным пояснением

Сколько времени заняло изучение и выполнение заданий данного инфопродукта?

Само изучение было быстрым, но немного повозился с установками. На винду лучше даже и не пробовать устанавливать, Сразу берите ubuntu и все упростится, но те кто использует python должны об этом знать.

Сколько времени заняло достижение заявленного автором результата?

Около 3х дней. Поиграл с кодом и приступил к изучению. Как я писал выше, руководство подробное, хоть и не большое, большое, многие моменты не освящаются, например, для некоторых классов нет описания всех методов. Идет речь только об основных. Если ждете от книги – полный справочник, то не стоит.

Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?

Материал описан хорошо. Там, где что-то не досказано в теоретической части, объясняется на примере в практической части + у автора можно спросить, если будет что-то не понятно.

Нужны ли специальные навыки и дополнительные материальные вложения?

Материал для новичков не подойдет. Денежные вложения не нужны, но о парсинге представления иметь нужно. Если коротко, то вы уже знаете, что именно хотите, только не хватает пособия на русском языке.

Оказывал ли автор должную поддержку в процессе проверки?

Поддержка у автора отличная, как и в других его продуктах. Так что можно не волноваться, но иногда было лень спрашивать, гугл помогал)

Каковы в целом общие впечатления о компетентности автора?

Автор в теме разбирается отлично, так что все пользователи будут довольны.

Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

 

Вопрос к автору и другим специалистам - а сам факт отладки в питоне - он визуально удобен? И. есть ли возможность визуально наблюдать работу бота (как например в Zennoposter - можно смотреть в реальном времени работу бота)?

 

Поэтому и развиваю интерес к Python. Спасибо за ответ.