Комплексный видеокурс по ZennoPoster от rostonix. Часть 2

У меня лично возникают проблемы с многопоточными парсерами.
Вариант 1 обычный вордперс с 800 страницами листаются по кнопке следующая страница или можно по номеру страницы.
Вариант 2 Сайт с поиском нужно спарсить 4 города, в каждом городе 4 дополнительных параметра.

Запустить в 1 поток, без проблем.
А вот в 2 потока, уже проблема приходиться подготавливать списки для многопотока.
В первом случае это может быть 800 урлов в списке
Во втором случае это 16 урлов в списке.

 

И ещё. Расскажи как работать с разными API. Многие идут в формате XML или JSON и работая с ними только через регулярки можно сломать мозги.

Как "красиво" раскидывать данные по таблицам, спискам или просто доставать быстро то "что надо".

 

Антон, было бы очень интересно увидеть во второй части курса:
1. Примеры того, как ты создаёшь проекты в CodeCreator. Можно на примере отностительно несложного проекта + небольшой обзор пары "несекретных" средних по размеру проектов.
2. Рассказ о твоей работе не с технической, а с организационной стороны. Сколько времени у тебя как у профи в данном продукте занимает работа над некими стандартными проектами?
3. Как продавать ботов после отмены девелоперской лицензии. Если можно, наглядно, как .

Возможно у тебя есть удобняшки для собственного пользования. Было бы круто получить некоторые в виде бонусов помимо видео, например:
1. Аналоги экшенов в виде C#-сниппетов (для самостоятельной компоновки в коде);
2. Рабочие примеры (проект со сниппетом, как в первой части) по работе с базой данных из проекта: селект из запроса в таблицу постера, апдейт таблицы.

 

Если знания нулевые , обязательно проходить с 1 курса или можно сразу с этого ?

 

1. Гет пост, у меня вечная проблема с куками при авторизации на гугле, яндексе. Как зарегать почту на майл.ру через гет пост. (просто как примеры, т.к. там реальный гемор ИМХО). Более подробное изучение самого снифера fidler.
2. Бд как альтернатива всем спискам и таблицам, ибо когда строк много и многопоток, какие то строки про***тся в никуда. (проблема в файловой системе виндовс как я понял)

 

С удовольствием возьму на проверку.

 

Хотелось бы по Post и Get запросам разобрать на конкретных примерах работу с сайтами, где требуется авторизация (взятие, отправка информации), с запоминанием куков.

 

есть конкретные пожелания по сайтам?

 

например

 

хотелось бы общие моменты, чтоб можно было применять на любом подобном сайте
например, ВКонтакте некоторые пользователи в настройках скрывают свои страницы от незарегистрированных пользователей (или от тех, что не авторизовались) - это только пример, подобных сайтов, где определенная информация доступна только для зарегистрированных пользователей - огромное количество.
Так вот, если нужно парсить информацию через get-запрос, то нужно сохранить куки автоизованного пользователя (так будет в разы быстрее, чем заходить через браузер на каждую страницу).

 

Как авторизоваться на яндекс, гугле, через гет пост. В вк, в од. Вот это думаю точно всем интересно будет.

 

Изврат это конечно в большинстве своем. На том же гугле зачем авторизация через POST? Чтобы потом что делать? Или ВК. Что оттуда спарсишь/сделаешь через POST запросы без API? Есть подозрение что особо ничего)

 

Антон, есть отдельно ещё одно пожелание: при защите видео не блокируйте пожалуйста клавиатуру во время воспроизведения. Если урок занимает 30-40 минут, сложно запомнить все фишки. Нужно сразу пробовать всё применять в открытом постере. Но при заблокированной клавиатуре это к сожалению не всегда возможно. Я например в итоге делал так: на компьютере включал урок, на стоящем рядом нетбуке в блокноте писал краткий конспект, и после окончания урока пробовал повторять всё в постере. Очень неудобно.

 

Так как я программу приобрел в середине декабря 2014, мне больше всего интересует:
Как писать более правильно проекты, чтобы сайты с большой защитой(где в правилах написано "не использовать программы боты", пример avito, vk, fastintop.com и т.д.)
не обнаруживали и не банили эти шаблоны(только начинаю переделывать шаблоны с эмуляцией клавы и мыши, рандомные действие - не знаю пока поможет или нет)?
и может еще какие-то нюансы по распознованию ботов?

 

Так, я так понимаю большинство просьб так или иначе связаны с POST/GET запросами) Значит возьмем это за изначальный вектор

 

интересует заливка главной фотографий через api вконтакте. Используется 2 метода: photos.getWallUploadServer и photos.saveOwnerPhoto
абсолютно непонятно как отправить фотографию в окно загрузки после выполнения первого метода, чтобы через post запрос уже получить нужные данные hash, server и photo.
Будет ли в курсе освещена загрузка фото и видео вконтакте через api ? (мне нужен конкретный по полочкам разложенный метод - обычную инструкцию и так уже прочитал в документации вк )

 

с такой частной задачей лучше на форум поддержки программы обратиться - там или бесплатно или за символические деньги помогут разобраться
курс будет освещать общие вопросы, каждую тему каждого сайта в интернете по полочкам разложить невозможно)

 

Хотелось бы понять, как разбирать сложные сайты. Допустим возьмем RBC. Как выбрать конкретную новость и сделать там какое-то действие (ну главное выбрать), как понять, какие ты выбирал, а какие нет. Допустим, появилась новая новость - опять делать надо.

 

на форуме решение так и не найдено, а вконтакт далеко не "каждый сайт" и те, кто с ним хоть как-то работают через апи, а таких, я уверен, достаточное количество, обязательно задаются этим вопросом. Тем более, что сам принцип работы с загрузкой файлов через апи распространяется далеко за эту соц сеть.
Хочется услышать ответ непосредственно rostonix

 

Да, есть, Одноклассники интересуют, а именно авторизация(гет и пост), и вообще работа с post и get в ОД(парсинг и инвайт), так как классический способ слишком много жрет ресурсов