Поддержка-1. Набор шаблонов и сниппетов ZennoPoster + C# для самообучения (повтор)

Поддержка-1. Набор шаблонов и сниппетов ZennoPoster + C# для самообучения (повтор)

Приветствую!

Описание программы поддержки и принципа её реализации.

Предпосылки к созданию данного формата поддержки описаны здесь (приватная тема первой складчины).

Материал поддержки будет выдаваться постепенно, в силу специфики самого материала. На реализацию программы запланированы определенные временные рамки.
1-ая неделя после старта – сборы, публикация вариантов ТЗ участниками и голосования.
6 последующих недель – процесс открытой разработки материала, публичный коучинг.
2 недели – буфер на всякий случай, если по коучингу или материалу будем не успевать.

Материалы

1. Реализация одного более-менее крупного в плане разработки шаблона на основе наиболее популярного ТЗ одного из участников (путем голосования «лайками»). По сути – альтернативное воплощение в жизнь идеи @analytic отсюда. Только формат – открытая разработка, с промежуточными итогами и обзорами работ.

Спойлер: Порядок проведения

Порядок проведения. Любой участник складчины поддержки может написать ТЗ и разместить его в приватке после старта складчины (во время сборов, первая неделя), там же пройдёт голосование за лучшее ТЗ. Далее, не позднее чем через неделю после старта, определяется ТЗ-победитель, по которому следующие 6 недель мной производится разработка с освещением процесса. Публикация отчётов/обзоров и текущего кода - не реже чем раз в неделю. Финальный код будет полностью открыт участникам.
На всякий случай оставляю за собой право выбрать другой проект - это на случай, если ТЗ-победитель будет, например, крайне сложный шаблон/комбайн/крайне защищенный ресурс - то есть проект, с которым физически не справиться за 6 недель.

2. Публичный коучинг одного из участников, чьё ТЗ на коучинг наиболее популярно (тоже голосование «лайками»).

Спойлер: Порядок проведения

Порядок проведения. Любой участник складчины поддержки может написать ТЗ и заявку на публичный коучинг, и разместить его в приватке после старта складчины (во время сборов, первая неделя), там же пройдёт голосование за лучшее ТЗ. После определения победителя - 6 недель коучинга. Соответственно, желающим сразу иметь ввиду, что нужно будет порядочно свободного времени, и ТЗ, которое реально пройти за указанный период.
Чем подробнее будут описаны ТЗ коучинга и первого проекта - тем лучше.

3. Отдельные мини-обзоры для выпуска. Также путём голосования на первой неделе выберем наиболее актуальные темы для 2-3 обзоров. Срок их ориентировочного воплощения - постепенно на те же 6 недель.
4. Сбор и упаковка материалов по анонимизации в Общий код (черновой вариант). Перспектива – доработка и упаковка в dll-библиотеку – в планах на следующие потоки поддержки, если таковые будут.


Описание базового продукта

Спойлер: Описание

Базовый продукт представляет собой набор открытых шаблонов и сниппетов ZennoPoster, предназначенных для самостоятельного изучения и использования в качестве готовых шаблонов.
Все шаблоны написаны на C#, практически весь код закомментирован, что за что отвечает. Непонятные вещи также можно спрашивать в приватных ветках.

Набор предназначен для тех:
1) кто занимается или планирует заниматься созданием шаблонов ZennoPoster в связке с C#;
2) у кого какие-либо проблемы с освоением связки ZennoPoster+C#;
3) кому не хватает практических примеров по ZennoPoster+C#.

Рекомендуемый уровень - знание основ написания шаблонов ZennoPoster+C#. В идеале - участие в ZennoPro Academy.
Если основ нет, а желание двигаться в этом направлении есть - настоятельно рекомендую принять участие в ближайшем повторе ZennoPro Academy.Там вся необходимая база + много других шикарных материалов.

На всякий случай хочу заострить внимание - это не ещё один курс по ZennoPoster, а именно набор наработок и заготовок в помощь начинающим (и не только). Для полноценного обучения - добро пожаловать в Академию по ссылке выше.

Текущий состав набора

1. Проект парсера в 9 вариантах реализации

Спойлер: Подробное описание

Мне очень понравился подход @RoyalBank на прошлогоднем конкурсе "Общение ботоводов", заключающийся в представлении нескольких вариантов одного и того же шаблона, различающихся по сложности и функционалу - от самого простого ко всё более и более сложным.
Нечто подобное решил сделать и я. За основу взят парсер выдачи Яндекса.

Помимо прочего, в начале каждого варианта в виде комментариев записаны краткое описание и номера строк, в которых что-то изменено или добавлено, по сравнению с предыдущим более простым вариантом.

Варианты шаблона.

1. Простой парсер. Самая простейшая реализация на C#, используются простые и понятные конструкции. Выгрузка результатов парсинга в таблицу проекта.
2. Парсер с перебором страниц. Добавлены алгоритм перехода на следующие страницы и возможность задать количество страниц, с которых нужно снять данные, по каждому ключевому запросу.
3. Парсер с выбором региона. В яндексе можно задать регион, в котором будет осуществляться поиск. В этом варианте рассмотрен добавление такого функционала.
4. Парсер со входными настроками. Показан принцип вынесения настроек шаблона во входные настройки. Помимо прочего, в шаблон добавлены случайные паузы в диапазоне, задаваемом во входных настройках.
5. Парсер с проверками. При работе шаблона возможны внештатные ситуации, их нужно стараться предусмотреть и сделать грамотную обработку ошибок. Добавлен функционал проверок на корректность значений из входных настроек, проверок доступности элементов страницы при парсинге.
6. Парсер на GET-запросах. В этом варианты представлен предыдущий шаблон, переделанный под простейший вариант парсинга через GET-запросы.
7. Парсер на GET-запросах (HtmlAgilityPack). Другой вариант парсера на запросах, с помощью библиотечки HtmlAgilityPack.dll (парсинг результата запроса через XPath). Уже полностью без использования браузера.
8. Парсер с выгрузкой в базу данных MySQL. В этом варианте собранные данные сразу отправляем в табличку в БД. Для работы с базой используем стандартные методы ZennoPoster.Db.
9. Парсер с выгрузкой в базу данных SQLite. Пример работы с локальной базой данных SQLite, используем dll-библиотеку System.Data.SQLite.
+ Бонусный сниппет для 9 варианта. Получаем данные из БД и сохраняем их в Excel с помощью библиотечки EPPlus. При этом рассматриваем усложненный вариант - делаем различные выборки на разные листы, на отдельном листе создаём содержание со ссылками.
Также, в бонусном сниппете используется методы из Общего кода (тоже с комментариями).

2. Проект с разбором виртуальной мыши FullEmulationMouse (появилась в ZennoPoster 5.10.4.0)

Спойлер: Подробное описание

В этом проекте дано описание всех доступных в настоящий момент методов и свойств FullEmulationMouse, с примерами использования. А именно:

• FullEmulationMouseMoveToHtmlElement - метод перемещения курсора мыши к заданному элементу
• FullEmulationMouseMove - метод перемещения курсора мыши к заданным координатам
• FullEmulationMouseClick - метод клика мышью
• FullEmulationMouseMoveAboveHtmlElement - метод эмуляция чтения заданного элемента
• FullEmulationMouseCurrentPosition - свойство, возвращающее текущую позицию мыши
• FullEmulationMouseSetOptions - метод, устанавливающий некоторые параметры мыши
• FullEmulationMouseWheel - метод эмуляции прокрутки колесиком мыши
  
• FullEmulationMouseDragAndDrop - метод эмоляции действия перетаскивания "Drag-and-Drop"

Помимо прочего, в виде комментариев в сниппетах описаны некоторые нюансы, которые полезно знать при использовании этой реализации виртуальной мыши.
Для создания практических примеров использовался сайт techcrunch.com.

3. Генератор логинов

Спойлер: Подробное описание

Данный проект включает в себя несколько вспомогательных классов в Общем коде по генерации логинов, паролей и обратной транслитерации. В сниппетах проекта приведены примеры их использования.

Реализация генератора логинов базируется на формировании "человеческих" логинов для регистраторов почт. Для генерации используются списки реальных имён и фамилий (доступны русскоязычные и англоязычные, списки идут в комплекте).
Например, регистратору нужно сгенирировать случайным образом имя и фамилию, логин для аккаунта. С помощью готовых методов можно получить, скажем, Ивана Иванова и сгенерировать соответствующий логин. Какие примерно варианты могут получиться:
ivanov.ivan
ivan7ivanov
ivanov.ivan77
ivan.ivanov4
ivan.i.ivanov

4. Постер гистов на GitHub

Спойлер: Подробное описание

Данный проект предназначен для демонстрации практического использования параллельных циклов.
Проект представляет собой постер сниппетов на POST-запросах через API. В качестве ресурса был выбран gist.github.com, на котором можно публиковать свои сниппеты и заметки.
В проекте присутствуют 4 варианта такого постера:

• однопоточный
• стандартный многопоток
• параллельные запросы
• параллельные запросы с контролем потоков

Каждый вариант - в своём сниппете.

+ Мини-обзоры по темам

• Ловля капч
• Входные настройки на WPF
• Лямбда-выражения
• Основы многопотока
• Параллельные циклы

Бонусы:

Для получения бонусов из основной складчины:

1) Разместить в подпись ссылку на эту или первую складчину, продержать её до старта этой;
2) Отписаться об этом мне в предназначенной для этого приватке первой складчины

Бонус складчины поддержки

Если к старту наберётся 75 человек, то все участники получат бонус - обзор dll-библиотеки xNet (либа для работы с HTTP-запросами).
Если 75 до старта не наберётся, то бонус всё равно будет выдан тогда, когда:
1) либо в первой складчине в основном списке наберётся 200 человек;
2) либо в этой складчине в основном списке наберётся 100 человек после перехода в статус "Доступно".

 

@Klask тоже не пойму - это просто оплата поддержки для участников основной складчины (и для участия тут нужно в основную записаться) или это повтор основной с выдачей материала (и тогда, можно не ждать, а оплатить в исходной складчине, пока она доступна)?

 

Это повтор и потом будем наращивать материал в приватке.

 

т.е. если участвовал в первой складчине, то сюда нет смысла записываться?

 

наоборот смысл как раз в том, что новая складчина- там будет другой движ. Она для тех. кто участвовал в этой.

 

@Klask меня интересует какие ТЗ будут в приоритете? Или как всегда соцсети и капча.

 

Голосованием определяться будет.

 

Коучинг с открытым кодом будет. Все сможем веселится. Рекламить надо. Я завтра по программному разделу пробегусь.

 

Сначала подумал, что повтор темы, затем перечитал и записался. Автор пишет пишет интересные и актуальные статьи, рекомендую!

 

@Klask, Повторов 1 складчины не будет? Все желающие должны записываться в первую тему?

 

Надо порекламить автора. Класк выдаёт материала на гора за такие смешные деньги.

 

Смысла в повторе первой особого нет, если есть статус "Доступно". Разве что ради поднятия ценника для будущих участников делать повтор.
На всякий случай упомяну, что взнос в авторках в статусе "Доступно" стандартный (не двойной, как в обычных складчинах).

 

Почему в заголовке тогда повтор? Как получить бонусы из 1 складчины?

 

1) Разместить в подпись ссылку на эту или первую складчину, продержать её до старта этой;
2) Отписаться об этом мне в предназначенной для этого приватке первой складчины.

 

Друзья, буду рад помощи в рекламе данной складчины, путём размещения ссылки в своей подписи. Если к старту наберётся 100 человек, то все участники получат бонус - обзор dll-библиотеки xNet (либа для работы с HTTP-запросами). Думаю, это более чем реально, учитывая что в первой складке более 150 участников, и есть ещё интересующиеся темой люди, кто пока не вписался ни туда, ни сюда.

 

Поставил ссылку в подпись

 

Поставил в подпись.

 

Поддержу

 

Стоп мы что уже взлетаем? А как же 100 человек? А как же либу?