[Повтор] [Udemy] Парсеры, роботы, автоматизация, Selenium, PhantomJS на PHP

[Повтор] [Udemy] Парсеры, роботы, автоматизация, Selenium, PhantomJS на PHP

Станьте профессиональным разработчиком парсеров, роботов. Научитесь работать с Selenium, PhantomJS и cURL с PHP
​

Чему вы научитесь
Вы сможете создавать парсеры и роботы
Вы сможете парсить любые сайты
Вы сможете писать автоматизированные тесты веб-приложений
Вы сможете создавать копии сайтов

Материалы курса: 22 лекции, общее время: 03:12:52

–Введение 04:59
Что будет рассмотрено в курсе 04:59

–Простой парсинг 53:14
Подключаем библиотеку для парсинга 05:00
Тест. Получаем исходный код страницы 02:30
Получаем ссылки на каждую из статей со страницы каталога 04:28
Работа с паджинацией (когда каталог, контент разбит на страницы). Рекурсия 04:44
Парсинг каждой отдельной статьи 04:41
Создаем таблицу articles для хранения данных парсинга 04:19
Добавляем ссылки на каждую статью в таблицу БД 04:48
Парсим и сохраняем каждую статью в БД 03:11
Переносим парсер вчистовик. CLI 04:51
Сохранение статей в БД. Парсер готов 04:54
Как параллельно запустить много потоков парсера? Часть 1 04:57
Как параллельно запустить много потоков парсера? Часть 2 04:51

–PhantomJS и PHP. Парсим сайты. Создаем живую копию сайта Zappos.com 01:58:07
Знакомимся с PhantomJS. Командная строка. Скриншоты сайтов. Исходный код сайта 16:20
Работа PhantomJS и PHP. Приложение-генератор скриншотов сайтов. Меняем UserAgent 34:29
Парсим Zappos.com. Часть 1: пишем JS код для получения ссылок категорий товаров 11:43
Парсим Zappos.com. Часть 2: получаем JSON со ссылками. Внедрение кода с evaluate 07:04
Парсим Zappos.com. Часть 3: пишем JSON в файл из PhantomJS. Читаем его из PHP 08:32
Парсим Zappos.com. Часть 4: Рекурсия в PhantomJS - берем страницы из педжинации 23:27
Парсим Zappos.com. Часть 5: Получаем ссылки на все товары со страницы каталога 08:43
Парсим Zappos.com. Часть 6: пишем ссылки на все товары категории в JSON файл 07:49

–Бонус. Безлимитный Google Translate без ключа API. Парсинг Google Translate 16:32
Парсим Google Translate с PhantomJS. Передача аргументов из командной строки 16:32
Добавить размер окна через viewportSize и установить userAgent, как будто Chrome 1 вопрос
Перевод больших текстов с переносами строк 1 вопрос

Спойлер: 4 видео для оценки качества и уровня

папка на яндекс.диск

Предыдущая складчина (описание отличается, непонятно насколько актуально)

Продажник​