Закрыто

[ZennoPoster] Парсер OLX

Тема в разделе "Бизнес и свое дело", создана пользователем Profes, 14 дек 2017.

Цена: 4383р.
Взнос: 350р.
57%

Основной список: 28 участников

Резервный список: 1 участников

Статус обсуждения:
Комментирование ограничено.
  1. 14 дек 2017
    #1
    Profes
    Profes ДолжникДолжник

    [ZennoPoster] Парсер OLX

    Представляю вашему вниманию шаблон для ZennoPoster по парсингу OLX.

    Какие страны парсятся точно:
    1. Беларусь
    2. Украина
    3. Казахстан
    4. Узбекистан

    (можете спросить относительно других стран - проверю)

    Описание шаблона:
    1. Шаблон закрытого типа на выполнение
    2. Парсинг происходит без использования браузера (на get-запросах), можно запускать в многопотоке
    3. Парсинг происходит в 2 этапа (1 - сбор объявлений по категории или по заданному ключу; 2 - парсинг информации из собранных объявлений на первом этапе)
    4. Работает без прокси
    5. Возможность выбора, какие данные собирать
    6. Результат парсинга можно выгружать в список или таблицу
    7. Подойдет любая веосия Зенопостера (в том числе демка, если платной версии нет)


    Какие данные собирает шаблон:
    1. Название объявления
    2. ID объявления
    3. Ссылка на объявление
    4. Имя автора
    5. Адрес
    6. Цена
    7. Количество просмотров
    8. Текст объявления
    9. Телефон
    10. Фото (ссылки на фото или файлы в отдельную папку с названием по ID объявления)

    Способы применения (примеры):
    > Сбор контактов для рассылки смс (тем, кто ищет работу или продает определенные товары и услуги)
    > Поиск партнеров для сбыта продукции
    > Отслеживание своих объявлений (количество просмотров)
    > Сбор контента (тексты, фото) и др.

    Скрин входных настроек:

    [​IMG]

    Отображение результата парсинга в таблице:

    [​IMG]

    P.S.: Нужны проверяющие
     
    Последнее редактирование: 14 дек 2017
    3 пользователям это понравилось.
  2. Последние события

    1. skladchik.com
      Rambo не участвует.
      20 ноя 2019
    2. skladchik.com
      Складчина закрыта.
      20 ноя 2019
    3. Rambo
      Rambo участвует.
      20 ноя 2019
    4. Apeor1
      Apeor1 участвует.
      18 май 2019

    Последние важные события

    1. skladchik.com
      Складчина закрыта.
      20 ноя 2019
    2. skladchik.com
      Складчина доступна.
      21 фев 2018
    3. skladchik.com
      Складчина активна.
      21 фев 2018
    4. skladchik.com
      Сбор взносов начинается 21.02.2018.
      19 фев 2018
  3. Отзывы участников

    5/5,
    • 5/5,
      Работой организатора доволен
      Крутой быстрый шаблон. Использовал демку зеннопостера. Скачало 10000 (поле телефон) объявлений примерно за 2-3 часа. Пришлось раз 5 ввести капчу, но это из-за того что у меня демо. Качал для создания аудитории под рекламу в Facebook все получилось идеально. Однозначно рекомендую.
      25 фев 2018
      1 человеку нравится это.
    • 5/5,
      Работой организатора доволен
      Шустрый шаблон и что самое главное удобен и понятен. Надеюсь на его долгосрочную поддержку, так как на данный момент нет времени заняться плотно OLX :)
      24 фев 2018
      2 пользователям это понравилось.
    • 5/5,
      Работой организатора доволен
      Отличный парсер. Работает быстро, интерфейс очень простой, к тому же есть подробная инструкция.
      Все завяленные функции выполняет.

      Прокси пока не использовал, хотя напарсил уже доовльно не мало объявлений.
      24 фев 2018
      2 пользователям это понравилось.
  4. Обсуждение
  5. 14 дек 2017
    #2
    delauspewno
    delauspewno ПартнерПартнер (А)
    на сколько потоков тестил и сколько собралось и за какое время?
    что происходит с таблицей когда там 100-500 к строк?
     
  6. 15 дек 2017
    #3
    Тахорг
    Тахорг ОргОрганизатор
    Для этого желательно парсить, объявление относится к "бизнес" или "частное"
    И не мешало бы иметь данные, в какой категории размещено объявление.
     
  7. 15 дек 2017
    #4
    Тахорг
    Тахорг ОргОрганизатор
    Если нужно, возьму на проверку.
     
  8. 15 дек 2017
    #5
    evgeshik
    evgeshik ЧКЧлен клуба
    А чего нет прокси?
     
  9. 15 дек 2017
    #6
    Huligan3
    Huligan3 ДолжникДолжник
    Могу тоже проверить если нужны не оф проверяющие.
     
  10. 15 дек 2017
    #7
    evgeshik
    evgeshik ЧКЧлен клуба
    @Profes Тоже могу быть не оф. проверяющим если нужно :)
     
  11. 15 дек 2017
    #8
    Profes
    Profes ДолжникДолжник
    Для оценки скорости работы шаблона:
    Сбор информации с объявлений (все возможные данные, что на скрине входных настроек) 10 потоков = 4,1 обработанных объявлений в секунду

    Что касается таблиц с 100-500 к строк, то здесь стандартно: если Зенопостер и система потянут, то все ок будет (у тех поддержки можешь уточнить, какие максимально по размерах файлы может обрабатывать Зенопостер, в частности таблицы)
    (1 Mb = примерно 2000 строк со всеми данными)

    Да, можно выбирать бизнес или частные. Вывод категории в результаты добавлю.

    Потому что отлично парсится и без прокси. Если будет нужен парсинг через прокси, добавлю.
     
  12. 15 дек 2017
    #9
    evgeshik
    evgeshik ЧКЧлен клуба
    @Profes всегда любой парсинг по умолчанию провожу через проксю. :) Без прокси мне кажется вообще глупо парсить что-либо
     
  13. 15 дек 2017
    #10
    Profes
    Profes ДолжникДолжник
    Ок, добавлю использование прокси
     
    3 пользователям это понравилось.
  14. 17 дек 2017
    #11
    ZevSua
    ZevSua ОргОрганизатор
    Может мне ктонить обьяснить для чего он вообще применим?
    Сам уже с пол года собираюсь шаблон сделать, очень нужный, но постер!.. А вот парсинг то зачем ?? понять немогу.
     
  15. 17 дек 2017
    #12
    robox
    robox ЧКЧлен клуба
    Я правильно понял парсить можно с заданными фильтрами например по такой сылке Скрытая ссылка
    и то что "в ТОПе" пропускает или потом самому дубли удалять нужно?
     
  16. 17 дек 2017
    #13
    Profes
    Profes ДолжникДолжник
    Примеры применения есть в стартовом посте
     
  17. 17 дек 2017
    #14
    Profes
    Profes ДолжникДолжник
    Да, можно парсить с заданными фильтрами (в текстовый файл вставляются ссылки).
    Присутствует очистка от дублей автоматическая, вручную чистить не нужно.
     
  18. 18 дек 2017
    #15
    robox
    robox ЧКЧлен клуба
    Нужно парсить каталог автомобилей, как бить если нужно основные характеристики спарсить "Модель" "Год выпуска" "Пробег"
    "Вид топлива" "Объем двигателя"
    или хотя б весь блок с характеристиками закидать в отдельную ячейку как описание,
    потому что есть объявления с заголовком "Продам" и описанием "детали по телефону" а основная информация в характеристиках
     
  19. 18 дек 2017
    #16
    Profes
    Profes ДолжникДолжник
    Пройдусь по другим категориям и проверю на предмет подобных блоков с дополнительными данными. Если будет все ок, добавлю вывод этих данных в отдельной колонке.
     
  20. 6 янв 2018
    #17
    Shtopor
    Shtopor ЧКЧлен клуба
    @Profes Польшу можно добавить?
     
  21. 7 янв 2018
    #18
    Profes
    Profes ДолжникДолжник
    Да, я в понедельник смогу проверить на счет Польши и в случае, если что-то там не собирается, доработаю шаблон.
     
    1 человеку нравится это.
  22. 8 янв 2018
    #19
    Profes
    Profes ДолжникДолжник
    Польша нормально парсится
     
    2 пользователям это понравилось.
  23. 8 янв 2018
    #20
    Shtopor
    Shtopor ЧКЧлен клуба
    Ну если Польша в шаблоне работает, то я с Вами!
     
    1 человеку нравится это.
Статус обсуждения:
Комментирование ограничено.

Поделиться этой страницей