5/5, Голосов: 3
Доступно

[ZennoPoster] Парсер OLX

Тема в разделе "Бизнес и свое дело", создана пользователем Profes, 14 дек 2017.

Цена: 4383р.
Взнос: 350р.
100%
  1. 1.  
  2. 2.  
  3. 3.  
  4. 4.  
  5. 5.  
  6. 6.  
  7. 7.  
  8. 8.  
  9. 9.  
  10. 10.  
  11. 11.  
  12. 12.  
  13. 13.  
  14. 14.  
  15. 15.  
  16. 16.  
  17. 17.  
  18. 18.  
Статус темы:
Закрыта.
    1. Profes

      Profes Profes ЧКЧлен клуба (А)

      Представляю вашему вниманию шаблон для ZennoPoster по парсингу OLX.

      Какие страны парсятся точно:
      1. Беларусь
      2. Украина
      3. Казахстан
      4. Узбекистан

      (можете спросить относительно других стран - проверю)

      Описание шаблона:
      1. Шаблон закрытого типа на выполнение
      2. Парсинг происходит без использования браузера (на get-запросах), можно запускать в многопотоке
      3. Парсинг происходит в 2 этапа (1 - сбор объявлений по категории или по заданному ключу; 2 - парсинг информации из собранных объявлений на первом этапе)
      4. Работает без прокси
      5. Возможность выбора, какие данные собирать
      6. Результат парсинга можно выгружать в список или таблицу
      7. Подойдет любая веосия Зенопостера (в том числе демка, если платной версии нет)


      Какие данные собирает шаблон:
      1. Название объявления
      2. ID объявления
      3. Ссылка на объявление
      4. Имя автора
      5. Адрес
      6. Цена
      7. Количество просмотров
      8. Текст объявления
      9. Телефон
      10. Фото (ссылки на фото или файлы в отдельную папку с названием по ID объявления)

      Способы применения (примеры):
      > Сбор контактов для рассылки смс (тем, кто ищет работу или продает определенные товары и услуги)
      > Поиск партнеров для сбыта продукции
      > Отслеживание своих объявлений (количество просмотров)
      > Сбор контента (тексты, фото) и др.

      Скрин входных настроек:

      [​IMG]

      Отображение результата парсинга в таблице:

      [​IMG]

      P.S.: Нужны проверяющие
       
      Последнее редактирование: 14 дек 2017
      Гречанка, Линусик и pym933 нравится это.
    2. Последние события

      1. WorldGIMN

        WorldGIMN участвует в складчине.

        6 апр 2018
      2. SemSeoSmm

        SemSeoSmm участвует в складчине.

        27 фев 2018
      3. pav007

        pav007 не участвует в складчине.

        27 фев 2018
      4. pav007

        pav007 участвует в складчине.

        27 фев 2018

      Последние важные события

      1. skladchik.com

        Осталось 5 дней до завершения складчины.

        21 фев 2018
      2. skladchik.com

        Складчина доступна.

        21 фев 2018
      3. skladchik.com

        Складчина активна.

        21 фев 2018
      4. skladchik.com

        Сбор взносов начинается 21.02.2018.

        19 фев 2018
    3. delauspewno

      delauspewno delauspewno ПартнерПартнер (А)

      на сколько потоков тестил и сколько собралось и за какое время?
      что происходит с таблицей когда там 100-500 к строк?
       
    4. Тахорг

      Тахорг Тахорг ОргОрганизатор

      Для этого желательно парсить, объявление относится к "бизнес" или "частное"
      И не мешало бы иметь данные, в какой категории размещено объявление.
       
    5. Тахорг

      Тахорг Тахорг ОргОрганизатор

      Если нужно, возьму на проверку.
       
    6. evgeshik

      evgeshik evgeshik ЧКЧлен клуба

      А чего нет прокси?
       
    7. Huligan3

      Huligan3 Huligan3 ЧКЧлен клуба

      Могу тоже проверить если нужны не оф проверяющие.
       
    8. evgeshik

      evgeshik evgeshik ЧКЧлен клуба

      @Profes Тоже могу быть не оф. проверяющим если нужно :)
       
    9. Profes

      Profes Profes ЧКЧлен клуба (А)

      Для оценки скорости работы шаблона:
      Сбор информации с объявлений (все возможные данные, что на скрине входных настроек) 10 потоков = 4,1 обработанных объявлений в секунду

      Что касается таблиц с 100-500 к строк, то здесь стандартно: если Зенопостер и система потянут, то все ок будет (у тех поддержки можешь уточнить, какие максимально по размерах файлы может обрабатывать Зенопостер, в частности таблицы)
      (1 Mb = примерно 2000 строк со всеми данными)

      Да, можно выбирать бизнес или частные. Вывод категории в результаты добавлю.

      Потому что отлично парсится и без прокси. Если будет нужен парсинг через прокси, добавлю.
       
    10. evgeshik

      evgeshik evgeshik ЧКЧлен клуба

      @Profes всегда любой парсинг по умолчанию провожу через проксю. :) Без прокси мне кажется вообще глупо парсить что-либо
       
    11. Profes

      Profes Profes ЧКЧлен клуба (А)

      Ок, добавлю использование прокси
       
      mironoff, tom51 и evgeshik нравится это.
    12. Lotohov

      Lotohov Lotohov ЧКЧлен клуба

    13. ZevSua

      ZevSua ZevSua ОргОрганизатор

      Может мне ктонить обьяснить для чего он вообще применим?
      Сам уже с пол года собираюсь шаблон сделать, очень нужный, но постер!.. А вот парсинг то зачем ?? понять немогу.
       
    14. robox

      robox robox ЧКЧлен клуба

      Я правильно понял парсить можно с заданными фильтрами например по такой сылке www.olx.ua/transport/legkovye-avtomobili/bmw/?search[filter_float_motor_year:from]=2000
      и то что "в ТОПе" пропускает или потом самому дубли удалять нужно?
       
    15. Profes

      Profes Profes ЧКЧлен клуба (А)

      Примеры применения есть в стартовом посте
       
    16. Profes

      Profes Profes ЧКЧлен клуба (А)

      Да, можно парсить с заданными фильтрами (в текстовый файл вставляются ссылки).
      Присутствует очистка от дублей автоматическая, вручную чистить не нужно.
       
    17. Stals

      Stals Stals БанЗабанен

    18. Moguai

      Moguai Moguai СкладчикСкладчик

    19. robox

      robox robox ЧКЧлен клуба

      Нужно парсить каталог автомобилей, как бить если нужно основные характеристики спарсить "Модель" "Год выпуска" "Пробег"
      "Вид топлива" "Объем двигателя"
      или хотя б весь блок с характеристиками закидать в отдельную ячейку как описание,
      потому что есть объявления с заголовком "Продам" и описанием "детали по телефону" а основная информация в характеристиках
       
    20. Profes

      Profes Profes ЧКЧлен клуба (А)

      Пройдусь по другим категориям и проверю на предмет подобных блоков с дополнительными данными. Если будет все ок, добавлю вывод этих данных в отдельной колонке.
       
    21. Sam11

      Sam11 Sam11 ЧКЧлен клуба

    1. elit-cases
      5/5,
      Организацией складчины доволен
      Крутой быстрый шаблон. Использовал демку зеннопостера. Скачало 10000 (поле телефон) объявлений примерно за 2-3 часа. Пришлось раз 5 ввести капчу, но это из-за того что у меня демо. Качал для создания аудитории под рекламу в Facebook все получилось идеально. Однозначно рекомендую.
      Profes нравится это.
    2. evgeshik
      5/5,
      Организацией складчины доволен
      Шустрый шаблон и что самое главное удобен и понятен. Надеюсь на его долгосрочную поддержку, так как на данный момент нет времени заняться плотно OLX :)
      Гречанка и Profes нравится это.
    3. sahha
      5/5,
      Организацией складчины доволен
      Отличный парсер. Работает быстро, интерфейс очень простой, к тому же есть подробная инструкция.
      Все завяленные функции выполняет.

      Прокси пока не использовал, хотя напарсил уже доовльно не мало объявлений.
      Гречанка и Profes нравится это.
Статус темы:
Закрыта.

Поделиться этой страницей

  1. Сбор взносов (Бизнес и свое дело):
  2. Нужен организатор (Бизнес и свое дело):