Парсер Авито. Собери и бомби! [ZP/ZB]

Тема в разделе "Бизнес и свое дело", создана пользователем Михаил_63, 28 апр 2021.

Статус обсуждения:
Комментирование ограничено.
  1. 28 апр 2021
    #1
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    Собирай номера для смс рассылок, ватсап и вайбер.
    Собирай объявления для анализа конкурентов и оценки ниш.


    photo_2021-04-15_16-06-06.jpg

    Первая тема
    - Ссылка
    Повтор 1 - Ссылка
    Повтор 2 - Ссылка
    Повтор 3 - Ссылка
    Повтор 4 - Ссылка

    Отзывы проверяющих:
    1) Stromden
    2) Hade
    3) Mr-Grey

    Отзывы участников
    2021-04-28_000715.jpg
    e7685afd914bf8d403178b4074c4b508.png


    Всем привет. Я создаю и продаю программы для авито. Парсеру уже 3 года, все это время он обновляется и развивается.


    Сразу хочу уточнить пару моментов:
    1) Номера показываются только в разделах Услуги, Автомобили, Недвижимость и Вакансии. В остальных категориях номера скрыты! Вся остальная информация доступна. (Это не моя прихоть, а новые ужесточения от авито)

    2) Парсер работает только на мобильных проксях. Стоимость 1 шт (500-700р), в день можно парсить 10-20к объявлений и номеров. (где брать прокси я скажу) (теоретически можно и сервреные использовать, но очень высокий риск бана, на мобильных такого риска нету)

    ЧТО МОЖЕТ ПАРСИТЬ?

    2021-04-28_001242.jpg

    ПРИМЕР ПАРСИНГА:
    [​IMG]

    [​IMG]


    ДОПОЛНИТЕЛЬНЫЕ ФУНКЦИИ
    :

    1. Сохранение фото в папку - сохраняет фото с папку, название папки это ID объявления, а название фото соответствует тому, что назначило авито (числовая комбинация). Фото парсятся с мобильной версии, по этому имеют разрешение не выше 640х480

    2. Получение дополнительных данных из раздела Недвижимость - Информация о офицальном застройщике, общая/жилая площадь, этаж, отделка и т.д. (+ для раздела Запчасти - Состояние товара и Номер детали)

    3. Настраиваемые интервалы (если все же решите использовать севрерные прокси) - в парсере есть использование полной, мобильной и API версии авито, все эти версии имеют разные рекомендуемые интервалы для работы серверных или мобильных прокси. Для мобильных можно вставить 0, это будет означать самую быструю работу, по факту в программе уже выставлены минимальные интервалы, по этому нет смысла поднимать многопоток для одной мобильной прокси. Она и так будет работать на пределе.

    4. Блеклист с разными режимами работы (Статичный, динамичный) - динамичный, т.е. автополняемый, если мы получили номер от пользователя авито, то ID его профиля заносится в блеклист и не дает больше сохранять его данные. Подходит для парсинга номеров. Статичный - не пополняется, нужен для того, если вы хотите исключить из парсинга определенных пользователей, которые вам не нужны.

    5. Определение пола по имени - фишка уже старая, но по прежнему актуальная.

    6. И главная фишка это стабильность программы, даже сложно представить сколько времени ушло на ее стабилизацию и отлов различных поведений авито, прокси, инета, компьютера.

    ЧТО НУЖНО ДЛЯ РАБОТЫ ПРОГРАММЫ:
    1. Персональный компьютер или сервер.
    2. Рабочая и обновленная система Windows 7 и выше.
    3. Стабильный доступ в интернет
    4. Мобильные прокси (скажу где брать)
    ЧТО ВХОДИТ В КОМПЛЕКТ:
    1. Парсер
    2. Мануал
    3. Поддержка
    4. Поддержка программ в работоспособном состоянии
    5. Доступ к крутым мобильным проксям (500-700 р в мес)!

    БОНУС:
    База магазинов (25к+ строк)
    Первая база за 2018 год
    Вторая октябрь 2020 года
    Третья будет спаршена на сборах
     
    Последнее редактирование модератором: 28 апр 2021
    2 пользователям это понравилось.
  2. 28 апр 2021
    #2
    Sifalium
    Sifalium ЧКЧлен клуба
  3. 28 апр 2021
    #3
    archieekb
    archieekb ЧКЧлен клуба
    Есть архив авито? Можно ли собрать номера со старых объявлений?
    Если будет необходимость собирать со всех возможных объявлений номера в течении года, парсер может поддерживать актуальность, регулярно собирая новые номера?
     
  4. 28 апр 2021
    #4
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    Старых баз нету.

    Парсер собирает ту информацию которая доступна на сайте в данный момент времени.

    Тут не понял вопроса. Если вы по режим который бы по кругу парсил одно и тоже и добавлял новые данные в таблицу. То такой режим есть, но им пользуется 1 из 50 клиентов. По этому такие функции я стараюсь не афишировать, времени на поддержку уходит много, а пользуется по факту 1-2 человека. По этому по поводу регулярного сбора, ответ скорей нет. Нужно участие человека, нужно его запускать, раз в день хотя бы проверять.
     
  5. 29 апр 2021
    #5
    skladchikum
    skladchikum ЧКЧлен клуба
    zennobox входит в стоимость?
     
  6. 29 апр 2021
    #6
    skladchikum
    skladchikum ЧКЧлен клуба
    тут еще надо уточнить, про Недвижимость и Авто:
    80-90 % номеров там подменены авитовскими и не годятся для сбора спам-базы
     
    1 человеку нравится это.
  7. 29 апр 2021
    #7
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    Нет.

    Да, для рассылок не подойдет. А вот для звонков вполне.
     
  8. 1 май 2021
    #8
    LevshA21
    LevshA21 ЧКЧлен клуба
  9. 5 май 2021
    #9
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    Помимо сохранения фото в папку, вы можете просто сохранять ссылки на фото. Запись идет в одну ячейку, разделитель между ссылок "запятая".
     
  10. 7 май 2021
    #10
    Venjador
    Venjador ДолжникДолжник
  11. 7 май 2021
    #11
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    Автоматизировать процессоры? А что, процессоры вручную работают?))
     
    1 человеку нравится это.
  12. 8 май 2021
    #12
    Venjador
    Venjador ДолжникДолжник
    Опечатка, конечно же процессы, но можно и процессоры))
     
    1 человеку нравится это.
  13. 11 май 2021
    #13
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    Не так давно была проведена работа по ускорению парсера для одного потока. В течении нескольких дней я сделаю замеры скорости и скину в тему результаты.
     
  14. 13 май 2021
    #14
    Belair
    Belair ЧКЧлен клуба
    а сколько мобильных прокси вообще покупать придется? от объема зависит или от скорости?
     
  15. 13 май 2021
    #15
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    Можно на одной работать. Если больше брать, то скорость сбора будет выше.
     
    1 человеку нравится это.
  16. 15 май 2021
    #16
    igr-slp
    igr-slp БанЗабанен
    на условиях рекламы

    Складчина лучших программ
    рерайтинг и генерация текстов - TextXpert Phoenix
    ждет участников

    Прекрасный инструмент для копирайтера и специалиста по раскрутке

    Рерайтеры и копирайтеры (версия ограниченная только для них)
    TextXpert Phoenix ReWrite 2021 Покупка 1500 р. https://v13.skladchik.org/threads/Программа-для-рерайтинга-textxpert-phoenix-rewrite-2021.323451/

    Рерайтинг и размножение текста (полная версия)
    TextXpert Phoenix 2021 Покупка 2500 р. https://v13.skladchik.org/threads/t...атей-рерайтинг-текстов-первая-покупка.306389/
    TextXpert Phoenix 2021 Обновление 500 р. https://v13.skladchik.org/threads/t...-рерайтинг-текстов-Обновление-до-2021.306392/
    ...
     
  17. 18 июн 2021
    #17
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    Извиняюсь что пропал. Парсер по прежнему актуален. Складчину стартану в ближайшие дни.
     
  18. 7 июл 2021
    #18
    Ashkeron
    Ashkeron ЧКЧлен клуба
  19. 8 июл 2021
    #19
    webnarmin
    webnarmin ЧКЧлен клуба
  20. 11 июл 2021
    #20
    Prospector01
    Prospector01 ЧКЧлен клуба
Статус обсуждения:
Комментирование ограничено.

Поделиться этой страницей