Профессиональный парсер для Авито - 3.5 млн. номеров в сутки! (ZennoPoster)

Тема в разделе "Бизнес и свое дело", создана пользователем Михаил_63, 10 фев 2019.

Статус обсуждения:
Комментирование ограничено.
  1. 10 фев 2019
    #1
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    1529933824_5e8m8---копия.jpg

    Мощный софт, способный собрать гиганское кол-во номеров.
    Процесс оптимизации занял продолжительное время, было потрачено много ресурсов на тесты и разработку.
    Скорость парсинга увеличилась в 7 раз, а нагрузка на процессор снизилась на 50%.

    Для получения такой скорости использовалась локальная база данных MySQL.
    Для работы необходим ZennoPoster PRO версии 5.9.9.1 или 5.11.7.0 и Open Server.
    Для работы нужны пакетные прокси РУ/СНГ (есть на складчике).
    Операционная система: Windows Server 2016
    Процессор: i7-3770 или выше
    Оперативная память: 8 Gb или выше.

    Бесплатные обновления и поддержка.
    Скорость 3.5 миллионов номеров в день, указана без учета дублей.
    В комплекте идет инструкция по полной настройке и установке парсера под ключ.

    Бонусы:

    Способы монетизации

    Регистратор аккаунтов Авито с поддержкой мобильных прокси, почт и смс сервисов.

    Пассворд Авито – программа для смены паролей, имен, фото на аккаунтах авито.

    Парсер магазинов авито – на авито размещено более 20к магазинов, по скольку информация о магазинах размещена в другом формате, для них сделал отдельный парсер.

    Условия получение бонуса:
    От Член клуба и выше - ссылка на тему в подписи
    Складчик - три рекламных поста в смежных темах.
     
    Последнее редактирование модератором: 10 фев 2019
    2 пользователям это понравилось.
  2. 10 фев 2019
    #2
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    Позже тут будут скрины и видео.
     
    1 человеку нравится это.
  3. 10 фев 2019
    #3
    Hade
    Hade ДолжникДолжник
    10к с каждого? Получается за 6 дней можно собрать все номера с авито. Номера магазинов?
     
  4. 10 фев 2019
    #4
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    Да.

    На всем авито 48 млн объявлений. Скорость парсера 3.5 млн в день (планирую повысить до 5 млн. в день).
    Если брать в расчет текущую скорость, то получается 48/3,5=14 дней. За 14 дней, можно спарсить весь авито.

    Для магазинов есть отдельный парсер в бонусах. Самих магазинов 25к на всем авито.
     
  5. 10 фев 2019
    #5
    simak84
    simak84 ДолжникДолжник
    А чё такая цена маленькая? Мне кажется за такую вещь надо было ставить 30 000 и выше. Подумаёте над этим.
    С уважением.
     
    4 пользователям это понравилось.
  6. 10 фев 2019
    #6
    fetmarshal
    fetmarshal ОргОрганизатор (А)
  7. 10 фев 2019
    #7
    Мандарин7
    Мандарин7 ЧКЧлен клуба
    Может актуальнее продавать базу. Помню видел тут базу авито за 1200000
     
  8. 10 фев 2019
    #8
    Hade
    Hade ДолжникДолжник
    с каждого. парни вы что с луны упали или появилось мнение, что на складчике даже воздух продать можно.
    написать узкий парсер под конкретную задачу это 20 строк кода - это для понимания маштаба парсеров.
     
    6 пользователям это понравилось.
  9. 10 фев 2019
    #9
    Openza
    Openza ЧКЧлен клуба
    Последнее редактирование модератором: 10 фев 2019
  10. 10 фев 2019
    #10
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    Да какие 30к, бог с вами)

    Любая база быстро теряет актуальность. А имея парсер с такой скоростью вы всегда будете иметь актуальные и свежие данные. Особое внимание стоит обратить на блеклист, с помощью него, вы уже не спарсите старые (поднятые) объявления, а будете получать только новые.

    Написать это пол дела, надо еще обкатать, отловить недочеты и стабилизировать работу. Прилично я повозился с этим парсером, основная сложность была с оптимизацией MySQL.
     
    1 человеку нравится это.
  11. 10 фев 2019
    #11
    simak84
    simak84 ДолжникДолжник
    :DНу это же был сарказм неужели не понятно.
    Я же не сегодня родился и понимаю что цена любого парсера 1000-2000 от силы.;)
    С уважением.
     
    2 пользователям это понравилось.
  12. 10 фев 2019
    #12
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    Такого парсера на рынке нету, я повторюсь если прошло мимо. С помощью моего парсера можно за 2 недели спарсить ВЕСЬ АВИТО и это не предел, будет еще быстрее.
    Так что цена более чем оправдана, но на счет 30к, я подумаю ;)
     
  13. 10 фев 2019
    #13
    Макбет
    Макбет ДолжникДолжник
  14. 11 фев 2019
    #14
    Nelliu
    Nelliu ЧКЧлен клуба
    @Михаил_63 приветик.А чем этот ваш парсер от предыдущего отличается?
     
  15. 11 фев 2019
    #15
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    Быстрее и больше собирает. Меньше потребляет ресурсов.
     
  16. 11 фев 2019
    #16
    Axelrod
    Axelrod ОргОрганизатор
    30к хорошая цена

    Вот здесь есть мега крутой курс от @nztcoder называется "Живые аккаунты в дейтинге", где бонусом идет курс по парсингу, на чистом C# без кубиков.
     
    Последнее редактирование модератором: 11 фев 2019
    4 пользователям это понравилось.
  17. 11 фев 2019
    #17
    Юрецкий
    Юрецкий ЧКЧлен клуба
    2 пользователям это понравилось.
  18. 11 фев 2019
    #18
    ruzaev
    ruzaev ЧКЧлен клуба
    Сколько потребуется проксей? для парсинка 3.5 млн телефонов
     
  19. 11 фев 2019
    #19
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    700-1000 шт должно хватить.
     
  20. 12 фев 2019
    #20
    Михаил_63
    Михаил_63 ЧКЧлен клуба (А)
    В умелых руках можно отбить эту стоимость за 1-2 дня. Спаршенную за сутки базу можно продать за 100-200% от стоимости шаблона, надо просто знать кому ее толкнуть, не боятся искать спрашивать, идти на компромиссы. Многие судят по себе и по этому делают ложные выводы, по сути даже не вникая в тему. В интеренете миллионы людей и каждый день тысячи ищут и предоставляют услуги так или иначе связанные с интернетом. Самое главное в интеренете - это общение, знакомства, общие интересы. Коммуникабельность - вот где находятся реальные деньги. Даже если у вас не получится найти нужного человека, ваш знакомый его найдет. Деньги любят смелых, даже немножечко наглых.

    Я расскажу реальную ситуацию и почему я решил сделать такой парсер:

    Я уже более года продаю парсер авито, у меня есть множество клиентов, с некоторыми сложились хорошие и добрые отношения. Недавно произошла интересная ситуация, одному из клиентов срочно нужна была актуальная база и так оказалось, что мой другой клиент уже несколько месяцев стабильно собирал базы номеров для одной конторы, я не знаю сколько ему платили, у меня нету привычки лезть в чужой карман, человек зарабатывает и я рад этому, так вот, я этих двух ребят свел и один клиент купил у другого базу в 2.5 млн уникальных телефонов, за 25к. Я понимаю как это звучит, но это чистая правда. В тот момент во мне, что-то изменилось я увидел то, что не видел раньше. Я сказал себе, я сделаю шаблон который соберет эту базу за сутки, и я начал работать, это было реально очень сложно, зенка тяжело оптимизируется под многопоток, пару раз я думал сдаться, но мне помогали знакомые и друзья разобратся с теми задачами в которых мне не хватало скилов. В итоге я сделал продукт который хотел.

    Так что, своей стороны я сделал все, что от меня требовалось. Дальше все в ваших руках...
     
    Последнее редактирование модератором: 13 фев 2019
    2 пользователям это понравилось.
Статус обсуждения:
Комментирование ограничено.

Поделиться этой страницей