Самая полнейшая база AVITO.ru + монетизация + шаблон. ПЕРЕСБОР в другой теме

Тема в разделе "Бизнес и свое дело", создана пользователем starters, 18 май 2018.

Статус темы:
Закрыта.
  1. starters

    starters starters ОргОрганизатор (А)

    [​IMG]


    Супер предложение. Самая большая база объявлений/контактов AVITO.RU

    Такого больше нигде не найдете.
    Меня просили достать базу данных Авито. Я наивно согласился, не догадываясь, что впреди меня ждет не одна неделя круглосуточного парсинга, постоянные правки шаблона на начальном этапе, борьба с блокировками авито и более сотни тысяч вложенных рублей, потраченных на прокси, сервера и бесчисленное количество обращений в их службы поддержки. Это было непросто, но бросать начатое я не привык и достал базу абсолютно всех объявлений Авито. Забирайте!!!

    [​IMG]

    [​IMG] Вся информация представлена в виде базы данных, что позволяет оперативно находить нужную информацию, сортировать, фильтровать, править и экспортировать . Никаких медленных excel, а тем более txt.
    пример таблицы Одежда для девочек
    [​IMG]
    [​IMG]

    [​IMG] Более 47 Гб данных. Более 43 000 000 объявлений. Более 16 000 000 уникальных телефонов по категориям

    [​IMG]
    * таблица будет дополнена новыми данными

    [​IMG] Это полнейшая база объявлений сайта avito.ru собранная с полной версии сайта за последние 2,5 месяца. Все категории и подкатегории. До последней, до последнего объявления на момент парсинга.

    [​IMG]
    [​IMG] Вся доступная информация, по каждому объявлению. Более сотни различных параметров по всем объявлениям
    • ID ...
    • Заголовок ...
    • Телефон ...
    • Адресс ...
    • Статистика ...
    • Даты созданий и последнего обновления ...
    • Все изображения с максимальным разрешением ...
    • Имя продавца, контактного лица, тип организации ...
    • Основная информация ...
    • Дополнительная информация ...
    • ...
    [​IMG]

    [​IMG] Каждое объявление содержит цепочку категорий, разделов, подразделов
    [​IMG]
    [​IMG] Наличие объявлений не прошедших модерацию

    [​IMG]

    [​IMG] Наличие базы данных платного раздела РЕЗЮМЕ. Мало кто знает, но для просмотра номера телефона 1 резюме нужно заплатить авито 49 рублей. Контактные данные в этом разделе невозможно просматривать бесплатно, а уж тем более парсить. Но мне это удалось и моя БД содержит почти 500 000 номеров резюме. А это очень ценная информация, которая отлично монетизируется. Идет бонусом за рекламу.
    [​IMG] Универсальный многопоточный шаблон, работающий на GET/POST через полную версию сайта, который позволяет парсить по региону, по поисковому запросу, по категориям ,по подкатегориям. Вам не нужно готовить ссылки, делать выборки руками на авито. Все это включено в настройки шаблона. Выбирайте регион, поисковой запрос, нужную категорию и жмите старт. Шаблон сам все просканирует, каждый фильтр. Также шаблон умеет парсить РЕЗЮМЕ. Это тоже будет в нем.
    FULL парсер, который спарсил более 45 000 000 объявлений, который прошел все тесты в огромном масштабе.

    Шаблон ведет полную статистику по работе с прокси, позволяя выбирать только лучшие, быстрые прокси и не нарваться на бан АВИТО. Статистика включает подсчет всех запросов по каждому прокси, количество пустых ответов по каждому прокси. Ведет лог по времени отклика прокси, тем самым позволяя убрать медленные, тупые прокси для увеличения скорости парсинга. Статистика позволяет определить лучшие сервисы по работе с прокси.
    Управление параметрами работы шаблона происходит online. Отключить, включить, добавить, удалить прокси - не проблема, а особенно удобно, когда все перед глазами т.к. шаблон работает с базой данных.

    Требования для работы в многопотоке
    - версия ZennoPoster - Lite/Standart/Pro
    - использование ОЗУ до 2 Гб
    - 3-4 ядра CPU
    - диск (зависит от ваших масштабов парсинга)

    [​IMG]
    [​IMG]
    [​IMG]
    [​IMG]
    [​IMG]
    [​IMG]
    [​IMG]
    [​IMG]

    Условия проведения складчины:
    • Цена на всех. Следовательно, чем больше участвующих, тем меньше цена.
    • База в виде дампа (архива). Инструкция по установки вебсервера, heidisql (софт для работы с БД).
    • Материал готов и будет отдан проверяющим при наборе участников, если складчина будет интересна. Цель проверки, проверить наличие заявленных данных. Для ускорения и облегчения проверки будет выдан открытый шаблон ZennoPoster, который берет случайное объявление из БД и переходит в браузере на объявление, кликает телефон. В логе отображается телефон из БД, проверяющие сравнивают. Проверка не должна занять много времени.
    • Нужны 3 официальные проверяющие. Неофициальные не требуются.
    • На данный момент собраны 100% объявлений, но парсинг продолжается, парсится по кругу. Все новые объявления, которые появятся и спарсятся, будут добавлены в базу и выданы.
    • Каждому участнику будет привязан шаблон парсера (полная версия, включающая и парсинг резюме), только на выполнение.
    • Чтобы исключить бессмысленный набор участников, ради снижения взноса и последующей не оплаты , все новореги перед стартом будут выписаны.
    • Выдача материала после 85% оплативших, если вы не готовы оплатить, не записывайтесь.
    • Раздел РЕЗЮМЕ идет бонусом. Для его получения, необходимо оставить 3 рекламных сообщения, не нарушая правила форума.

    ЧАВО
    • Что за цена?
    База уникальна и стоимость одного объявления 3 копейки была сформирована из учета вложенных сил и времени на её сбор. Так же не забывайте про бонусную базу телефонов по РЕЗЮМЕ. Она бесценна и многие впишутся только из-за нее. К тому же, все кому дорого, могут снизить стоимость складчины до нужной, просто прорекламировав.
    • Так я могу и сам спарсить. Зачем покупать?
    Конечно можете, но... Тут много но. Это:
    - затраты времени. Ну уж очень большие.
    - парсер (свой написанный, купленный чужой, арендованный сервис). А это все опять же время, затраты
    - затраты на прокси. Тут авито не даст расслабится. Я перебрал много прокси сервисов. И местные, и чужие. Это все тесты, нервы, деньги. Много сервисов в бане авито. Много кто режет канал. Много кто ставит лимиты на обращение. Многие не соответствуют цене. Очень много селлеров перекупщиков. Это все набитие шишек. А сколько я запросил манибека, сколько жалоб и отзывов.
    • Какой толк с базы?
    С базой будет приложен небольшой мануал по монетизации.
    • Никогда не работал с БД, разберусь?
    Ничего сложного. Будет приложена инструкция, также запросы для выборок, сортировок. В приватке спросите какой нужен запрос на выборку, я вам его выдам. Также приложу вебморду для просмотра БД
    [​IMG]
    [​IMG]
     
    Последнее редактирование модератором: 28 май 2018
    6 пользователям это понравилось.
  2. starters

    starters starters ОргОрганизатор (А)

    Последнее редактирование: 4 июн 2018
    2 пользователям это понравилось.
  3. analytic

    analytic analytic ОргОрганизатор (А)

    Готов проверить и дать развернутый отзыв.
    п.с. материал действительно уникальный
    п.п.с. при каком количестве желающих будет отдан материал на проверку?
     
    2 пользователям это понравилось.
  4. starters

    starters starters ОргОрганизатор (А)

    Тебе могу хоть сейчас
    Только надо подождать пока на облако залью
     
    1 человеку нравится это.
  5. Кирсан Кайфат

    Кирсан Кайфат Кирсан Кайфат ОргОрганизатор

    устанешь проверять, мне кажется. Огромный труд, удачи!
     
    2 пользователям это понравилось.
  6. analytic

    analytic analytic ОргОрганизатор (А)

    В базе есть ID объявления - проверка может быть автоматизированной.
    Монетизация -тоже интересная. Есть возможность делать когортный анализ продавцов, анализ цен и т.п.
    Можно звонить самому, а можно через IP телефонию донести информацию
     
    2 пользователям это понравилось.
  7. starters

    starters starters ОргОрганизатор (А)

    Спасибо.

    Как и писал
    Дам шаблон зенно
    Он будет брать случайный номер из выбранной вами базы. Покажет в логе.
    Переходить на страницу объяы и кликать показать телефон.
    Вам останется только проверить соответствие.

    В принципе будет показывать всю инфу по объяве.

    Но есть но. Некоторые объявления закрыты модератором. Т.е. Их не увидите. Они были спаршены до закрытия.
     
  8. facepalmos

    facepalmos facepalmos ЧКЧлен клуба

    Зная как @starters подходит к делу, однозначно запишусь.
     
    2 пользователям это понравилось.
  9. Canopus

    Canopus Canopus ОргОрганизатор

    могу проверить
     
    1 человеку нравится это.
  10. Leo7777

    Leo7777 Leo7777 ЧКЧлен клуба

    А при каком размере взноса и количестве участников планируется стартовать?
     
    1 человеку нравится это.
  11. KopcapZ

    KopcapZ KopcapZ ЧКЧлен клуба

    Автор делает крутые проекты! Тоже запишусь.
     
    2 пользователям это понравилось.
  12. corallife

    corallife corallife ОргОрганизатор (А)

    готов проверить
     
    1 человеку нравится это.
  13. starters

    starters starters ОргОрганизатор (А)

    Набрал уже
     
  14. starters

    starters starters ОргОрганизатор (А)

    Взнос зависит от ваших хотений.
    Как скажет большинство
    Ориентируемся на 1000
     
    1 человеку нравится это.
  15. xRatt

    xRatt xRatt ЧКЧлен клуба

    А вы нулем не ошиблись случайно? У вас стоимость миллион двести тысяч... Сомневаюсь, что с такой ценой взнос упадет до 1000... )
     
  16. starters

    starters starters ОргОрганизатор (А)

    А вы темой не ошиблись?
    Флудилка не здесь
     
  17. xRatt

    xRatt xRatt ЧКЧлен клуба

    Только не наказывайте меня, я знаю правила... ) Я не обсуждаю ход складчины и цену, просто указываю на возможную ошибку...
     
  18. starters

    starters starters ОргОрганизатор (А)

    Не имею права наказать
    Ошибки нету

    База уникальная. Акутальная. Свежая.
    В сети такой базы нет.
    Здесь вся инфа по каждому объяевлению. Не выборочно или часть инфы, а все, включая номер
    Все категории. Все, и большие и маленькие
    Здесь имеется Резюме. Если вы напрямую у авито будете оплачивать только за резюме, так оно станет дороже и без базы.
    Чем больше участников, тем меньше цена. Рекламируйте и достигнем еще меньшей цены.
     
  19. Mozgovic

    Mozgovic Mozgovic ЧКЧлен клуба

    @starters
    Не очень понятно, как работать с этой Базой - с помощью отдельного самостоятельного софта или нужен Зеннопостер ?
     
  20. starters

    starters starters ОргОрганизатор (А)

    Можно в софте работающего с БД
    (у меня это хейдискьюл) делать выборка пофильтрам, запросам. Сортировка.

    Таким способом можно как выбрать отсортировать телефоны, так отфильтровать данные.
    БД это типа экселя, но намного быстрее, удобнее и круче
     
    1 человеку нравится это.
Статус темы:
Закрыта.

Поделиться этой страницей