Самая полнейшая база AVITO.ru + монетизация + шаблон. ПЕРЕСБОР в другой теме

Супер предложение. Самая большая база объявлений/контактов AVITO.RU
Такого больше нигде не найдете.
​

Меня просили достать базу данных Авито. Я наивно согласился, не догадываясь, что впреди меня ждет не одна неделя круглосуточного парсинга, постоянные правки шаблона на начальном этапе, борьба с блокировками авито и более сотни тысяч вложенных рублей, потраченных на прокси, сервера и бесчисленное количество обращений в их службы поддержки. Это было непросто, но бросать начатое я не привык и достал базу абсолютно всех объявлений Авито. Забирайте!!!

​

​

Вся информация представлена в виде базы данных, что позволяет оперативно находить нужную информацию, сортировать, фильтровать, править и экспортировать . Никаких медленных excel, а тем более txt.

пример таблицы Одежда для девочек​

​

Более 47 Гб данных. Более 43 000 000 объявлений. Более 16 000 000 уникальных телефонов по категориям

​

* таблица будет дополнена новыми данными​

Это полнейшая база объявлений сайта avito.ru собранная с полной версии сайта за последние 2,5 месяца. Все категории и подкатегории. До последней, до последнего объявления на момент парсинга.

​

Вся доступная информация, по каждому объявлению. Более сотни различных параметров по всем объявлениям

• ID ...
• Заголовок ...
• Телефон ...
• Адресс ...
  
• Статистика ...
• Даты созданий и последнего обновления ...
• Все изображения с максимальным разрешением ...
  
• Имя продавца, контактного лица, тип организации ...
• Основная информация ...
• Дополнительная информация ...
• ...

​

Каждое объявление содержит цепочку категорий, разделов, подразделов

​

Наличие объявлений не прошедших модерацию

​

Наличие базы данных платного раздела РЕЗЮМЕ. Мало кто знает, но для просмотра номера телефона 1 резюме нужно заплатить авито 49 рублей. Контактные данные в этом разделе невозможно просматривать бесплатно, а уж тем более парсить. Но мне это удалось и моя БД содержит почти 500 000 номеров резюме. А это очень ценная информация, которая отлично монетизируется. Идет бонусом за рекламу.

​

Универсальный многопоточный шаблон, работающий на GET/POST через полную версию сайта, который позволяет парсить по региону, по поисковому запросу, по категориям ,по подкатегориям. Вам не нужно готовить ссылки, делать выборки руками на авито. Все это включено в настройки шаблона. Выбирайте регион, поисковой запрос, нужную категорию и жмите старт. Шаблон сам все просканирует, каждый фильтр. Также шаблон умеет парсить РЕЗЮМЕ. Это тоже будет в нем.
FULL парсер, который спарсил более 45 000 000 объявлений, который прошел все тесты в огромном масштабе.

Шаблон ведет полную статистику по работе с прокси, позволяя выбирать только лучшие, быстрые прокси и не нарваться на бан АВИТО. Статистика включает подсчет всех запросов по каждому прокси, количество пустых ответов по каждому прокси. Ведет лог по времени отклика прокси, тем самым позволяя убрать медленные, тупые прокси для увеличения скорости парсинга. Статистика позволяет определить лучшие сервисы по работе с прокси.

​

Управление параметрами работы шаблона происходит online. Отключить, включить, добавить, удалить прокси - не проблема, а особенно удобно, когда все перед глазами т.к. шаблон работает с базой данных.

Требования для работы в многопотоке
- версия ZennoPoster - Lite/Standart/Pro
- использование ОЗУ до 2 Гб
- 3-4 ядра CPU
- диск (зависит от ваших масштабов парсинга)

Спойлер: Скриншот входных настроек

Условия проведения складчины:

• Цена на всех. Следовательно, чем больше участвующих, тем меньше цена.
• База в виде дампа (архива). Инструкция по установки вебсервера, heidisql (софт для работы с БД).
• Материал готов и будет отдан проверяющим при наборе участников, если складчина будет интересна. Цель проверки, проверить наличие заявленных данных. Для ускорения и облегчения проверки будет выдан открытый шаблон ZennoPoster, который берет случайное объявление из БД и переходит в браузере на объявление, кликает телефон. В логе отображается телефон из БД, проверяющие сравнивают. Проверка не должна занять много времени.
• Нужны 3 официальные проверяющие. Неофициальные не требуются.
  
• На данный момент собраны 100% объявлений, но парсинг продолжается, парсится по кругу. Все новые объявления, которые появятся и спарсятся, будут добавлены в базу и выданы.
• Каждому участнику будет привязан шаблон парсера (полная версия, включающая и парсинг резюме), только на выполнение.
• Чтобы исключить бессмысленный набор участников, ради снижения взноса и последующей не оплаты , все новореги перед стартом будут выписаны.
  
• Выдача материала после 85% оплативших, если вы не готовы оплатить, не записывайтесь.
• Раздел РЕЗЮМЕ идет бонусом. Для его получения, необходимо оставить 3 рекламных сообщения, не нарушая правила форума.

ЧАВО

• Что за цена?

База уникальна и стоимость одного объявления 3 копейки была сформирована из учета вложенных сил и времени на её сбор. Так же не забывайте про бонусную базу телефонов по РЕЗЮМЕ. Она бесценна и многие впишутся только из-за нее. К тому же, все кому дорого, могут снизить стоимость складчины до нужной, просто прорекламировав.

• Так я могу и сам спарсить. Зачем покупать?

Конечно можете, но... Тут много но. Это:
- затраты времени. Ну уж очень большие.
- парсер (свой написанный, купленный чужой, арендованный сервис). А это все опять же время, затраты
- затраты на прокси. Тут авито не даст расслабится. Я перебрал много прокси сервисов. И местные, и чужие. Это все тесты, нервы, деньги. Много сервисов в бане авито. Много кто режет канал. Много кто ставит лимиты на обращение. Многие не соответствуют цене. Очень много селлеров перекупщиков. Это все набитие шишек. А сколько я запросил манибека, сколько жалоб и отзывов.

• Какой толк с базы?

С базой будет приложен небольшой мануал по монетизации.

• Никогда не работал с БД, разберусь?

Ничего сложного. Будет приложена инструкция, также запросы для выборок, сортировок. В приватке спросите какой нужен запрос на выборку, я вам его выдам. Также приложу вебморду для просмотра БД

Спойлер: Вебморда

 

Отзыв 1
Отзыв 2

Тема пересоздана
и
доступна здесь

Самая полнейшая база AVITO.ru + монетизация + шаблон. Более 43 млн. объявлений. Телефоны.Резюме

 

Готов проверить и дать развернутый отзыв.
п.с. материал действительно уникальный
п.п.с. при каком количестве желающих будет отдан материал на проверку?

 

Тебе могу хоть сейчас
Только надо подождать пока на облако залью

 

В базе есть ID объявления - проверка может быть автоматизированной.
Монетизация -тоже интересная. Есть возможность делать когортный анализ продавцов, анализ цен и т.п.
Можно звонить самому, а можно через IP телефонию донести информацию

 

Спасибо.

Как и писал
Дам шаблон зенно
Он будет брать случайный номер из выбранной вами базы. Покажет в логе.
Переходить на страницу объяы и кликать показать телефон.
Вам останется только проверить соответствие.

В принципе будет показывать всю инфу по объяве.

Но есть но. Некоторые объявления закрыты модератором. Т.е. Их не увидите. Они были спаршены до закрытия.

 

Зная как @starters подходит к делу, однозначно запишусь.

 

могу проверить

 

А при каком размере взноса и количестве участников планируется стартовать?

 

Автор делает крутые проекты! Тоже запишусь.

 

готов проверить

 

Набрал уже

 

Взнос зависит от ваших хотений.
Как скажет большинство
Ориентируемся на 1000

 

А вы нулем не ошиблись случайно? У вас стоимость миллион двести тысяч... Сомневаюсь, что с такой ценой взнос упадет до 1000... )

 

А вы темой не ошиблись?
Флудилка не здесь

 

Только не наказывайте меня, я знаю правила... ) Я не обсуждаю ход складчины и цену, просто указываю на возможную ошибку...

 

Не имею права наказать
Ошибки нету

База уникальная. Акутальная. Свежая.
В сети такой базы нет.
Здесь вся инфа по каждому объяевлению. Не выборочно или часть инфы, а все, включая номер
Все категории. Все, и большие и маленькие
Здесь имеется Резюме. Если вы напрямую у авито будете оплачивать только за резюме, так оно станет дороже и без базы.
Чем больше участников, тем меньше цена. Рекламируйте и достигнем еще меньшей цены.

 

@starters
Не очень понятно, как работать с этой Базой - с помощью отдельного самостоятельного софта или нужен Зеннопостер ?

 

Можно в софте работающего с БД
(у меня это хейдискьюл) делать выборка пофильтрам, запросам. Сортировка.

Таким способом можно как выбрать отсортировать телефоны, так отфильтровать данные.
БД это типа экселя, но намного быстрее, удобнее и круче