Открыто

MonsterParser2Gis - многопоточный парсер 2 гис + доп. парсер Email (работает на API) Доступ навсегда

Тема в разделе "Бизнес и свое дело", создана пользователем zennomonster, 18 янв 2019.

Цена: 1900р.
Взнос: 1900р.

Основной список: 12 участников

Резервный список: 10 участников

Статус обсуждения:
Комментирование ограничено.
  1. 23 фев 2019
    #21
    Mozgovik
    Mozgovik ЧКЧлен клуба
    Что такое регулярки - не знаю, не умею пользоваться.
    А может вы как-нибудь внедрите в парсер?
    Либо в файл выгрузки или ещё как-то.
    Помнится была одна такая тема, где автор внедрил по просьбе трудящихся.
     
  2. 23 фев 2019
    #22
    zennomonster
    zennomonster ЧКЧлен клуба
    Невозможно внедрить такое в парсер... Дело в том, что сложно понять мобильный это номер или городской... Универсального решения нет. Единственный нормальный вариант выгружать собранную, актуальную для Вас базу и чистить лишние номера вручную
     
    1 человеку нравится это.
  3. 23 фев 2019
    #23
    Mozgovik
    Mozgovik ЧКЧлен клуба
    Тот автор по префиксам операторов сделал сортировку - 925, 926, 903, 905, 968 и т.д.
    Надо будет поискать ту тему. Автор orka13 ,что ли, если не ошибаюсь.
     
    1 человеку нравится это.
  4. 25 фев 2019
    #24
    intelligent man
    intelligent man ОргОрганизатор
    @zennomonster, мало столбцов, надо доработать ваш распарс данных. На дворе уже 2019 год, надо делать не хуже конкурентов. Отметил оранжевым то, чего у вас нет, прошу доработать парсер.
     

    Вложения:

    2 пользователям это понравилось.
  5. 26 фев 2019
    #25
    zennomonster
    zennomonster ЧКЧлен клуба
    Всем привет! Хорошие новости))

    Проверка почти завершена и скоро будем стартовать

    За время проверка скрипт был значительно дополнен и улучшен

    + В базу добавлено поле "Страна"
    + В интерфейс добавлена видео инструкция по работе с программой
    + Добавлена возможность продолжить предыдущий парсинг (можно парсить большую базу в несколько подходов)
    + Добавлен прогрессбар. Шкала, на которой видно как много компаний уже собрано и сколько осталось
    + Добавлена кнопка для удобного закрытия программы (раньше нужно было нажимать правой кнопкой -> закрыть). Теперь просто одна кнопка
    + Улучшен алгоритм парсинга. Благодаря этому не будет проблем при парсинге больших объёмов данных

    Большое спасибо проверяющим за активность и обратную связь!

    P.S. Если Вы ещё не прорекламировали тему для получения бонуса, сейчас самое время ;)
     
    1 человеку нравится это.
  6. 26 фев 2019
    #26
    Mozgovik
    Mozgovik ЧКЧлен клуба
    А что на счёт наших просьб по улучшению?
    Если мобильные телефоны свалены в одну кучу с городскими,
    и их надо сортировать как-то самостоятельно,
    то ценность такого парсера резко снижается.
     
  7. 26 фев 2019
    #27
    zennomonster
    zennomonster ЧКЧлен клуба
    Сейчас как раз работаю по Вашей просьбе)) Добавлю все указанные Вами поля, кроме подраздела и раздела

    По остальным полям согласен, нужные и полезные поля. По разделам - есть рубрика. Добавлять разбивку по разделам очень трудозатратно и не столь актуально на мой взгляд
     
    2 пользователям это понравилось.
  8. 26 фев 2019
    #28
    zennomonster
    zennomonster ЧКЧлен клуба
    Хотя нет, в принципе можно добавить и это... Добавлю все поля, которые Вы указали. В том числе "Сотовый телефон"
     
    3 пользователям это понравилось.
  9. 26 фев 2019
    #29
    zennomonster
    zennomonster ЧКЧлен клуба
    Закончил обновление по Вашей просьбе. Добавил все поля кроме раздела и подраздела... Их добавить не получилось.

    В итоге парсер сейчас выдаёт таблицу со следующими полями:

    - Название
    - Тип
    - Страна
    - Регион
    - Город
    - Адрес
    - Раздел
    - Подраздел
    - Рубрика
    - Email
    - Телефон
    - Сотовый
    - ФИО директора
    - ВКонтакте
    - Facebook
    - Instagram
    - Twitter
    - Сайт
    - YouTube
    - Одноклассники
    - Рейтинг
    - Количество отзывов
    - Количество филиалов
    - Широта
    - Долгота
    - ID
    - Ссылка на организацию
     
    2 пользователям это понравилось.
  10. 26 фев 2019
    #30
    Mozgovik
    Mozgovik ЧКЧлен клуба
    Отлично! А скриншотик не сделаете?
    Широта & Долгота - это конечно самые важные функции для спамера/фрилансера/маркетолога.
    Без них, как без рук. В ковычках.
    Всё что ни поподя зачем делать, для количества?
     
  11. 26 фев 2019
    #31
    intelligent man
    intelligent man ОргОрганизатор
    Отлично, но вам надо логично рассортировать порядок столбцов и возможно изменить некоторые названия столбцов. Ориентируйтесь на список, который я скидываю под спойлером, он из известного парсера конкурента.

    Дата обновления
    Дата добавления
    Название
    Тип
    Страна
    Регион
    Населенный пункт
    Район
    Индекс
    Адрес
    Комментарий к адресу
    Раздел
    Подраздел
    Рубрика
    Ключевое слово
    Телефоны
    Сотовый
    Метро (остановка)
    Email
    Сайт
    Vk.com
    Twitter.com
    Facebook.com
    Instagram.com
    X
    Y
    Количество филиалов
    Рейтинг
    Количество отзывов
    Главное фото
    Средний чек
    Дополнительно
    Время работы
    Заголовок
    Информация
    Описание
     
  12. 26 фев 2019
    #32
    zennomonster
    zennomonster ЧКЧлен клуба
    Держите скрины. Новые столбцы это не всё что не попадя... Сделал по просьбе одного из участника складчины. Плюс разным людям под разные задачи нужны разные столбцы с данными... Кому то, например, может быть нужен рейтинг и количество отзывов))

    У меня всё достаточно логично отсортировано, спасибо.
     

    Вложения:

    1 человеку нравится это.
  13. 26 фев 2019
    #33
    intelligent man
    intelligent man ОргОрганизатор
    Не логично, сайт засунули в социалки и отцепили от почт, которые идут с них. Сайт и Email надо сделать перед столбцом ВКонтакте. А столбец Город надо переименовать в Населенный пункт, так как там идут названия не только городов, а поселков, деревень и т.п.
     
  14. 26 фев 2019
    #34
    intelligent man
    intelligent man ОргОрганизатор
    @zennomonster, вопросы:
    1) Когда-то выйдет из беты новая версия 2ГИС Скрытая ссылка Что потом будет с вашим парсером?
    2) Может вы еще сделаете новый парсер по Яндекс.Картам (новая отдельная складчина)?
     
  15. 26 фев 2019
    #35
    zennomonster
    zennomonster ЧКЧлен клуба
    1) АПИ у 2гиса под новую бету уже обновилось, скрипт написан под новый апи, я его полностью переписал
    2) Да, есть такое в планах в ближайшем будущем. Для начала нужно провести эту складчину, потом буду заниматься следующим продуктом
     
    1 человеку нравится это.
  16. 21 мар 2019
    #36
    specialist
    specialist ЧКЧлен клуба
    2 пользователям это понравилось.
  17. 29 мар 2019
    #37
    kamalovbiz
    kamalovbiz ЧКЧлен клуба
  18. 29 мар 2019
    #38
    zennomonster
    zennomonster ЧКЧлен клуба
    Привет! Скоро старт, думаю примерно через неделю
     
    1 человеку нравится это.
  19. 12 апр 2019
    #39
    intelligent man
    intelligent man ОргОрганизатор
  20. 18 апр 2019
    #40
    artoff
    artoff ЧКЧлен клуба
Статус обсуждения:
Комментирование ограничено.

Поделиться этой страницей