5/5, Голосов: 2
Закрыто

[Повтор] Парсер продаж на Etsy [zennoposter] + Бонус

Тема в разделе "Бизнес и свое дело", создана пользователем Flubber, 6 апр 2016.

Цена: 5014р.
Взнос: 110р.
100%

Основной список: 60 участников

Резервный список: 2 участников

Статус темы:
Закрыта.
    1. Flubber

      Flubber Flubber ОргОрганизатор (А)

      Всем привет.

      После прочтения этого поста - прочитай вот этот

      Предлагаю вашему вниманию ( скорее всего последний ) повтор складчины на небольшой шаблон для парсинга продаж магазинов Etsy!

      Курс будет полезен тем, кто:
      1) Имеет свой магазин на Etsy и хочет анализировать продажи конкурентов.
      2) Участвовал/будет участвовать в складчине от @Манана81 по продаже цифровых товаров.

      Не используя этот парсер вы потеряете кучу времени на анализ конкурентов и самых продаваемых товаров.
      А это вы должны делать обязательно, если не хотите рассчитывать лишь на удачу.

      Отзывы участников:

      Для тех кто не в курсе: у всех магазинов на Etsy есть раздел, где отображена каждая продажа поштучно. Именно этот раздел мы и будем парсить.

      Что же делает шаблон?
      1. Получает на вход нужные для обработки магазины.
      2. Собирает заданное кол-во (либо все) страниц товаров с раздела продаж.
      3. Для каждого магазина генерирует свой отчет содержащий:
        • фото товаров (размер можно выбирать)
        • ссылки на них
        • даты последних продаж (с последними изменениями на Etsy даты исчезли)
        • суммарное количество продаж по каждой позиции
      4. Опционально генерируется общий отчет, содержащий всю статистику по обработанным магазинам
      Сгенерированный отчет позволит отследить наиболее продаваемые или, наоборот, непопулярные товары. Эта информация может помочь вам как на начальных этапах становления вашего магазина, так и для увеличения продаж уже состоявшегося магазина, путем отслеживания предпочтений покупателей и подстраивания под них товарного ряда.

      Принцип работы работы можно увидеть на видео:


      Видео старое, поэтому интерфейс настроек шаблона неактуальный, но принцип работы сохранился.
      1. Из поиска Etsy были выбраны 3 случайных магазина
      2. Их названия были помещены в текстовый файл, с которым работает шаблон
      3. В настройках шаблона было выставлено количество обрабатываемых страниц для каждого магазина = 5
      4. В дополнительных настройках был выставлен вывод в консоль информации о том какая страница обрабатывается, с шагом 1.
      5. После обработки первого магазина был показан сгенерированный отчет .
      6. После завершения работы шаблона был показан общий отчет.

      Технические вопросы

      - Шаблон работает на C# и не использует эмулятор браузера, так как это бы в разы замедлило его работу.
      - Парсинг и обработка одной страницы занимает в среднем около 1 с. Плохая новость в том, что при больших показателях продаж сильно разрастается и количество страниц, так как на одну страницу Etsy выдает всего-лишь 26 позиций. Большую часть времени у меня занимало именно получение ответа с контентом страницы, поэтому все будет зависеть от вашего интернет-канала.
      - Многопоточности нет. И пока не планируется. Но вроде как можно запустить два разных инстанса шаблона (я не проверял).
      - Поддержка прокси - есть.
      - Бана по IP ни у кого не было (парсили и по 7 часов к ряду). Однако, для дополнительной безопасности вывел в настройки возможность выставлять задержки между запросами.
      - Также, рекомендую проставлять ограничение на количество обрабатываемых страниц магазина. Иначе обработка может занять очень много времени.
      - Шаблон открыт только на выполнение.

      [​IMG]
      [​IMG]
      [​IMG]

      Борьба с возражениями
      В: Зачем мне покупать шаблон, если на Etsy есть возможность отсортировать товары по кол-ву продаж?
      О:
      Алгоритм подсчета Etsy мне немного не ясен. Если бы сайт просто показывал топ проданных товаров с их реальным количеством, то вопросов бы не было, однако он может показать один и тот же товар на одной странице несколько раз, а также показать товар первым в списке, хотя у него было всего 2 продажи, а у остальных в разы больше. Вот пример такого магазина:


      не могу ручаться за то, что там что-то не измениться, но в данный момент первым идет товар у которого, как раз всего две продажи (можно пролистать и посмотреть). Товар же, который имеет 18 продаж, идет почти последним на этой странице.
      Второй момент - это отсутствие общего отчета, который агрегирует данные сразу с нескольких магазинов.

      В: У Etsy есть свое API, которое, возможно, предоставляет более быстрый способ получения и фильтрации продаж. Почему не использовать его?
      О: Парсер я делал по-большей части для себя и времени, как и желания, разбираться с API, к сожалению, нет. Нужно регистрироваться как разработчик и получать индивидуальный токен для возможности дальнейшей работы + не уверен, что они дают возможность так нагло тащить эти данные. Однако ничего не могу сказать, может кто разберется и захочет попробовать поработать с API.

      В: Ок, почему цена именно такая?
      О:

      - Почему такая большая? Потому, что я все-таки потратил свое время на причесывание шаблона и готов осуществлять месячную поддержку в приватной теме, а также необходимые доработки.
      - Почему такая маленькая? Потому, что этот инструмент не так сложен в реализации, и я не готов брать за него большие деньги. А также я очень надеюсь, что он действительно сможет принести кому-нибудь пользу кроме меня.
      - Почему больше чем в первой складчине? Потому, что вместе с предыдущими складчиками была увеличена стабильность работы шаблона, добавлены варианты обхода возникающих ошибок, а так же добавлена возможность выбирать размеры фотографий, которые будут загружены.

      В: У меня нет Zennoposter'a. Что это вообще такое?

      О: Zennoposter это программа, позволяющая автоматизировать любую работу в сети и не только. Она стоит денег, подробнее почитать можно на оф. сайте:


      Однако, можно использовать бесплатную демо-версию. Об её ограничениях можно почитать здесь:

      . От меня будет посильная помощь в запуске шаблона для тех, кто с этим еще не сталкивался.

      В: Может Zennobox?
      О: Вряд ли :) Учитывая стоимость шаблона, платить дополнительно $10 вряд ли кто-то захочет. Для тех кто не знает, Zennobox - это программа позволяющая работать с конкретным шаблоном без Zennoposter'a, однако за нее надо заплатить мзду, указанную выше.

      Обновление Etsy от 5.04.2016:
      1) Etsy обновила интерфейс редактирования своего магазина, поэтому были подозрения, что это может сказаться на работе парсера, но ничего не случилось. Если же будут какие-то значимые изменения - парсер поправлю. Оказалось, что etsy постепенно вводит свои обновления, и они все-таки повлияли на работу шаблона. Шаблон поправил, однако исчезла возможность получать дату продаж.
      2) У магазинов появилась возможность скрывать свои продажи. Если продажи скрыты, парсер не сможет их обработать.

      БОНУС
      В качестве бонуса прикладываю шаблон по парсингу магазинов найденных по определенному запросу.
      Скрин настроек:
      [​IMG]
      Принцип работы
      1) В отдельном файле вы задаете список фраз, по которым парсер будет искать товары.
      2) По каждой из фраз шаблон ищет товары и собирает названия магагзинов, которые эти товары выставили
      3) Магазины чистятся от дублей и сохраняются в выходной файл.
      По итогу работы у вас получается список магазинов, которые вы можете использовать в основном шаблоне. Вот так классно и чудесно!

      -------------------

      Организационные моменты:
      - Повторюсь: Zennoposter обязателен!

      - Поддержку могу осуществлять на протяжении месяца.
      - Если вдруг Etsy забанит вас по IP за наглость, то я тут ничего поделать не смогу, придется пытаться -использовать прокси, если Zennoposter позволяет.
      - Доп. моменты:
      Хочу еще раз указать на различные нюансы для тех, кто, может быть, не до конца понимает как это все работает:
      1) Продается не самостоятельная программа. Для работы нужен Zennoposter
      2) Zennoposter платный, однако можно использовать бесплатную демо-версию с некоторыми ограничениями
      3) Тем, кому лень переходить по ссылке одно из самых главных ограничений - это то, что демо-версией можно пользоваться лишь 14 дней. Затем нужно будет ждать 16 дней для того, чтобы можно было продолжить работу.
      4) Чтобы неким образом обойти это ограничение, вы сможете зарегистрировать еще один e-mail, и, как только закончится срок первой демо-версии, удалить ее и установить заново с указанием нового email'a. Когда и эта закончится - можно будет вернуться к первой.
      5) Второе ограничение - у вас не будут работать прокси. Хочу заметить, что весь период тестирования шаблона я работал без прокси, и никаких ограничений со стороны Etsy замечено не было. Тем более не было никаких намеков на бан магазина. Однако, думаю, что если пытаться спарсить весь Etsy в один присест, то это может к чему-то привести.
      6) Шаблон не работает на версии Zennoposter 5.9.7.1
      7) Шаблон также тестировался и работает на версиях 5.8.7.0, 5.9.5.1, 5.9.8.0. Однако это не значит, что на других версиях шаблон не будет работать. Если будут возникать какие-то проблемы с работой шаблона конкретно у вас, то будем решать их как можно оперативней.


      Проверяющие:
      1) vandam - отзыв
      2) ex1stence - отзыв
      3) Cheshir - отзыв
       
      Последнее редактирование: 15 апр 2016
    2. Последние события

      1. skladchik.com

        53dva не участвует в складчине.

        7 июл 2017
      2. skladchik.com

        Lolandia1 не участвует в складчине.

        7 июл 2017
      3. Pomid0Rka

        Pomid0Rka оставил отзыв "Отлично".

        26 май 2016
      4. AnyMe

        AnyMe оставил отзыв "Отлично".

        26 май 2016

      Последние важные события

      1. skladchik.com

        Складчина закрыта.

        29 апр 2016
      2. skladchik.com

        Осталось 5 дней до завершения складчины.

        23 апр 2016
      3. skladchik.com

        Складчина активна.

        23 апр 2016
      4. skladchik.com

        Сбор взносов начинается 23.04.2016.

        21 апр 2016
    3. johnyb

      johnyb johnyb ЧКЧлен клуба

      предыдущие участники получат?
       
    4. Flubber

      Flubber Flubber ОргОрганизатор (А)

      так он у вас есть :)
       
      1 человеку нравится это.
    5. johnyb

      johnyb johnyb ЧКЧлен клуба

      Так ..будем изучать матчасть))) Я думал-это что то новое)))
       
      1 человеку нравится это.
    6. Funnytattoo

      Funnytattoo Funnytattoo ЧКЧлен клуба

      приглашаю в еще одну складчину на отдельную программу для парсинга с алиэкспресс

       
    7. semenich2

      semenich2 semenich2 БанЗабанен

      @moovix когда предположительно сборы ? шаблон действительно нужный.
       
    8. Flubber

      Flubber Flubber ОргОрганизатор (А)

      Сейчас пока etsy колбасит (то старый, то новый UI подставляется). Как только это устаканится, и пройдет складчина Мананы, то тогда и стартанем. Так как скорее-всего это первый и последний повтор, то чуть-чуть надо подождать народ.
       
      2 пользователям это понравилось.
    9. semenich2

      semenich2 semenich2 БанЗабанен

      UI - это что такое ? впервые слышу. кстати если я ниразу не работал с зенопостер я розберусь по вашему шаблону ?
       
    10. Flubber

      Flubber Flubber ОргОрганизатор (А)

      UI - user interface, внешний облик сайта.
      Я инструкций по работе с Zennoposter не даю, но помогу в любом случае, если будут возникать какие-то проблемы. Из первого потока не было таких (из числа тех, кто вёл общение), кто бы не разобрался.
       
    11. luzani

      luzani luzani ЧКЧлен клуба (А)

      Рекламная пауза
      [​IMG]
       
    12. Comradegan

      Comradegan Comradegan БанЗабанен

    13. Flubber

      Flubber Flubber ОргОрганизатор (А)

      Друзья! Уже долго молчу, надо отметиться.
      На сколько я вижу сегодня Etsy полностью перешла на новый дизайн. Шаблон поправлен и работает.
      Изменения:
      - Удалил дату продаж листингов из сгенерированных отчетов.
      - Если продажи магазина закрыты - то они не смогут быть спарсены.

      + Шаблон доработан под новый дизайн.
      + Если магазин закрыл свои продажи, то в логе будет видна эта информация.
      + Добавлена возможность задавать магазины прямо в настройках.
      + Добавлена возможность фильтровать листинги как на шаге парсинга, так и в отчетах.
      + Увеличина стабильность работы шаблона.


      Отчет теперь выглядит так:
      [​IMG]

      По процессу работы шаблона:
      1. Из-за изменений Etsy шаблон может немного дольше работать, так как на каждый запрос ему надо получить определенный дизайн (изначально неизвестно какой из дизайнов придет). Однако, если информация подтвердится, и Etsy действительно перешел на новый дизайн окончательно, то скорость не пострадает.
      2. Некоторые магазины всё-таки стали закрывать свои продажи. Поэтому:
        • Проверьте магазины, которые бы вы хотели спарсить. Для этого перейдите на нужный магазин и посмотрите на левый столбец:
          [​IMG]
          Если продажи ссылка на "sales" активна - то всё ок. Если же она отображена простым текстом, то магазин заблокировал эту информацию.
        • Если статистика по вашим магазинам вас не устраивает - лучше не приобретайте шаблон.

      Добавлен новый доп. шаблон: Парсинг поисковых подсказок. Вот этих:
      [​IMG]
      Им вы можете спарсить запросы, которые дальше используете в первом доп. шаблоне для парсинга соответствующих магазинов, а затем, используя фильтр в основном шаблоне - получите актуальную информацию по конкретным товарам!

      В итоге: думаю, что еще день-два посмотрю на Etsy, чуть подкорректирую шаблон, и, если складчики останутся, то стартанём. Тем более, что курс от Мананы уже выдан.
       
      2 пользователям это понравилось.
    14. dstuff

      dstuff dstuff ЧКЧлен клуба (А)

      Можно самостоятельно сменить дизайн отчета? :) Верстать умею
       
    15. Flubber

      Flubber Flubber ОргОрганизатор (А)

      Конечно. Сss стиль отдельно лежит.
       
      1 человеку нравится это.
    16. Flubber

      Flubber Flubber ОргОрганизатор (А)

      Вот пример отчета вместе со стилями. Если надумаешь брать шаблон, то можешь уже заранее подготовить свой собственный дизайн. Честно скажу, что на лучшую компоновку стиля и форматирования html не претендую. На них терпения не хватает :)
       
      1 человеку нравится это.
    17. BenDron

      BenDron BenDron ЧКЧлен клуба

      @moovix шаблон парсит описание товара?
       
    18. Flubber

      Flubber Flubber ОргОрганизатор (А)

      Нет, только то, что указано в стартпосте. Если парсить описание каждого листинга, то это примерно в 20 раз увеличит время работы шаблона. Отчет генерируется со ссылками, по которым можно перейти и посмотреть описание заинтересовавшего товара.
       
    19. Zelenka

      Zelenka Zelenka ОргОрганизатор

      Подскажите, пожалуйста, где пока (в ожидании парсера) можно посмотреть количество продаж конкретного товара? А то вижу только суммарно у всего магазина. :rolleyes:
       
    20. dstuff

      dstuff dstuff ЧКЧлен клуба (А)

      Так в том то и дело, что нигде (если про магазины конкурентов). Точнее можете вручную посчитать, насколько я понял.
       
      2 пользователям это понравилось.
    21. Flubber

      Flubber Flubber ОргОрганизатор (А)

      Выше ответили верно :) В этом соль данного шаблона.

      Прошу прощения за задержку. Организатор ждёт завершения текущей своей складчины, и начинаем.
       
      2 пользователям это понравилось.
    1. Pomid0Rka
      5/5,
      Организацией складчины доволен
      Парсер отличный, спасибо за проделанную работу!
      3 пользователям это понравилось.
    2. AnyMe
      5/5,
      Организацией складчины доволен
      К автору вопросов нет, все отлично работает в случае чего помогает. Спасибо... Скрипт весьма и весьма полезен, да и бонусы порадовали.
      3 пользователям это понравилось.
Статус темы:
Закрыта.

Поделиться этой страницей