5/5, Голосов: 2
Закрыто

[Повтор] Парсер продаж на Etsy [zennoposter] + Бонус

Тема в разделе "Бизнес и свое дело", создана пользователем Flubber, 6 апр 2016.

Цена: 5004р.
Взнос: 110р.
100%

Основной список:

  1. 1.  
  2. 2.  
  3. 3.  
  4. 4.  
  5. 5.  
  6. 6.  
  7. 7.  
  8. 8.  
  9. 9.  
  10. 10.  
  11. 11.  
  12. 12.  
  13. 13.  
  14. 14.  
  15. 15.  
  16. 16.  
  17. 17.  
  18. 18.  
  19. 19.  
  20. 20.  
  21. 21.  
  22. 22.  
  23. 23.  
  24. 24.  
  25. 25.  
  26. 26.  
  27. 27.  
  28. 28.  
  29. 29.  
  30. 30.  
  31. 31.  
  32. 32.  
  33. 33.  
  34. 34.  
  35. 35.  
  36. 36.  
  37. 37.  
  38. 38.  
  39. 39.  
  40. 40.  
  41. 41.  
  42. 42.  
  43. 43.  
  44. 44.  
  45. 45.  
  46. 46.  
  47. 47.Xelen  
  48. 48.  
  49. 49.  
  50. 50.Lapilli  
  51. 51.  
  52. 52.  
  53. 53.  
  54. 54.  
  55. 55.  
  56. 56.  
  57. 57.  
  58. 58.  
  59. 59.  
  60. 60.  
  61. 61.  

Резервный список:

  1. 1.cosmoledo  
  2. 2.  
Статус темы:
Закрыта.
  1. Flubber

    Flubber Flubber ОргОрганизатор (А)

    Всем привет.

    После прочтения этого поста - прочитай вот этот

    Предлагаю вашему вниманию ( скорее всего последний ) повтор складчины на небольшой шаблон для парсинга продаж магазинов Etsy!

    Курс будет полезен тем, кто:
    1) Имеет свой магазин на Etsy и хочет анализировать продажи конкурентов.
    2) Участвовал/будет участвовать в складчине от @Манана81 по продаже цифровых товаров.

    Не используя этот парсер вы потеряете кучу времени на анализ конкурентов и самых продаваемых товаров.
    А это вы должны делать обязательно, если не хотите рассчитывать лишь на удачу.

    Отзывы участников:

    Для тех кто не в курсе: у всех магазинов на Etsy есть раздел, где отображена каждая продажа поштучно. Именно этот раздел мы и будем парсить.

    Что же делает шаблон?
    1. Получает на вход нужные для обработки магазины.
    2. Собирает заданное кол-во (либо все) страниц товаров с раздела продаж.
    3. Для каждого магазина генерирует свой отчет содержащий:
      • фото товаров (размер можно выбирать)
      • ссылки на них
      • даты последних продаж (с последними изменениями на Etsy даты исчезли)
      • суммарное количество продаж по каждой позиции
    4. Опционально генерируется общий отчет, содержащий всю статистику по обработанным магазинам
    Сгенерированный отчет позволит отследить наиболее продаваемые или, наоборот, непопулярные товары. Эта информация может помочь вам как на начальных этапах становления вашего магазина, так и для увеличения продаж уже состоявшегося магазина, путем отслеживания предпочтений покупателей и подстраивания под них товарного ряда.

    Принцип работы работы можно увидеть на видео:


    Видео старое, поэтому интерфейс настроек шаблона неактуальный, но принцип работы сохранился.
    1. Из поиска Etsy были выбраны 3 случайных магазина
    2. Их названия были помещены в текстовый файл, с которым работает шаблон
    3. В настройках шаблона было выставлено количество обрабатываемых страниц для каждого магазина = 5
    4. В дополнительных настройках был выставлен вывод в консоль информации о том какая страница обрабатывается, с шагом 1.
    5. После обработки первого магазина был показан сгенерированный отчет .
    6. После завершения работы шаблона был показан общий отчет.

    Технические вопросы

    - Шаблон работает на C# и не использует эмулятор браузера, так как это бы в разы замедлило его работу.
    - Парсинг и обработка одной страницы занимает в среднем около 1 с. Плохая новость в том, что при больших показателях продаж сильно разрастается и количество страниц, так как на одну страницу Etsy выдает всего-лишь 26 позиций. Большую часть времени у меня занимало именно получение ответа с контентом страницы, поэтому все будет зависеть от вашего интернет-канала.
    - Многопоточности нет. И пока не планируется. Но вроде как можно запустить два разных инстанса шаблона (я не проверял).
    - Поддержка прокси - есть.
    - Бана по IP ни у кого не было (парсили и по 7 часов к ряду). Однако, для дополнительной безопасности вывел в настройки возможность выставлять задержки между запросами.
    - Также, рекомендую проставлять ограничение на количество обрабатываемых страниц магазина. Иначе обработка может занять очень много времени.
    - Шаблон открыт только на выполнение.

    [​IMG]
    [​IMG]
    [​IMG]

    Борьба с возражениями
    В: Зачем мне покупать шаблон, если на Etsy есть возможность отсортировать товары по кол-ву продаж?
    О:
    Алгоритм подсчета Etsy мне немного не ясен. Если бы сайт просто показывал топ проданных товаров с их реальным количеством, то вопросов бы не было, однако он может показать один и тот же товар на одной странице несколько раз, а также показать товар первым в списке, хотя у него было всего 2 продажи, а у остальных в разы больше. Вот пример такого магазина:


    не могу ручаться за то, что там что-то не измениться, но в данный момент первым идет товар у которого, как раз всего две продажи (можно пролистать и посмотреть). Товар же, который имеет 18 продаж, идет почти последним на этой странице.
    Второй момент - это отсутствие общего отчета, который агрегирует данные сразу с нескольких магазинов.

    В: У Etsy есть свое API, которое, возможно, предоставляет более быстрый способ получения и фильтрации продаж. Почему не использовать его?
    О: Парсер я делал по-большей части для себя и времени, как и желания, разбираться с API, к сожалению, нет. Нужно регистрироваться как разработчик и получать индивидуальный токен для возможности дальнейшей работы + не уверен, что они дают возможность так нагло тащить эти данные. Однако ничего не могу сказать, может кто разберется и захочет попробовать поработать с API.

    В: Ок, почему цена именно такая?
    О:

    - Почему такая большая? Потому, что я все-таки потратил свое время на причесывание шаблона и готов осуществлять месячную поддержку в приватной теме, а также необходимые доработки.
    - Почему такая маленькая? Потому, что этот инструмент не так сложен в реализации, и я не готов брать за него большие деньги. А также я очень надеюсь, что он действительно сможет принести кому-нибудь пользу кроме меня.
    - Почему больше чем в первой складчине? Потому, что вместе с предыдущими складчиками была увеличена стабильность работы шаблона, добавлены варианты обхода возникающих ошибок, а так же добавлена возможность выбирать размеры фотографий, которые будут загружены.

    В: У меня нет Zennoposter'a. Что это вообще такое?

    О: Zennoposter это программа, позволяющая автоматизировать любую работу в сети и не только. Она стоит денег, подробнее почитать можно на оф. сайте:


    Однако, можно использовать бесплатную демо-версию. Об её ограничениях можно почитать здесь:

    . От меня будет посильная помощь в запуске шаблона для тех, кто с этим еще не сталкивался.

    В: Может Zennobox?
    О: Вряд ли :) Учитывая стоимость шаблона, платить дополнительно $10 вряд ли кто-то захочет. Для тех кто не знает, Zennobox - это программа позволяющая работать с конкретным шаблоном без Zennoposter'a, однако за нее надо заплатить мзду, указанную выше.

    Обновление Etsy от 5.04.2016:
    1) Etsy обновила интерфейс редактирования своего магазина, поэтому были подозрения, что это может сказаться на работе парсера, но ничего не случилось. Если же будут какие-то значимые изменения - парсер поправлю. Оказалось, что etsy постепенно вводит свои обновления, и они все-таки повлияли на работу шаблона. Шаблон поправил, однако исчезла возможность получать дату продаж.
    2) У магазинов появилась возможность скрывать свои продажи. Если продажи скрыты, парсер не сможет их обработать.

    БОНУС
    В качестве бонуса прикладываю шаблон по парсингу магазинов найденных по определенному запросу.
    Скрин настроек:
    [​IMG]
    Принцип работы
    1) В отдельном файле вы задаете список фраз, по которым парсер будет искать товары.
    2) По каждой из фраз шаблон ищет товары и собирает названия магагзинов, которые эти товары выставили
    3) Магазины чистятся от дублей и сохраняются в выходной файл.
    По итогу работы у вас получается список магазинов, которые вы можете использовать в основном шаблоне. Вот так классно и чудесно!

    -------------------

    Организационные моменты:
    - Повторюсь: Zennoposter обязателен!

    - Поддержку могу осуществлять на протяжении месяца.
    - Если вдруг Etsy забанит вас по IP за наглость, то я тут ничего поделать не смогу, придется пытаться -использовать прокси, если Zennoposter позволяет.
    - Доп. моменты:
    Хочу еще раз указать на различные нюансы для тех, кто, может быть, не до конца понимает как это все работает:
    1) Продается не самостоятельная программа. Для работы нужен Zennoposter
    2) Zennoposter платный, однако можно использовать бесплатную демо-версию с некоторыми ограничениями
    3) Тем, кому лень переходить по ссылке одно из самых главных ограничений - это то, что демо-версией можно пользоваться лишь 14 дней. Затем нужно будет ждать 16 дней для того, чтобы можно было продолжить работу.
    4) Чтобы неким образом обойти это ограничение, вы сможете зарегистрировать еще один e-mail, и, как только закончится срок первой демо-версии, удалить ее и установить заново с указанием нового email'a. Когда и эта закончится - можно будет вернуться к первой.
    5) Второе ограничение - у вас не будут работать прокси. Хочу заметить, что весь период тестирования шаблона я работал без прокси, и никаких ограничений со стороны Etsy замечено не было. Тем более не было никаких намеков на бан магазина. Однако, думаю, что если пытаться спарсить весь Etsy в один присест, то это может к чему-то привести.
    6) Шаблон не работает на версии Zennoposter 5.9.7.1
    7) Шаблон также тестировался и работает на версиях 5.8.7.0, 5.9.5.1, 5.9.8.0. Однако это не значит, что на других версиях шаблон не будет работать. Если будут возникать какие-то проблемы с работой шаблона конкретно у вас, то будем решать их как можно оперативней.


    Проверяющие:
    1) vandam - отзыв
    2) ex1stence - отзыв
    3) Cheshir - отзыв
     
    Последнее редактирование: 15 апр 2016
  2. Последние события

    1. skladchik.com

      Lolandia1 не участвует в складчине.

      7 июл 2017
    2. skladchik.com

      53dva не участвует в складчине.

      7 июл 2017
    3. Pomid0Rka

      Pomid0Rka оставил отзыв "Отлично".

      26 май 2016
    4. AnyMe

      AnyMe оставил отзыв "Отлично".

      26 май 2016

    Последние важные события

    1. skladchik.com

      Складчина закрыта.

      29 апр 2016
    2. skladchik.com

      Осталось 5 дней до завершения складчины.

      23 апр 2016
    3. skladchik.com

      Складчина активна.

      23 апр 2016
    4. Lapilli

      Сбор взносов начинается 23.04.2016.

      21 апр 2016
  3. johnyb

    johnyb johnyb ЧКЧлен клуба

    предыдущие участники получат?
     
  4. Flubber

    Flubber Flubber ОргОрганизатор (А)

    так он у вас есть :)
     
    johnyb нравится это.
  5. johnyb

    johnyb johnyb ЧКЧлен клуба

    Так ..будем изучать матчасть))) Я думал-это что то новое)))
     
    Flubber нравится это.
  6. Funnytattoo

    Funnytattoo Funnytattoo ЧКЧлен клуба

    приглашаю в еще одну складчину на отдельную программу для парсинга с алиэкспресс

     
  7. semenich2

    semenich2 semenich2 БанЗабанен

    @moovix когда предположительно сборы ? шаблон действительно нужный.
     
  8. Flubber

    Flubber Flubber ОргОрганизатор (А)

    Сейчас пока etsy колбасит (то старый, то новый UI подставляется). Как только это устаканится, и пройдет складчина Мананы, то тогда и стартанем. Так как скорее-всего это первый и последний повтор, то чуть-чуть надо подождать народ.
     
    ЛидГен и Натали_Лисица нравится это.
  9. semenich2

    semenich2 semenich2 БанЗабанен

    UI - это что такое ? впервые слышу. кстати если я ниразу не работал с зенопостер я розберусь по вашему шаблону ?
     
  10. Flubber

    Flubber Flubber ОргОрганизатор (А)

    UI - user interface, внешний облик сайта.
    Я инструкций по работе с Zennoposter не даю, но помогу в любом случае, если будут возникать какие-то проблемы. Из первого потока не было таких (из числа тех, кто вёл общение), кто бы не разобрался.
     
  11. luzani

    luzani luzani ЧКЧлен клуба (А)

    Рекламная пауза
    [​IMG]
     
  12. Comradegan

    Comradegan Comradegan БанЗабанен

  13. Flubber

    Flubber Flubber ОргОрганизатор (А)

    Друзья! Уже долго молчу, надо отметиться.
    На сколько я вижу сегодня Etsy полностью перешла на новый дизайн. Шаблон поправлен и работает.
    Изменения:
    - Удалил дату продаж листингов из сгенерированных отчетов.
    - Если продажи магазина закрыты - то они не смогут быть спарсены.

    + Шаблон доработан под новый дизайн.
    + Если магазин закрыл свои продажи, то в логе будет видна эта информация.
    + Добавлена возможность задавать магазины прямо в настройках.
    + Добавлена возможность фильтровать листинги как на шаге парсинга, так и в отчетах.
    + Увеличина стабильность работы шаблона.


    Отчет теперь выглядит так:
    [​IMG]

    По процессу работы шаблона:
    1. Из-за изменений Etsy шаблон может немного дольше работать, так как на каждый запрос ему надо получить определенный дизайн (изначально неизвестно какой из дизайнов придет). Однако, если информация подтвердится, и Etsy действительно перешел на новый дизайн окончательно, то скорость не пострадает.
    2. Некоторые магазины всё-таки стали закрывать свои продажи. Поэтому:
      • Проверьте магазины, которые бы вы хотели спарсить. Для этого перейдите на нужный магазин и посмотрите на левый столбец:
        [​IMG]
        Если продажи ссылка на "sales" активна - то всё ок. Если же она отображена простым текстом, то магазин заблокировал эту информацию.
      • Если статистика по вашим магазинам вас не устраивает - лучше не приобретайте шаблон.

    Добавлен новый доп. шаблон: Парсинг поисковых подсказок. Вот этих:
    [​IMG]
    Им вы можете спарсить запросы, которые дальше используете в первом доп. шаблоне для парсинга соответствующих магазинов, а затем, используя фильтр в основном шаблоне - получите актуальную информацию по конкретным товарам!

    В итоге: думаю, что еще день-два посмотрю на Etsy, чуть подкорректирую шаблон, и, если складчики останутся, то стартанём. Тем более, что курс от Мананы уже выдан.
     
    Loreleya и dstuff нравится это.
  14. dstuff

    dstuff dstuff ЧКЧлен клуба (А)

    Можно самостоятельно сменить дизайн отчета? :) Верстать умею
     
  15. Flubber

    Flubber Flubber ОргОрганизатор (А)

    Конечно. Сss стиль отдельно лежит.
     
    dstuff нравится это.
  16. Flubber

    Flubber Flubber ОргОрганизатор (А)

    Вот пример отчета вместе со стилями. Если надумаешь брать шаблон, то можешь уже заранее подготовить свой собственный дизайн. Честно скажу, что на лучшую компоновку стиля и форматирования html не претендую. На них терпения не хватает :)
     
    dstuff нравится это.
  17. BenDron

    BenDron BenDron ЧКЧлен клуба

    @moovix шаблон парсит описание товара?
     
  18. Flubber

    Flubber Flubber ОргОрганизатор (А)

    Нет, только то, что указано в стартпосте. Если парсить описание каждого листинга, то это примерно в 20 раз увеличит время работы шаблона. Отчет генерируется со ссылками, по которым можно перейти и посмотреть описание заинтересовавшего товара.
     
  19. Zelenka

    Zelenka Zelenka ОргОрганизатор

    Подскажите, пожалуйста, где пока (в ожидании парсера) можно посмотреть количество продаж конкретного товара? А то вижу только суммарно у всего магазина. :rolleyes:
     
  20. dstuff

    dstuff dstuff ЧКЧлен клуба (А)

    Так в том то и дело, что нигде (если про магазины конкурентов). Точнее можете вручную посчитать, насколько я понял.
     
    Flubber и Zelenka нравится это.
  21. Flubber

    Flubber Flubber ОргОрганизатор (А)

    Выше ответили верно :) В этом соль данного шаблона.

    Прошу прощения за задержку. Организатор ждёт завершения текущей своей складчины, и начинаем.
     
    Stirling и Zelenka нравится это.
Статус темы:
Закрыта.

Поделиться этой страницей

  1. Сбор взносов (Бизнес и свое дело):
  2. Новые складчины (Бизнес и свое дело):
  3. Нужен организатор (Бизнес и свое дело):