Высокоскоростной парсер фоток с Flickr [zennoposter]

Высокоскоростной парсер фоток с Flickr [zennoposter]

Еще один высокоскоростной парсер картинок работает как мой предыдущий шаблон
см. тему https://v14.skladchik.org/threads/Высокоскоростной-парсер-фоток-с-instagram-zennoposter.79455

• Работает через API
• Многопоточный
• Параллельные запросы C#
• Сортировка по типу
• Выбор лицензии
• Выбор размеров

1 гигабайт фотографий качает за 2-3 минуты ! Офигенный шаблон, улучшающий жизнь любого блогера! Безграничные миллиарды картинок !!!

Flickr — фотохостинг, предназначенный для хранения и дальнейшего использования пользователем цифровых фотографий и видеороликов. Является одним из первых Web 2.0 сервисов. Один из самых популярных сайтов среди блогеров для размещения фотографий. По состоянию на 4 августа 2011 года сервис имел в своей базе более 6 млрд изображений, загруженных его пользователями. Также, по данным за август 2011 года, на сервисе было зарегистрировано 51 миллион человек, а общая посещаемость составляла 80 миллионов уникальных пользователей. Flickr был приобретён Yahoo! в марте 2005 года.



Я предлагаю вам автоматизацию процесса скачивания фотографий, подойдет любым блогерам, кому нужны красивые и качественные фотографии с хорошим разрешением...



Работает пока что только для версий 5.7.5 х и выше...
Для остальных версий тоже будет...

 

Отзыв:
Шаблон предельно простой и прекрасно выполняющий свою задачу. В принципе, его возможности определяются возможностями собственно поиска Flickr и возможностями вашего интернета.
Поскольку я люблю проверяемые объекты погонять экстремально , то привожу скрины парсинга 500 картинок на тему майнкрафт:




Как видите, на все ушло порядка 4 минут.

Для чего можно использовать данный шаблон?
Очень много скриншотов различных игр, можно напарсить также разных веселых картинок с кошками или собаками и просто приколов, ну и конечно же различных фото из путешествий, которые можно использовать для наполнения аккаунтов в ВК, инстаграм или тематических сайтов. Ну или наделать видюшек с помощью другого шаблона - генератора видео.

С товаркой не так все хорошо, но на некоторые оферы тоже можно найти прилично картинок.
Вот, например, один из топовых оферов KMA "Monster Beats Solo":





487 картинок за 2 минуты.

В общем, отличный шаблон, рекомендую к приобретению.

 

cportal, а возможно допилить в шаблоне функцию, парсить изображения только с лицензией Creative Commons?

 

Да можно сделать...

Вот список лицензий которые можно подключать во время парсинга

Код:

<licenses>
<license id="0" name="All Rights Reserved" url="" />
<license id="1" name="Attribution-NonCommercial-ShareAlike License" url="http://creativecommons.org/licenses/by-nc-sa/2.0/" />
<license id="2" name="Attribution-NonCommercial License" url="http://creativecommons.org/licenses/by-nc/2.0/" />
<license id="3" name="Attribution-NonCommercial-NoDerivs License" url="http://creativecommons.org/licenses/by-nc-nd/2.0/" />
<license id="4" name="Attribution License" url="http://creativecommons.org/licenses/by/2.0/" />
<license id="5" name="Attribution-ShareAlike License" url="http://creativecommons.org/licenses/by-sa/2.0/" />
<license id="6" name="Attribution-NoDerivs License" url="http://creativecommons.org/licenses/by-nd/2.0/" />
<license id="7" name="No known copyright restrictions" url="http://flickr.com/commons/usage/" />
<license id="8" name="United States Government Work" url="http://www.usa.gov/copyright.shtml" />
</licenses>

 

Протестировал все варианты сбора фотографий. Переписал скрипт, теперь работает в 4 раза быстрее...

Качает 1 гб. фотографий за 2-3 минуты...



Добавлены лицензии, а также выбор размера фотографий...

 

Оперативно. Шаблон преобразуется на глазах. Спасибо. Как дела с проверкой обстоят?

 

Две проверки уже есть, жду еще одного, и думаю после instagram раздачи народ перейдет сюда ещё и запустим сбор, раздачу продукта...

 

Отзыв:
Получил на проверку от cportal шаблон для ZenoPoster: "Парсер картинок с Flickr"
Что мы получаем?
Получаем шаблон для ZenoPoster, размер: 64,0 КБ
Окно входных настроек:

Скриншот папки проекта:

Результат работы:

Результат проверки:
Шаблон рабочий. И полностью работает. Свои функции исполняет в полной мере.
Дополнения к шаблону которые автор обещал он сделал.
Так же напишу тут о результатах, есть пару недороботок. Которые автор думаю
устранит за пару минут.
1) Парсер при парсинге по списку, при проставлении задачи на исполнение
в количестве 1, парсит только первый тег из списка и останавливается. Чтобы полностью спарсить
весь список нужно выставлять колличество выполнения задания по колличеству тэгов.
2) Это уже скорее не доработка сервиса или возможно каких то настроек. Ставлю настройки парсинга по списку в колличестве 200 шт.
по каждому тэгу результат:
evil - 169 шт.
eyes - 160 шт.
hands - 181 шт.
heart - 182 шт.
Internet - 159 шт.
online - 175 шт.
sun - 150 шт.
По качеству самих картинок очень хорошее разрешение. Но по тегам картинки не особо соответствует тому что
хочешь видеть. Большая часть конечно тематических картинок, но много и хлама не имеющая отношения к тегу.
Но это уже скорее особенности работы самого сервиса, а не скрипта.
С уважением ваш верный друг Хатико!

 

1. Это специально так сделано чтобы в многопотоке выполнять... т.м. если в одном потоке выполнять список, то пока не выкачает 1 тег, он не перейдет к следующему,
поэтому решил сделать так, вдруг кто-то будет качать по 10 тыс. фотографий придется ждать пока по тегу всё скачается, а так во втором потоке будет следующий идти...

2.Такое соотношение цифр связано с тем, что выборка идет от конкретных настроек размеров, если ты выбрал оригинальный размер, то он почему-то не на всех фотках есть, если он не находит, то фотку пропускает...
Такой вариант парсинга был выбран как оптимальный по соотношению скорости... Лично я проблем в этом не вижу, качать можно хоть 50 тыс.



Вот пример фотографии Flickr как видите здесь нету оригинального размера, только square,small.medium,thumbnail

Спасибо за отзыв!

 

Ну вот я же говорил @cportal быстро все решит. Благодарю за ответы, многим думаю тоже будет их полезно почитать.

 

Шаблон открытый/закрытый для редактирования? Парсинг по списку и складывание в 1 папку настроить можно?

 

Коммерческий шаблон, код открыт только для модераторов и проверяющих, для складчиков доступен для выполнения. Если был бы открытый код, то стоимость была бы не 150 рублей.

Парсинг по списку, по каждому ключевому запросу создается автоматически папка, соответствующая тексту поиска...

Еще хочу отметить что в поиске можно использовать любые словосочетания пробелы и прочие символы...

 

Будут ли повторы по парсерам фликра и инстаграма?

 

Будет но когда не знаю, еще thumblr парсер и вк парсер, думаю есть смысл комплект сразу делать...