Высокоскоростной парсер всего контента и фоток с tumblr [zennoposter]

Высокоскоростной парсер всего контента и фоток с tumblr [zennoposter]

• Работает через API
• Парсинг по тегам
• Работает через параллельные запросы #C
• Парсит фотографии пачками
• Парсит текст
• Ссылки
• HTML формат текстов
• Цитаты
• Вопросы и ответы
• Аудио ссылки
• Видео ссылки и mp4 файлы
• Фоны блогов

Tumblr (произносится как Тамблер) — сервис микроблогов, включающий в себя множество картинок, статей, видео и gif-изображений по разным тематикам и позволяющий пользователям публиковать посты в их тамблелог (англ. tumblelog). Пользователь может подписываться (англ. follow) на блоги других пользователей, после чего их записи будут появляться на его ленте новостей (англ. dashboard). Сервис характеризует себя как «простейший способ вести блог» (англ. “The easiest way to blog”). Генеральным директором Tumblr является Дэвид Карп (англ. David Karp).

Немного истории

18 мая 2013 года корпорация Yahoo! анонсировала приобретение Tumblr за $1,1 млрд без изменения структуры компании. Кроме того, Yahoo! пообещала не запрещать NSFW-контент, который пользователи Tumblr могут размещать без угрозы оказаться заблокированными.

Всего на данный момент в Tumblr зарегистрировано около 220 миллионов блогов.

О шаблоне, сначала хотел сделать только парсер фоток. В итоге реализован крайне сложный функционал. Пришлось попотеть чтобы его написать. Работать будет на версиях 5.7.5 и выше.

Что получаете от парсера.

По любому тегу можете собрать "очень быстро" контент и мультимедиа. Можно собирать по списку тегов.

Хотите посмотреть доступный контент? Посетите сайт. Контента миллиарды.

В отдельную папку. Буквально 2-3 минуты падает всё что можно скачать.
Очень гибкие настройки. Отдельно сохраняются заголовки, теги, html.

Спойлер: Входные настройки

Входные настройки буду еще обновляться

Спойлер: Скрины

За 2-3 минуты получаем по одному ключевому слову, весь набор контента.


Например можно собрать 1000 текстов, ключевых слов и заголовков на любую тему.



Можно собирать фоны блогов, которые можно потом использовать в оформлении.


Огромное количество редких фотографий которых вы нигде более не найдете, также отдельно сохраняется описание к ним разрешение 1280, 800, 640 jpg, gif, png



Видео это ссылки youtube и другие сервисы, а также mp4 файлы

Шаблон функционала обширный, встречается контент уникальный и интересный. Применений очень много. Единственный недостаток, русского контента не так много, зато можно вылавливать уникальный текст. Можно наполнять свои сайты или страницы вк, блогов и прочего. Если интересует конкретный контент.
Используйте поиск на сайте.

Обновление. Доработка и поддержка будет.

Бонусы:
Шаблон для проверки уникальности любой папки с txt файлами

Спойлер: Скрин

Шаблон для высокоскоростного скачивания документов vk

 

А с чем связано такое резкое повышение цены в 6 раз, по сравнению с закрытой темой? Функционал шаблона остался тот же.
Я понимаю, что там есть уникальный контент, вот только там его реально не много, поэтому даже вручную это занимает не так много времени. И да, также попадается не уникальный контент, плюс качество бывает ужасное.

@cportal все ваши шабы в которых я участвовал очень хорошие и ценовая политика соответствовала возможностям, надеюсь и дальше будет также. Я понимаю, ценность каждый определяет сам для себя

 

Изначально планировал парсер фотографий и текстов. Цена связана со сложностью алгоритма работы парсера, он там действительно крайне сложный и врятли будут аналоги. Функционал был расширен, в 3 раза. За время написания этого шаблона я уже приуныл прорабатывая весь этот сложный алгоритм API, к тому же вырос курс долара. Я понимаю ваше возражение на этот счет. Увы это была моя ошибка поставить его за 150 р. поэтому я закрыл прошлую раздачу. Как парсер фоток и текстов возможно. Здесь отдельно парсятся по тексту заголовки, ключевые слова, html. Добавлен парсинг описаний к картинкам, ключевых слов к цитатам, ответам, ссылкам и прочее все это сохраняется по отдельным папкам, а самое главное что скорость при этом крайне высокая. Функционал еще расширяется. Не считаю что цена данного продукта высокая, это же не игрушка, а серьезный продукт, который будет работать долго и контент там будет появляться постоянно. А также моя политика цен связана с тем, что я бы не хотел чтобы все уникальные текста данного ресурса ушли практически мгновенна в доры и смысл в них пропадет. Шаблон рассчитан на конечного пользователя который понимает куда и как использовать данный контент плюс в раздаче бонусы. Поэтому прошу не судить и если действительно есть интерес тогда подписывайся.

 

А на демо-версии зеннопостера работать можно или лучше сразу полную версию приобретать?

 

Основной шаб может работать на демо, парсер работает через API поэтому никаких капчей и прочего. Все быстро буквально несколько минут и готовый контент.
Бонусные шаблоны используют web интерфейс, но тоже можно будет запустить на демо.

 

Когда планируете проведение? Проверяющие есть?

 

Основной шаблон проверяется. Планирую на неделе.

 

Отзыв

 

Так как их использовать? Дайте вектор непродвинутому?

 

Так написала же она. Для наполнения сайтов, страниц в соцсетях, текстовки для доров и т.д.

 

Отзыв

Надеюсь никто не ожидает, что я напишу, что шаблон не работает?

Как и вся продукция нашего уважаемого автора, шаблон работает прекрасно, без всяких ошибок.

Шаблон использует API и,соответственно, реализует те, возможности, которые этот API позволяет. Парсинг идет очень быстро, по одному запросу это занимает буквально несколько секунд.

Парсит текстовку, картинки, тэги, видео (мало, правда, попадается, в основном ссылки на ютуб). В-общем справляется с работой на 100%.

Что можно получить с tumblr? Все то же, что и с других соцсетей. Там практически нет контента по каким-то узким запросам, однако картинок по автомобилям, различных приколов и анекдотов, скриншотов игр можно напарсить большое количество. Ну и не говоря уже о туристской тематике... Иногда встречается материал и по CPA товарке, но далеко не по всем позициям. Например, по фонарю Star-Master (Топ 1 сегодня на KMA) или по головоломке Perplexus я напарсил большое количество картинок.

Проверял и уникальность в гугле. Ну здесь тоже как всегда. Если речь идет о фото из путешествий или скриншотах игр, то картинки уникальные, как правило. В других тематиках с уникальностью уже хуже гораздо.

Вывод. Отлично сделанный шаблон, на 100% соответствующий заявленным функциям. Безусловно рекомендуется к приобретению.

 

Ну как не ждать-ждали конечно..рассчитывали на объективность-так сказать
Вопрос-считаете ли цену адекватной тому что может шаблон? Как протестировавший этот и многие прочие?

 

Объективно. Запрос маст хев. Модницы знают это тенденции в моде.
Выдал обложки блогов скрин первых двадцати (все дизайнеры знают, что можно из нескольких картинок слепить одну.)
Фото из этой же серии - в любой женский блог, группу пойдут на ура, уникализировать особо нет необходимости, запрос попсовый.
Статьи (в некоторых файлах комменты человеческие)
И прочие бонусы в папках такие как статьи в НТМЛе.Ссылки на видео тематические, цитаты и музыка.



Себе лично насобирала коллекцию разнообразных коте, довольная как слон

 

Адекватность каждый для себя только может определить.

Ну, например, парсер комментов vk для текстовок я покупал за 1000. Уникальный текст (я не задавался такой целью, но вот Tanya отыскала) минимум 20 р/1000 знаков. Картинки уникальные. Плюс скорость парсинга. Если это или другое из функционала вам нужно - значит адекватна.

И еще один момент. Я до шаблонов cportal понятия не имел ни о likes.fm ни о smofast. Первый шаблон теперь гоняю чуть ли не круглосуточно. И второй тоже, думаю, буду использовать активно. И в эту складчину записался не раздумывая.

 

Полазил по тублеру, вопрос такой- будет ли парсить те картинки которые открываются только по клику? Пардон за возможно тупой вопрос.

 

а ткните пож пальце в складчины на эти шаблоны? и будут ли повторы на них?

 

А можно получить ответ на этот вопрос?

 

На мой вопрос ответ будет или нет?????

 

Описание к фото полность сохраняется? То есть весь пост или как? И да, автор в теме желает появиться, не? А то получается нарушение правил авторских складчин. Не красиво как то. Другой вопрос уже с 22 сентября висит.