Парсер яндекс.картинки + уникализатор на автопилоте [Zennoposter]

Парсер яндекс.картинки + уникализатор на автопилоте [Zennoposter]

Доброго времени суток уважаемые!
Меня зовут Александр, можно и нужно на Ты!

Хочу предложить вашему вниманию шаблон zennoposter - парсер сервиса Яндекс.Картинки.
Основная часть написана, доводится до стабильности.

Что уже делает шаблон:
1. Парсит картинки по ключевому слову, фразе:
Имеет настройки для парсинга:
- сколько страниц парсить;
- размер;
- ориентация;
- тип;
- цвет;
- свежие;
- на сайте.
При необходимости добавлю все существующие задаваемые параметры.
Предложения пишите в теме.

2. Уникализатор полученных фотографий:
- качество;
- размер;
- отражение;
- яркость;
- контрастность;
- закругление;
- цвет фона;
- наложение вотермарки (в виде картинки).
При необходимости добавлю еще различных изменяемых параметров.
Предложения пишите в теме.

В данный момент работает в двух режимах:
1. Парсер;
2. Парсер + уникализатор.

Парсер раскладывает фотографии по папкам соответствующим ключевому запросу.
Уникализированные фотографии сохраняются в отдельную папку находящуюся в папке с оригинальными фотографиями.
Вам не надо создавать дополнительных папок, файлов и тд.

Дополнительные возможности:
1. Использование прокси;
2. Использование UserAgent.

Это те функции, которые заявляются для проверки и будут "допилены" до раздачи материала.

Что планируется:
1. Проверка на уникальность;
2. Заливка на файлообменик;
3. Уникализация изображений из указанной папки.

Возможно до раздачи будет реализовано.
Обновления бесплатны.

Цена фиксированная: 499 рублей.

Ищу проверяющих.

 

@Hozy84, Здорова.
Есть парочка вопросов:

1. Взял бы только ради проверки на уникальность. Надеюсь эта функция будет реализована.
2. Проверка на уникальность. Возможно будет выбирать ресурс для проверки? Яндекс/Гугл? Как будут представлены выходные данные?
3. Проверка на уникальность. Будет ли реализована в нескольких режимах? Проверка уже уникализированных фото и проверка в процессе работы шаба?
   
4. По поводу уникализации. Возможно будет добавить очистку мета данных?
   
5. Возможно ли будет добавить функцию заливки на фотохостинг?

 

Привет!
1. Уникализатор уже есть. Вполне себе работает. Но буду дорабатывать.
2. Планировал проверку через tineye, но посмотрю гугл.
3. Будет проверка уже уникализированных фотографий, но вовремя работы шаблона. То есть вводите в шаблон необходимые для парсинга и уникализации параметры и шаблон сразу проводит обе операции.
Но так же планирую сделать уникализацию фотографий из папки, с последующей проверкой на уникальность.
4. Над очисткой мета данных работаю. Думаю что получиться сделать.
5. Заливка на фотохостинг также есть в планах.

 

Я за гугл. Проверял. Находит то, что ни Tineye ни Яндекс не видят.

 

а несколько сервисов для проверки не планируется? у меня например яндекс вычисляет картинки, которые ни гугл ни tineye не находит Еще бы поворот картинки на н-ое количество градусов и обрезка потом лишних краев)

 

Расширение функционала конечно же планируется.
Кстати, поворот уже есть. Обрезку сделаю.
Наверняка еще на стадии проверки будут выявлены недочеты и внесены предложения от проверяющих.
Изначально делал парсер под свои нужды и "заточен" он под меня.
Так что по ходу движения, буду вносить изменения и дополнения.

Но в любом случае, заявленное вы получите, а "планируемое" дополучите после проведения складчины.
Обновления бесплатны.

 

а сейчас делает уникализацию по 1 фото? Если не сложно то скрин интерфейса.

 

Сейчас уникализирует на автомате. При скачивании фоток.
Но этот подход тоже не совсем удачный. Так как дубли попадаются.
Думаю над решением.

 

Добавлено:
1. Поворот изображения;
2. Очистка EXIF.

 

Многопоточность?

 

Пока в один поток или дублировать шаблон. Так как ключ задается в входных настройках.
Как приведу все описаное в стартпосте к стабильности, то сделаю многопоток.
Но тогда надо на каждый поток свое прокси, так как яндекс артачится.

В общем мысли есть по этому поводу. Но сначала доделаю основное.

 

Поддержка сервиса по разгадка капчи?

Как будет готов материал, готов взять на проверку.

 

Капчу ни разу не встречал, парсил за раз более 1000 картинок.
Если вдруг всплывет капча, то конечно сделаю ее разгадывание)

 

Доброе утро товарищи! Во втором посте публикую обновления шаблона.

 

@Hozy84,

 

@Hozy84 Будет ли качественная уникализация картинок с текстом (т.е. зеркалирование не возможно). Край как нужная тема. По степени нужности выше, чем все остальное вместе взятое. На каких севисах будет проверяться уникальность - Гугл, Яндекс, tineye.com? Возможна ли уникализация (без парсинга) не из Яндекса, а просто, скажем, из своей папки?

 

Все парсится. Только что попробовал.)

 

Сегодня добавлю еще различные фильтры. Но вообще отражение не краеугольный камень, так что думаю нормально будет уникализировать.
Но попадаются такие фотографии, что-бы с ними не делал, все равно не хотят уникализироваться. Так что надо смотреть, тестировать.
С сервисом еще не определился. Так как тоже необходимо тестировать, какой из них позволит максимально быстро осуществить проверку.
Уникализация без парсинга будет возможна. Сделаю.

 

Попробую. Отпишусь по результату. Примерно в часиков 8 по Москве.

 

класс !!!
спасибо!

+++
тоже нужно! так как своего контента предостаточно!

p.s. и да... я с вами!