SELFPARSER - УНИВЕРСАЛЬНЫЙ ПАРСЕР КОНТЕНТА

SELFPARSER - УНИВЕРСАЛЬНЫЙ ПАРСЕР КОНТЕНТА

SelfParser - универсальный парсер новостей, товаров. Сам парсер не требует базу данных, полученные данные Вы можете сохранять в любой формат. Что бы понять принцип работы парсера, читайте эту статью до конца.



Особенности и работа парсера
Как я уже сказал, парсер работает сам по себе и не требует подключение базы данных. Он получает контент и отдает его обработчику, который может написать любой знающий PHP программист. Но не пугайтесь. На данный момент в комплекте уже есть один обработчик, который забивает базу DLE. Одним словом, сейчас парсер может наполнять сайты на DLE. В дальнейших обновлениях я буду добавлять обработчики для wordpress и т.д. (по запросу), а так же улучшать саму работу парсера, добавлять настройки и возможности. Если Вы желаете написать свой обработчик, я подскажу как и куда положить, хотя профи итак догадается .
Парсер отдает полученный результат в кодировке UTF-8, далее в обработчике Вы можете конвертировать если нужно в любую другую кодировку.

Возможности

• Независимая админка.
• Парсер работает не зависимо, то есть сам по себе и не зависит от того, какая CMS установлена.
• Возможность создавать неограниченное количество шаблонов (сайтов для парсинга).
• Может получать данные как с сайтов кодировка которых windows-1251 так и UTF-8, а так же конвертировать все полученные данные или отдельный контент в UTF-8.
• Может получать картинки и файлы из контента. Обработчик DLE их сохраняет вам на сервер и заменяет пути картинок в контенте на ваши, и файлы сохраняет к вам на сервер в папку uploads/files/... как положено и добавляет вложения в конец полной новости.
• При создании шаблона, можно проверить его работу, как он получает контент.
• Парсить контент как с HTML тегами, так и без них.
• Включение / выключение шаблонов.
• Ведение логов.
• Статус активности.
• Возможность парсить данные через прокси SOCKS5 типа.
• Возможность удалять скрипты или не удалять.
• Возможность удалять ненужные элементы из полученного контента.
• Возможность заменять или вырезать слова, фразы, код из полученного контента как по точному совпадению, так и по регулярному выражению.
• Парсер обходит каждый созданный Вами шаблон по очереди и проходится по всем новостям или товарам донора. Обработчик DLE сохраняет новость если такой ещё нет (сверяется по заголовку). Если новость уже есть, он переходит к парсингу нового шаблона и так по кругу.
• Работа по крону через простой HTTP запрос.
• Адаптивная панель управления.
• Для DLE:
  - возможность добавлять полученные данные в доп поля (текст, картинки, галерею и т.д.)
  - добавлять данные как в одну, так и сразу в несколько категорий на сайт.
  - добавлять новые посты сразу или ставить на модерацию.

Для идеальной работы парсера по крону, необходимо установить запуск не менее 1 - 2 раза в минуту.

Демо даю по запросу. Деньги после покупки не возвращаются, поэтому тестируйте в демке, если нравится, покупайте.