X-Parser Light – парсер контента по списку ключевых слов

X-Parser Light – универсальный парсер контента(текстов) для дорвеев и СДЛ​

​

Обсуждаем парсер X-Parser Light.
Автор присутствует в теме и ответит на все вопросы касательно программы.
Так же высказываем пожелания в добавлении функционала.

Спойлер: changelog

Версия 1.4.5 – коррекция версии 1.4.4 (от 10.04.2014):
-устранена ошибка, которая иногда приводила к невозможности получения выдачи парсером, в частности при первом запуске только что установленной программы.
-в инсталятор добавлена возможность не заменять файлы настроек на дефолтные. Инсталятор, при установке новой версии поверх старой, задаст вопрос пользователю о необходимости замены файлов настроек в старой версии.

Версия 1.4.4 – коррекция версии 1.4.3 на основании бетатестов (от 28.03.2014):
- устранен ряд проблем, возникающих при работе с фильтрами
- добавлен режим парсинга теста с сохранением как базовой разметки, так и изображений, без скачивания изображений
- исправлены прочие ошибки , о которых сообщили бетатестеры версии 1.4.3
- добавлен пример шаблона вывода в формате XML для прямого импорта в Wordpress

Версия 1.4.3:
- устранено еще 2 причины влияющих на вылеты программы, связанные с некорректным контентом на странице-доноре
- добавлен лог с перечнем отпарсеных URL, на основании которого при вылете программы стало возможным без труда определить какой сайт стал этому виной. Передав такие ссылки разработчикам можно помочь избавиться от всех вылетов. Вероятнее всего их осталось очень мало и выявить их без помощи пользователей будет затруднительно
- устранена ошибка редактирования фильтров

Версия 1.4.2 (от 23.03.2014):
- все алгоритмы, отвечающие за получение контента с сайтов были полнстью заменены
- полностью изменен алгоритм получения выдачи поисковых систем, в результате чего все поисковые системы, которые ввели сложные алгоритмы защиты от ботов, такие как Yandex, Google, Nigma и т.п., стали нормально парситься
- улучшен алгоритм обработки cookies поисковых систем, в результате чего какпчи любых ПС нормально определяются
- добавлены настройки для Antigate, позволяющие настроить его на распознавание русского текста
- добавлен сервис Rucaptcha.com
- полностью изменен и отлажен алгоритм работы с прокси-серверами
- добавлен проксичеккер
- добавлена возможность подключать удаленные списки прокси
- исправлена ошибка в фильтрах, которая не давала отфильтровать заголовки
- в форматах вывода добавлен по просьбе клиентов кроме ссылки на источник домен источника статьи
- исправлена проблема с неправильным путем сохранения контента в настройках по умолчанию
- исправлены ряд багов, которые приводили к падению программы при длительных процессах
- оптимизирован процесс выполнения так, чтобы при длительном парсинге не возникало проблем со скоростью из-за переполнения папок и лога в менеджере визуализации процесса
- работа программы максимально стабилизирована

Версия 1.3.2 (от 9.02.2014):
- исправлена ошибка с привязкой лицензии, возникшая из-за некорректности работы компилятора при компиляции версии 1.3.1

Версия 1.3.1:
- добавлена поисковая система vrsearch1.com для поиска английского контента по просьбе пользователей
- исправлен глюк с окном капчи, который не давал закрыть его и выбрасывал по новой
- устранена проблема замедления скорости парсинга при длительном процессе парсинга, возникающая из-за перегрузки лога
- улучшен алгоритм распознавания кодировок. Теперь какой бы не была бы кодировка на странице, при парсинге она будет определена со 100% вероятностью.
- автоматизировано определение кодировки при открытии файла кейвордов. Теперь Вы можете открывать файлы в любых кодировках.
- по просьбе клиентов, которые часто пользуются менеджером предварительной обработки контента, добавлены возможности конвертировать только выбранные документы, а так же удалять все неодобренные документы или только из текущей папки

Версия 1.2.6 (от 22.09.2013):
- исправлена ошибка распознавания капчи Яндекса

Версия 1.2.5 (от 08.08.2013):
- исправлена редкая ошибка авторизации, которая не позволяла активировать X-Parser на некоторых компьютерах

Версия 1.2.4 (от 30.06.2013):
- изменена система авторизации, решена проблема с падением лицензии
- добавлена возможность самостоятельной перепривязки лицензии с обного железа на другое
- добавлена данная система автоматического обновления
- исправлен глюк при редактировании фильров
- добавлена форма трансляции новостей, важных для пользователей X-Parser Light
- добавлены дополнительные поисковики, которые можно использовать для обхода проблем с баном гугла или яндекса

Версия 1.2.2 (от 29.03.2013):
- профиксены баги связанные с утечками памяти и устранино большинство проблем, возникающих на больших объемах контента
- улучшен алгорим распознавания капчи поисковых систем

Версия 1.0.9 (от 9.01.2013):
- добавлены дополнительные настройки парсера
- изменена логика создания папок для сохранения контента

Версия 1.0.7 (от 22.12.2012):
- улучшены менеджеры редактирования контента, теперь Вы сможете видеть какие файлы Вы уже просматривали, какие редактировали, а так же сможете помечать файлы, которые не требуют правки и готовы к дальнейшему использованию

Версия 1.0.5 (от 9.01.2012):
- устранены баги по предоставленным багрепортам

 

Софт отличный.
Но как обычно хочется еще лучше.

То есть сейчас как бы полуавтомат, так как прокси имеют свойство дохнуть, то есть нужно приостановить работу проги, загрузить новые прокси чекнуть а потом вновь запускать парсинг. Вот бы это действие автоматизировать. Что бы софт через определенно евремя приостанавливал работу грузил прокси с указанного урл, чекал их и снова запускался с места отанова.

Либо если прокси дохлый он удаляется из списка и по окончании всех прокси в списке разрешить софту автоматом переключаться на парсинг без них но с анигейтом.

В общем очень хочу автомат.

 

Видео есть? Я запустил парсер, он нашел мне текст, а как его быстро отформатировать или уникализировать не нонял

 

нигма только у меня перестала работать?

 

Погорячился я с положительным отзывом. Гугл и яшка выдают каптчу и с проксями, то с чем работалось более менее хорошо сегодня отвалилось...
Брат а ты показывал разрабу эту тему? Что то он был на форуме а сюда не зашол.


ЗЫ прокси не паблик.

 

Да, он в курсе.

 

В целом то данный функционал имеется, если у тебя есть файл с прокси обновляемый или URL с обновляемыми прокси, то его можно привязать и он должен обновляться. Прокси умирающие отключаются, список перезагружается в момент, когда прокси закончились. Если возникнут проблемы - пиши, найдем решение.

Уникализацией и обработкой парсер не занимается на данный момент. Обычно выгружают в программы типа Zebroid или Texkit и уже там все что надо делают.

Только что нигму проверил - все работает. Не исключено, что забанила тебя нигма. Яшка и Гугл будут и с проксями и без капчами тебя заваливать, особенно с прокси, так как прокси все, что ты сможешь найти в сети, и Гугл и Яшка знают и банят. Меньше гораздо проблем с Рамблером и Liveinternet.ru.

 

Доступны новые обновления. Актуальная версия - 1.4.6. Внесены следующие изменения:

По многочисленным просьбам добавлен парсинг контента по списку URL. Чтобы парсить в таком режиме, нужно просто указать ссылки на целевые страницы в том же поле, в котором указываются кейворды и запустить процесс. Настройки прокси, антигейта и поисковых систем в данном режиме игнорируются за ненадобностью.

 

После последнего обновления Парсер перестал запускаться. Лоадер висит пару минут, потом выскакивает предложение найти решение ошибки и все


Запуск в режиме совместимости или под администратором не помогает.

Что еще я могу сделать?
Спасибо

 

Это очень важное замечание, очень прошу написать мне в аську или в ЛС, очень нужно связаться и по тимвьюверу посмотреть что к чему, найти проблему. Провести пару тестов.
Если есть еще кто-то кто столкнулся с подобной ситуацией - пишите в аську или ЛС, данный глюк нужно выявить и устранить. Без помощи тех, у кого он проявляется я не смогу это сделать. Всем кто поможет - вторая лицензия бесплатно!

 

На всякий случай напомню, что обмен контактами на форуме запрещен

 

Здравствуйте, обновил X-Parser-Light, отвалилась лицензия. Ввожу код выданный на складчике, прога просит еще какой то секретный код. Подскажите пожалуйста как активировать программу?

 

Секретный код ты сам указывал при регистрации, он служит как раз для восстановления лицензии, это вопрос как на мыле для восстановления доступа. Если не запомнил какой вопрос и ответ задал, напиши мне в ЛС код активации - отвяжу, дело двух минут. Как активируешь задай вопрос на который ответ будешь помнить, чтобы при переносе или перепривязке не надо было ко мне обращаться.

 

В том то и дело что не помню я что бы задавал этот секретный код. Отправил код активации в личку.

 

Добрый день! Не могу настроить окно "менеджер обработки контента". Не отображается процесс во время парсинга, соответственно, не вижу ни тегов, ни донора. Все, что могла придти в голову, перепробовала. Как быть?

 

Менеджер обработки контента не отображает процесс, процесс отображает менеджер визуализации процесса. Менеджер обработки существует для обработки ранее отпарсенного контента. Уточните вопрос, не совсем понятно о чем идет речь.

 

Добрый день
У меня антивирус Касперский маниакально удаляет Пингвина, считая его трояном. Вроде бы вчера вечером в исключения внес, а сегодня с утра опять расправился с ним, даже в реестре почистил Что так касперскому не нравится? Просто вроде видел у автора на сайте информацию по этому поводу, но сейчас найти не могу, как лучше поступить. Хотя конечно фиг с ним с Пингвином, я пока не разбирался что с ним делать, главное чтобы парсер антивирус не удалил.

 

Хочу спросить у автора софта: вы не могли бы порекомендовать настройки для ускорения парсинга контента? У меня 3к ключей парсились 6 часов, может как-то может ускорить процесс? Заранее спасибо за ответ.

 

Запускать 5+ копий, разделять ключи, скорость вырастет пропорционально суммарно. Если больше то эффект будет уменьшаться, зависимо от процессора. Подбирать кол-во копий процесса зависимо от загрузки ЦП. Как правило больше 5 уже кпд не возрастает.

 

Здравствуйте. Уточните, пожалуйста: в параметрах "Количество ссылок в выдаче ПС" стоит значение 10 и его нельзя изменить - так и задумано?