[ZennoPoster] Парсинг/публикация новостей на свои сайты

1. Абзацы. Шаблон должен уметь разбивать текст на абзацы с настраиваемым кол-вом предложений. То есть, в настройках указывается кол-во предложений в абзаце, и шаблон разбивает всю статью на абзацы по три предложения. Естественно, шаблон должен отделять заголовки и подзаголовки и + маркированные или нумерованные списки. И самый идеальный вариант, если шаблон может работать не только с новыми статьями, но и с любой другой статьей основного сайта.
2. Содержание. Шаблон удаляет содержание в статье донора и генерирует сам + пункты делает активными ссылками, далее вставляет содержание в указанное место в статье. То есть, в настройках указывается расположение содержания в начале статьи или после определенного абзаца. Так, же в идеале если бы шаблон мог это делать и со старыми статьями основного сайта.

 

А если сам текст не подразумевает разделение на абзацы? Тут как бы может произойти потеря грамматики.
А вообще, ваши просьбы смахивают на запрос создания искусственного интеллекта на базе Зенки. )

 

Универсального парсера, чтобы вытаскивать контент с разных сайтов еще не придумали, тут нужен другой подход. Мой парсер работает по шаблонам с конкретными сайтами.

По первому пункту можно сделать разбивку по предложениям и допустим по подзаголовкам. Списки трогать не будем. След предложение не понял.

По 2му пункту, слишком специфичная и трудоемкая задача, боюсь добиться 100% результативности не выйдет.

 

Получается ваш шаблон работает по принципу плагина ВПграбера, здесь на складчине много вордпресовских автонаполняемых сайтов на разную тематику, где идет парсинг через регулярку на определенные сайты на, которые настроен сам плагин т.е от 5 - 10 сайтов с которых берется контент (текст, картинка, видео).

Так как вы написали, что шаблон работает с конкретными сайтами, меня это не совсем устраивает т.е я полностью завишу от вашего выбора, какой текст парситься на мой сайт т.е с каких сайтов.
Хотя вы написали в стартпосте что:
Я постарался сделать удобный инструмент для парсинга любых сайтов

Объясните ситуацию.
Я получу шаблон (меня интересует только Вордпрес) который будет парсить контент(текст, картинка, видео) и убирать ссылки в тексте только с определенных сайтов, которые вы дадите, как вы писали их около 30 сайтов и на другие сайты (которые меня интересуют) я этот шаблон применить не смогу, так как у разных сайтов на ВП разная структура верстки шаблона и контента.
Я вас правильно понял?

 

Мои сайты будут даны просто для примера, чтобы разобраться. Хотите пользуйтесь, хотите нет.
Это не аналог вп-граббер, хотя бы только потому что работает еще и с дле.
Все сайты, с которых надо будет парсить, естественно надо настраивать.

Еще раз для всех - УНИВЕРСАЛЬНОГО СРЕДСТВА ПАРСИТЬ ЛЮБЫЕ САЙТЫ ВСЕГДА ПРАВИЛЬНО НЕТ

Я много раз думал над тем, как бы реализовать универсальное, но задача:
1) трудоемка
2) на энтузиазме не уедешь

 

@a10ne а не было мысли прикрутить еще парсинг из выдачи? по определенным ключам? Или хотя бы возможность вставить уже готовые спаршенные ссылки для дальнейшей заливки на сайт.

И еще. У гугл транслейт есть лимиты на перевод. Как это обходится? Если я, например, хочу сразу перевести и залить 100, 1000 статей на сайт. Прокси помогут или есть варианты?

 

понятно. Допустим у меня уже есть список сайтов (условно 20 шт.) с которых мне нужно регулярно парсить свежий контент. При помощи шаблона я смогу регулярно и главное быстро (самые свежие публикации) вытаскивать контент с этих сайтов (текст, фото)? И при необходимости менять самостоятельно списки нужных мне сайтов для парсинга?

 

Прокси должны помочь в данном случае, так что все равно будет работать.

Конечно, настроив парсер по этим сайтам, он будет стабильно тянуть с них только свежий контент.

 

Спасибо. А что по этому вопросу скажете? Будет возможность если не парсить выдачу, то хотя бы указывать свои конкретные ссылки на статьи для заливки на сайт?

 

у меня есть готовые парсеры выдачи я и г, но вопрос что под найденные сайты не будет шаблонов.
а если вы будете выгружать сразу ссылки, то все равно будет нужен шаблон для разбора страницы.

 

В подписи

 

@a10ne, что со складчиной - будет или нет?

 

@Alehandro7
Всем привет!
Складчина будет, но уже после НГ, сейчас продолжаем народ набирать.
Также нужны проверяющие. В топике отписывался один @Belendex . Еще хотите?
Нужно еще 2 оффа.

На проверку готов отдать до НГ!

 

@a10ne Могу выступить неофициальным проверяющим, если такие будут нужны.

 

здравствуйте, с форумным движком XenForo, смог бы шаблон работать?

 

Конкретно сейчас нет, не предусматривал такую возможность.
Вы просто хотите чтобы под каждую новость создавался топик в нужном разделе форума?

 

@a10ne, готов быть Проверяющим... если не срочно
Зенка есть, обновлена до последней

 

да, нечто такого

 

Думаю, сделаю, можете вступать. Не особо это сложно.
А так еще Джумлу добавлю 100%, за нее больше всех проголосовало пока.

Продолжаем набирать людей!

 

А можно потом в отзывах добавить скриншот теста на

Для сайта на WP в 1000 статей. При этом указав характеристики хостинга.
п.с. тут фишка в том, что нагрузка для сайтов на CMS растёт непропорционально и те кто хотят иметь трафик более 1000 уников в сутки должны прилично тратится на хостинг. CMS - это решения для блогинга=)