[ZennoPoster] Парсинг/публикация новостей на свои сайты

[ZennoPoster] Парсинг/публикация новостей на свои сайты

Начнем с небольшого предисловия
На протяжении всего времени работы в интернете ко мне обращаются люди с просьбой настроить парсинг и публикацию новостей с донора на свой сайт. Надеюсь, эта задача будет актуальна всегда.

Я постарался сделать удобный инструмент для парсинга любых сайтов с простой настройкой на ZennoPoster.

Кому это может быть нужно? Как на этом заработать?​

• Всем, кто ведет новостные сайты, блоги
• Всем, кто сливает трафик с социальных сетей на прокладки, блоги, рекламу.
• Всем, кто накручивает партнерские программы, контекст
• Всем, кто умеет извлекать прибыль из копипаста

Почему этот шаблон стоит своих денег?​

1. Управление ботом происходит внутри ZennoPoster, нет необходимости устанавливать и настраивать плагин на каждый сайт. При разработке не использовались супер новые методы, так что будет работать начиная с 5.9.9.1 по умолчанию.
2. В лицензии нет ограничения на количество своих сайтов/доноров.
3. Уже сейчас реализована поддержка добавления новостей на cms Wordpress и DLE. При должном интересе со стороны пользователей список может быть расширен даже до старта складчины. Прикрепил голосование в шапке)
4. Расписание работы
5. Многопоточность.

По какому принципу работает парсер?​

На основе данных из входной таблицы и входных настроек с доноров собираются ссылки на интересующие записи. По шаблонам для сайтов они разбираются на составные части:

• название
• категория
• текст
• картинки

Далее шаблон вычищает лишние html теги, свойства, оставляя только те, которые участвуют в оформлении на вашем сайте. Далее через админку вашего сайта все добавляется с учетом категории, миниатюры и т.д.
Все картинки выкачиваются на ваш сайт. Первая картинка из тела статьи становится миниатюрой, остальные загружаются по фтп в указанную папку с всегда уникальным названием.

Какие есть дополнительные функции?​

1. Очистка текста от скриптов, лишних тегов и т.д. Если начальной было недостаточно, вы можете добавить свои регулярные выражения для очистки.
2. Для картинок остаются параметры alt и title
3. На картинки можно наложить водяной знак - картинку/текст. Пока только в правый нижний угол отступ справа 100px, снизу 30px. В будущем вынесу параметры в отдельную вкладку входных настроек.
4. Для новостей можно добавить источник с параметром nofollow.
   
5. Все добавленные новости могут попадать на модерацию/черновик.
   
6. Перевод текстов через гугл переводчик. Вы можете легко парсить сайты на любых языках.
   
7. Для каждой новости можно указать категорию. Есть 2 варианта:

• Вы добавляете в таблицу каждый раздел с сайта донора и указываете в какую категорию добавлять новости.
• Вы добавляете в таблице ссылку на главную донора, где есть ротация новостей, и регулярное выражение для парсинга категории со страницы новости (во всех остальных случаях оставляете этот столбец пустым).
• И в том, и в другом случае категория может быть либо найдена в списке на вашем сайте, либо добавлена.

В будущем я добавлю текстовый алгоритм совпадения категорий, чтобы шаблон понимал общие по смыслу категории и сам искал нужную из уже добавленных на вашем сайте.

Скрин входных настроек

Спойлер

Есть крутые бонусы?​

Бонус для клиентов.

1. Подготовлю 30 примеров шаблонов парсинга для наглядности. Их вы сможете сразу использовать в работе.
2. За каждые 50 участников буду добавлять по 1 cms на импорт из популярных в голосовании!

Бонус для всех пользователей. Разыграю 1 БЕСПЛАТНУЮ лицензию среди всех, кто выполнит условия рекламы! Результат запишу на видео!

Условия.

• Для ЧК поставить приятную подпись на складчину.
• Для остальных оставить 3 рекламных поста в складчинах по теме. Клиентам достаточно отписаться в ЛС/топике по желанию, остальным обязательно отписаться в топике!

Что я еще собираюсь добавить?
​

Спойлер

1. Поддержку пагинации. Сейчас новости могут браться только с первой страницы. Соответственно, нужно запускать шаблон по расписанию, чтобы не пропустить новые записи на донорах.
2. Больше настроек для водяных знаковв
3. Больше поддерживаемых CMS. Чем больше спрос, тем больше CMS.
4. Синонимайзер текста ? Если найдется достойный инструмент с поддержкой языков, почему нет.
5. Другие крутые штуки необходимые нам всем в работе.

Цена шаблона 2500 рублей.

Доп. информация​

1. Шаблон полностью готов в описанном виде. Соответственно, ищу офф проверяющих!
2. Для тех, кому нужен ZennoBox сделаю отдельную складчину на него. Можно записываться.
3. В шаблоне в принципе нечему ломаться, но поддержка в рабочем состоянии все равно будет, а так в основном по новым фичам.

 

Резерв.

 

@a10ne, привет. Могу выступить проверяющей. Обращайся!

 

В подписи

 

Приветствую! А есть в настройке парсера проверки на дубли (ссылки, названия), чтобы не брал документ, который уже есть?

 

Логика шаблона построена так, что с одного и того же сайта не может быть взят дубль в любом случае, так как идет отсчет от последней взятой новости. Вы имеете в виду учет названий относительно разных источников?

 

Нет, одного донора. По заданию: зашел, сравнил, если есть новая, то спарсил else до следующего захода.

 

Да, так и работает. В этом и есть суть расписания. Хоть каждые 5 минут, может заходить и смотреть появилась ли новая инфа. Вот тут можно посмотреть формат таблицы на вход
Скрытая ссылка

 

Подскажите такой момент. Есть ли возможность, чтобы шаблон форматировал статьи по заданной маске. Поясню. Это особенно актуально, когда источник не один, а n кол-во. У каждого донора свой формат статей (у одного сайта абзацы слишком большие, у другого содержание выведено в середину статьи и тому подобное), обусловленный шаблоном темы и стратегией монетизации. Если парсить один к одному (формат) статьи, то основной сайт будет выглядеть не очень органично. Можно ли реализовать, чтобы содержание выводилось в указанное место в статье и размер абзаца был, к примеру не более 3-х предложений?

 

Новости - это условное название? Могут быть статьи любых типов и тематик?

Поставил в подпись.

 

В подписи... ............................................

 

да и пример работы шаба не помешал бы, кратенько-демонстрационно от и до, видео на нескл минут?

 

Поставил в подпись

 

Вопросы от "непродвинутого" пользователя:
- подскажите, пожалуйста, достаточной ли будет квалификация пользователя на уровне умения установить движок WР и публиковать записи на сайте для того, чтобы разобраться и применить предлагаемый шаблон?
- нужно ли будет приобретать еще какое-то обеспечение для работы этого шаблона? Правильно ли я понимаю, что ZennoPoster — это отдельная программа, которую надо будет приобретать для работы шаблона?

 

Уважаемый назрело пару вопросов
1. Как такие сайты индексируются
2. Уникальность таких сайтов близка к 0
3. Как долго живут такие сайты
4.Сколько приносят трафика

 

Тоже созрел вопрос.Почему шаблон работает через админку, а не заливает сразу в БД сайта?

 

Извиняюсь, за долгий ответ.

В данный момент такого функционала нет. Можно подумать над этим и сделать в отдельной вкладке настроек. Напишите пожалуйста, чтобы вы хотели видеть.

Новости действительно условное название. Подходят все сайты формата запись/пост.

Видео сделаю, не вопрос.

Для работы действительно потребуется либо собственный ZennoPoster, либо я сделаю отдельную складчину для желающих на ZennoBox по моему шаблону. Стоить это дело будет +10$. Из доп знаний нужно понимать html код сайта, который вы собираетесь парсить и уметь составлять регулярные выражения. Благодаря ним бот понимает, в каком месте искать заголовок, текст и тд. Если с html знакомы, то разобраться в остальном в принципе не составит труда (3-4 часов теории и практики вполне хватит) Для всех клиентов я выложу пример 30 сайтов, которые уже готовы к работе, в них будут и необходимые регулярки для понимания.

Шаблон - инструмент, каждый сам решает, как будет его применять. В каких направлениях шаблон точно пригодится я уже написал. Конкретно по вашему вопросу. 1) Можно делать сайт не только на копипасте, а разбавлять контент.
2) Если статьи тянутся с разных источников, то сайт получается не совсем неуникальным и полной копией. Слышал поисковики также смотрят на верстку и еще кучу факторов. Раз люди просят настроить парсинг с каких-то сайтов, то как-то все-таки можно извлекать из них прибыль

 

Лить сразу в БД не всегда удобно в вп. Там есть таблица postmeta, чтобы в ней правильно настроить миниатюры (они важны практически всем), надо очень хорошо повозиться. Плюс есть вероятность, что потом из админки конечные пользователи не смогут это править (просто не будет отображаться).
Я так понимаю, вы переживаете за скорость работы? Работает достаточно шустро, вряд ли можно сделать супер огромную очередь, а вот рисковать качеством не хотелось бы. Пользователю так или иначе надо указать доступы либо к админке, либо к бд. Только с бд сложнее.

 

а для WooCommerce или Opencart можно такое реализовать для добавления с сайта интернет-магазина донора, агрегатора или площадок типа tiu новых товаров в нужных категориях в аналогичные категории на сайте?...если да, то еще бы из нескольких доноров

 

возник еще вопрос. Можно ли реализовать такую функцию в парсере, например, мне нужны каждый день свежие статьи под определенные ключевые запросы. Вручную я вбиваю в строку поисковика гугл ключевое слово, потом в разделе инструменты выбираю фильтр ''за последние 24 часа'' или за "последний час" и вручную сохраняю ссылки на сайты со статьями, которые мне выдал поиск. Можно ли это автоматизировать в данном парсере - задал ключевик, задал фильтр (последние 24 часа, 1 час и т.п.) и парсер собрал мне нужную инфу - ссылки на источник со статьями, собственно сам текст статей и фотографии?