[Повтор] Уникальный контент - 500 тыс. зн. за полчаса (граббер)

[Повтор] Уникальный контент - 500 тыс. зн. за полчаса (граббер)

Предлагается комплекс софта и методика для постоянного сбора уникального контента.
Парсим документы, причем в промышленных объемах. Откуда, думаю, многие догадаются, но тем не менее - прошу не палить.

Состав сборки:
- мой шаблон под Zenno Poster, для которого не надо покупать сам Zenno Poster, если у вас его нет (т.е. шаблон смогут могут использовать абсолютно все)
- очень удобная программа для удаления дублей (free)
- очень удобная программа-конвертер всех форматов документов (free)
- методика по обработке больших объемов текста через EtxtAntiplagiat (для новичков)

Как это работает:
- на входе файл с ключами, по которым будем парсить, на выходе папки по имени ключа, внутри все файлы разложены по папкам форматов файла.
- в данный момент грабит doc, docx, rtf, txt + могу добавить форматы по вашему желанию.
- ключи по мере парсинга из базы удаляются, так что если вдруг шаб вылетит по какой то причине - его можно снова запускать и он будет парсить с того же места.
- затем вы чистите все на дубли, затем конвертируете и получаете txt файлы, которые уже можно прогнать через программу EtxtAntiplagiat и получить чистый уник.

Результаты эксперимента:
Была взята небольшая база ключей (ок.100шт), по которой за 10 часов на 10Mbit'ном канале в 1 поток было скачано ок. 5 Gb документов, все файлы скомпонованы по типам, после чего за день все было переконвертировано в txt.

Получилось ок 8 000 файлов, которые были прогнаны антиплагиатом экспресс-проверкой, на что ушел второй день. Затем все получившиеся файлы были прогнаны второй раз через EtxtAntiplagiat, с уже более строгими настройками. В результате получилось почти 100 Мб (1500 файлов) уникального текста в txt формате и стоило это ок $2,5 за антигейт. Далее весь этот массив подлежал ручной проверке. В основном это оказались уникальные дипломы, лекции, конспекты, курсовые, книги и просто статьи. Буквально за 30 минут я насобирал тематичных статей из чистого уникального текста без цифр и прочего мусора на 500 тыс знаков (на 1500р при средней цене за скан в 3р/1k). Причем это зависит от ключей, которые вы используете. Я предполагаю что можно найти такие ключи, по которым процент уника будет очень высоким.

Причины продажи:
Шаблон был написан в рамках повышения собственной квалификации в написании подобных шаблонов. А такого рода текст я не использую, т.к. работаю по буржунету.

Условия продажи:
Для владельцев ЗенноПостера - $30.
Для тех, у кого его нет - $30 и он будет прекрасно работать на демке. Предполагается что за время работы демки вы легко сможете забить себе весь диск гигабайтами доков и потом вытаскивать оттуда уник очень долгое время.
Для тех, кому мало демки - доплачиваете $15 и я снимаю все ограничения демо-версии и добавляю еще 4 потока. Вы сможете пользоваться им постоянно и качать по 2,5Gb документов в час.
Шаблон защищен от редактирования, тех.поддержка и восстановление работоспособности при изменении кода ресурса - бесплатно.

Таким образом всего за $30 или $45 вы получаете бесконечный источник уникального текста. При этом вам не надо покупать Зенно-постер, и вы можете пользоваться шаблоном неограниченно долго и на 5 потоках. Не стоит бояться, что контент закончится - его так много, что хватит на всех. Плюс непрерывно появляются тонны нового.