[Python] Скрипт чистки текста

это же просто чистка текста а не генератор =)
где-то на винте был курс wordpress для доров или типа того(у него в комплекте шел скрипт на php с такой же функцией чистки текста)

 

Не думаю, что там что-то похожее. Здесь Словари с сигнатурами и т.п.
ТС молодец. Такой скрипт мне лично не нужен, но куплю, чтобы поддержать разработчика.
Допустим, у меня в печени стоит чистка текстовки в частности сниппетов, хотя это и простейшая, малозатратная часть подготовки для генерации.

Код:

sed 's/[^a-zA-Zа-яА-Я0-9\ ]\+/ /g;s/^[ ]*//;s/[ ]*$//;s/\ \{2,\}/\ /g' file.txt > file2.txt

Мой предыдущий пост скорее претендует на троллинг.
Здесь ТС либо надо остановиться и отдавать скрипт "как есть".
Либо маяться и выполнять хотелки (которых может быть море) в привате.

 

согласен, что за такую цену - скрипт должен отдаваться как есть + возможность с автором поболтать в приватной ветке

поддерживаю

 

Можно будет сделать. Но лучше каждому сделать что-то свое, чтобы тексты были уникальные.

 

Какие-то небольшие доработки сделаю, что-то серьезное вам придется самим.

 

Идеи скрипта полностью из моей головы. Сам покупал закрытый PHP код, но он мне не понравился качеством работы и решил сделать лучше.

 

Желающие проверить материал сообщите мне. У вас должна быть программа для парсинга текстов.

 

У меня есть чем спарсить, и не одна

 

Проверяющими могут быть только организаторы и модераторы.
Пока не нашел проверяющих, кому предлагал отказались.

 

Есть тема "Ищу проверяльщика" попробуй туда написать.

 

а еще посмотри старые темы про дорвеи. может там есть заинтересованный народ)

 

@Roman_77 напишите, пожалуйста, когда найдете проверяющих. очень жду. уже 4гб текста лежит на чистку)

 

Активно ищу проверяющих. Проблема в том, что постить в личку можно раз в 30 минут.

 

В примерах исходные тексты очень хорошего качества. Попробуйте напарсить сниппетов, например. Вот если их обработает - будет круто.

Можно список фильтров написать?

 

Сам сниппеты не парсил, использую x-parser-light. Ты сниппеты чем парсишь? У меня есть Datacol, но в нем не вижу такого модуля. Я обещал, что если у складчиков будут проблемы с текстом, дополню код.

Весь скрипт состоит из большого числа фильтров (каждый фильтр 1-5 строк кода), здесь всё перечислять нет смысла.

 

Roman_77,
А ты точно сам написал скрипт чистки, который продаёшь?
Спарсить с серпа яндекса или гугла сниппеты - дело 15 минут для питониста.

Код:

from html.parser import HTMLParser

Даже если учишься. Эх...

 

Конечно. Команда форума смотрит материалы, можно проверяющих попросить погуглить.

Я Питон не весь знаю, пока изучил обработку данных и общие вещи типа циклов, функций, чтение и запись файлов. До сниппетов пока не добрался.

 

да, действительно.. отличная прога! сама пользуюсь время от времени

 

Сниппеты да, датаколом можно надергать.


Вот немного текстовки со сниппетов

Фильтры хотя бы примерные можно перечислить. Есть ли по длине слов в предложениях проверка, по окнчанию предложения, по кол-ву символов последнего слова предложения, чтобы начиналось с заглвной буквы предложение. Уверен, займет самое основное перечислить 5-10 минут, а складчикам - будет лишний повод вписаться .

 

Сейчас попробую

Есть всё то, что перечислено и намного больше, и намного хитрее, именно поэтому не хочу писать. Можно будет у проверяющих спросить - как вам фильтры, это простые заменялки-удалялки или что-то ещё.