Скрипт автоматического создания новостных сайтов., Постоянный парсинг с разных источников

Месяца полтора как висит три сайта.
Доменам:
3,2 года Тиц 0 PR 0 _____ 3 человека в сутки
1,5 года Тиц 0 PR 0 _____ 3 человека в сутки
1,2 года Тиц 0 PR 1 _____ 3 человека в сутки
В Яндексе:
35 страниц
30 страниц
3 страницы
В Гугле:
1800 страниц
1400 страниц
1200 страниц
в сапу не добавлял
ибо пока по 1000 не будет не вижу смысла
Кроме Сапы есть еще куда можно засунуть, но это каждый решает сам

 

Для сапы и пузо хорошо бы нарастить. Лучше будут покупать. Тоже надо третий замутить. Я протелился немного а вы уже наделали.

 

Честно говоря немного удивлён, что положительные результаты есть. У меня было мнение, что такие сайты крайне быстро улетают под агсы и вылетают из индекса, оказывается, что не так всё здесь плохо.

 

Надо бы тоже написать. Не так это страшно. Ты дал мне толчок. Поставил FireBug. Вроде к 19-ой Мозилле подходит. Создал папку под парсер, файл, обращаюсь мозиллой МойСайт.ru/worker, но вижу чистый лист и api_key вводить некуда. Не подскажешь, в чем проблема?

 

Дак а чего там делать то)) один раз настроить, все на автомате работает, месяц в админку не заходил, не на один сайт)

 

Это вы про добавление в сапу наверное, а разговор про наращивание пуза. Или вы заходом в админку и настройкой его умеете наращивать?

 

В сапу в панель вебмастера не добавлял еще, нет смысла (индексация мала) а в панель оптимизатора добавил и ссылок закупил.
А про админку писал, про сайты. Делать там нечего после грамотной настройки.

 

У кого-нибудь видно что по адресу ВашСайт.ru/worker ??? Хочу парсер написать, но тут затык сразу получился. Или без этого обойтись можно?

 

Old Chap, в старой версии скрипта нету этого worker.php с помощью которого можно написать парсер(автор добавил его в новую версию)

А так.. Сайт стоял у меня где то месяц. Сперва вроде норм. по 5-6 человек заходило. С поисковиков тоже норм. Но потом яндекс пустил под АГС. Гугл вроде норм.. не ругается.

 

Radzhab, но Dredd тем не менее написал парсер на 4 источника, правда не хочет рассказывать, как он это сделал. Можно, конечно, по аналогии с написанными уже парсерами, но это не так просто без инструментария для проверки. Значит в Сапу уже не возьмут, раз под АГС попал? А ведь для нее он и создавался. Но я найду применение и без Сапы. Тем более скрипт не за 6000 покупали, поэтому затраты на 3 домена и хостинг отдельный отобью по-любому. Сегодня зарегал еще 3-ий домен и на этом пока остановлюсь. Посмотрю, что выйдет из этой затеи.

 

я пробовал писать. В принципе алгоритм парсера тоже понял) Но увы. Новости собирает но в базе не добавляет. Нужна новая версия скрипта. ТАм по легче будет

 

Может соберем складчину и найдем фрилансера, который напишет парсер под rbc.ru? Мне кажется должен и со старым работать. Возможно ошибся где-то. Есть желающие скинуться?

 

Вот именно так и писал, скопировал, поменял структуру и все. Там делов то, 20 минут на новый источник, при нормальном знании ПХП.

 

У меня все сайты на этом скрипте в "соплях". 0% страниц не под фильтром
Берут такие в биржи ссылок, если остальным требованиям будут соответствовать ?

 

Термин "сопли" чаще применяют по отношению к Гуглю. Нас больше Яндекс интересует. Если же его применить к Яндексу, то я бы его сформулировал так:
Загружено роботом - Страниц в поиске = Сопли Яндекса
Это правильная постановка, ИМХО. И в этой постановке если смотреть мой сайт, то RDS бар в графе проиндексировано Яндексом показывает цифру даже большую, чем в Вебмастере Загружено роботом. В той же Сапе больше внимания обращают именно на индексацию сайта. Поэтому если будет в индексе, например, 100 страниц (хотя смысла нет добавлять, если так мало) то уже должны взять. Странно что у тебя все в соплях. У меня по Гуглю 4% не в соплях, а в Яшке 50%! Сайту месяц. Домен новый. По Яше
Загружено роботом 124
Страниц в поиске 72
RDS бар проиндексировано 144

 

1. По Яшке вопросов не было. С ним всё ясно.
Вот и у тебя 96% в "соплях". Почему-то не берёт Гоша в основной индекс такой контент.

2. Из требований Сапы к сайтам : "сайт не должен состоять из спарсенного или сгенерированного контента"
Наши сайты уж точно не соответствуют этому пункту. Как же их туда берут ?

3. У меня в Гугле в индексе то 7к страниц, то 500, то 7,5к, то 600 и т.д. Так только у меня ?

 

Ну это по рдс плагину. А если набрать site:тачанка.рф то там 2000 из 5000. И все стабильно. Ничего не скачет. И в инструментах вебмастера тоже нормально.

Там многие сайты этим требованиям не соответствуют. Это они уже загнули.

 

Так то при нормальном. А где его взять? Организовал бы авторскую складчину на новые источники

 

У кого-нибудь выскакивает такая бяка? Warning: Unknown: Input variables exceeded 1000. To increase the limit change max_input_vars in php.ini. in Unknown on line 0
На одном сайте Яша добавил в основной индекс больше 2000 страниц, а потом попал я под фильтр и осталось только 248. Еще Сапу и не ставил. Короче без работы ручками не обойтись. А раз так, то лажа все это.

 

Какой-то ушлый горе-предприниматель продаёт этот скрипт на плати.ру за 48$

. O как.