Скрипт для создания собственной базы ключевых слов.

Что делает этот скрипт?

Скрипт позволяет создать собственную базу поисковых подсказок Яндекса, автоматически собирает все результаты рекурсивным методом и очищает их от дублей.

Зачем это нужно?

Вы можете создать конкурентную базу ключевых слов для организации продаж как самой базы, так и индивидуальных выгрузок под конкретного заказчика, конкретную нишу или собственные проекты.

Преимущества скрипта:

+ Неограниченное количество потоков для парсинга, по умолчанию 500.
+ Можно запускать как локально, так и на VDS не потребляя ресурсы рабочего компьютера.
+ Установка и настройка скрипта занимает несколько минут.
+ Код системы полностью открытый, Вы можете вносить любые изменения на свое усмотрение.
+ Можно работать без каких-либо затрат, установить скрипт локально.

Требования к скрипту:
- Наличие MySQL
- Наличие cURL (multi)

Для создания выгрузки из больших баз я советую приобрести VDS с UNIX системой. В инструкцию по работе скрипта я приложу несколько команд, которые помогут создать выборку по любым ключам из вашей БД за считанные секунды.

Стоимость скрипта 300 рублей

Результат работы за несколько дней с перерывами 3,481,074 уникальных ключей.

 

Автор, расскажи пожалуйста чуть подробнее. Я не совсем в теме
В заголовке говоришь про ключевые слова, в теме про подсказки.

Скриптом можно собрать быстро ключевики, задав тематику (1-2х словные ключевые слова) и регион?

 

Да, указываем скрипту стартовые фразы и он начинает рекурсивно собирать по ним ключи из подсказок Яндекса.
Далее, заносит каждый ключ в базу, удаляет при этом дубли. После этого из общей базы мы можем делать выборку по любым ключам, например, в формате CSV.

Примеры выборок из моей небольшой базы:

Если целенаправленно заниматься сбором этих ключей, то в конечном итоге будет своя уникальная база ключевиков.
Которую, Вы как автор, можете продавать как целиком, так и отдельными выборками или использовать в своей работе.

Регион не указываем. Я делаю акцент на сбор больших баз.

 

Возможно сделать скрипт с указанием региона?

 

Да, можно парсить по одному конкретному региону, если необходимо.

 

Это можно сделать в данном скрипте или это будет уже другой скрипт?

 

Эта возможность уже сейчас есть.

 

Банов (выдачи капчи) от яндекса нет при работе?

 

Какая скорость выборки из базы? Можно ли добавить в базу свои ключи?

 

Нет, за все время работы не было ни каптч, ни банов. На данный момент собрано порядка 4.5 млн. ключей, парсинг идет в 500 потоков.
Честно говоря, не знаю, будут ли предприняты меры со стороны Яндекса, но, склоняюсь к тому, что изменений не будет, т.к. сам принцип работы подсказок подразумевает большое количество запросов даже от обычного пользователя (при вводе каждой новой буквы в строку поиска выводится новый массив данных).

Выборка происходит стандартными командами unix систем, поэтому скорость обработки зависит от оперативной памяти в основном.
Я запустил парсинг на слабенькой VDS с оперативной памятью в 500мб. Выборка в файл из 4.5млн записей происходит менее, чем за 1 секунду.

Скрипт сохраняет данные в MySQL, поэтому можно без проблем добавить свои ключи. К тому же, можно собрать подсказки по этим ключам дополнительно.

 

@soctrap, защита от слива есть?
если скрипт, улетит в паблик, яд молниеносно придумает какой-то фильтр.
и тут назревает следующий вопрос: если получим фильтр от яда, будет дорабатываться скрипт?

 

На данный момент код полностью открыт. С одной стороны, если зашифровать скрипт и сделать привязку, будет не очень удобно работать.

Причин для этого две:
- Жесткая привязка к конкретному домену/ip адресу. Т.е. нужно будет каждый раз при переносе делать дополнительный запрос ко мне и получать актуальную версию. Но, это чревато задержками, потому как на это все потребуется время
- Невозможно внести какие-то свои изменения в код скрипта. Возможно, будут личные идеи по дополнительному функционалу.

Если будет введена каптча (хотя я с трудом представляю таковую при вводе поискового запроса), то смысла в многопоточном парсинге не будет, потому что стоимость такого парсинга будет высокой.

Если изменится формат вывода данных подсказок, поправлю бесплатно или расскажу как это сделать.

 

именно это имел введу, а это произойдёт 99% из-за массовых запросов, если уйдет в паблик. яд любит менять вёрстку.

 

И еще один вопрос-длина подсказок (кол-во фраз) как то ограничивается перед сбором ключевиков?
Ну чтоб, например, не собирать совсем длинные хвосты.
Пысы-подписан на второй твой скрипт, да и вообще повнимательней нужно за твоими продуктами следить

 

На данный момент скрипт парсит вообще все подсказки, которые отдает Яндекс, т.е. создает максимально полную базу.
К тому же, чем длиннее ключ, тем ниже конкуренция и легче выйти в топ, да и конверсия по таким ключам выше.

После того как ключи были добавлены в базу можно сделать экспорт с ограничением по длине ключа, если необходимо.

 

Подскажите, а какой-нибудь мануал по настройке и установке скрипта будет прилагаться?

 

Установка сама по себе простая, но, инструкция обязательно будет.

 

А что за цифра перед ключом в csv?
Спасибо!

 

@soctrap, а скрипт парсит только Яднекс? И вдруг чего, парсинг Гугла прикрутить можно?

 

И еще вопрос, какой алгоритм парсинга у скрипта, например, я смогу ввести всего одно слово, скажем "бетон" и получить все подсказки по всем уровням?

Другими совами скрипт собирает сперва подсказки по слову бетон, затем с спаршенных подсказок снова собирает подсказки... и так пока не закончатся подсказки или не остановишь скрипт.....