Открыто

[php script] A-WEB DETECT - система определения веб-технологий

Тема в разделе "Бизнес и свое дело", создана пользователем analytic, 4 фев 2018.

Цена: 500р.
Взнос: 500р.

Основной список: 8 участников

Резервный список: 4 участников

Статус обсуждения:
Комментирование ограничено.
  1. 4 фев 2018
    #1
    analytic
    analytic ОргОрганизатор (А)

    [php script] A-WEB DETECT - система определения веб-технологий

    Web Developement.png


    Система A-WEB DETECT. - суть системы мы загружаем список доменов в систему, система разбивает информацию о каждом домене - на технологии, на основе которых создан данный домен.

    После в соответствии с необходимой технологией мы можем сделать экспорт списка доменов.



    Данный скрипт будет полезен для:

    1) SEO специалистов/Рекламщиков - размещающих ссылки с помощью специальных программ (в частности Zennoposter), на базе определенной технологии.

    2) Специалистам предлагающим услуги/темы/модули и т.п. - молодым доменам/бизнесам - в соответствии с выбранной технологией. А таких у нас в клубе хватает

    3) Для создания и продажи баз данных. А это приличный доход....вот на вскидку первый пример


    Как я говорил в своем онлайн журнале (где 14 выпусков с бонусами и шаблонами). Продажа баз это достаточно стабильный бизнес.







     
    5 пользователям это понравилось.
  2. Последние события

    1. Arahnid
      Arahnid не участвует.
      28 ноя 2023
    2. skladchik.com
      В складчине участвует 10 человек(а).
      7 окт 2023
    3. dimkadoma
      dimkadoma не участвует.
      30 июн 2023
    4. krist
      krist не участвует.
      20 янв 2023
  3. Обсуждение
  4. 4 фев 2018
    #2
    htrmaster
    htrmaster ОргОрганизатор
    Готов проверить, тема интересная.
     
    1 человеку нравится это.
  5. 4 фев 2018
    #3
    analytic
    analytic ОргОрганизатор (А)
    принято. Отдам на проверку - по факту набора участников
     
  6. 4 фев 2018
    #4
    Arahnid
    Arahnid ОргОрганизатор
    Тоже готов проверить, если доверите.
     
    1 человеку нравится это.
  7. 4 фев 2018
    #5
    Авраам Линкольн
    Авраам Линкольн ДолжникДолжник
    @analytic, А какая скорость работы?
    В работе скрипта как то участвует Wappalyzer для определения технологий? Или какой то подобный сервис...
     
    1 человеку нравится это.
  8. 4 фев 2018
    #6
    analytic
    analytic ОргОрганизатор (А)
    Система A-WEB DETECT - часть большей системы (которая будет позже).

    Статистика по скорости загрузке exel файлов зависит от следующих факторов:

    1) Мощность VPS (далее статистика идёт для VPS c 2ГБ оперативы)
    2) Скорость ответа сайта
    3) Если сайт отсутствует = проходит время ожидания ответа от сайта - 5 сек.
    4) Список в 1000 доменов загружается в среднем за 2-4 минуты
    5) Загружая списки более 5000 доменов - общее время загрузки увеличивается где-то на 30% (т.е. оптимально работать со списками до 5000). Если у Вас выделенный сервер - то смело можно грузить файлы и по 1000 000 позиций.
    6) Основная задача - это проверка новых доменов. И связь с их хозяевами на предмет сотрудничества. Если требуется иметь базу всех доменов - то можно самостоятельно составить шаблон Zennoposter - по систематической загрузки данных.

    Используется система laravel+mongodb

    1) В общей базе при слабом VPS - можно хранить/сортировать/экспортировать данные из базы более 1000 000 позиций. На сервере - можно работать с 300 000 000. Особенность NoSQL базы.
    2) Сортировка информации (а именно фильтры) при поиске домена и при экспорте представлена в демонстрационном файле


    Общие представления о системе
    1) Технология Wappalyzer
    2) Дополнительная настройка VPS на Linux


    Конкурентная особенность от баз данных в продаже и от publicwww
    1) Поиск идёт по технологиям , а не по сигнатурам.
    Т.е. мы не пропускаем домены у которых удалено "powered by wordpress" , 'powered by opencart' и т.п. (а таких сайтов не мало:))
    2) Представлено огромное количество технологий - баз которых нет в продаже или стоят денег

    3) Мы можем экспортировать из базы сайты согласно фильтру (т.е. содержащие сразу несколько технологий)
     
    Последнее редактирование модератором: 4 фев 2018
    1 человеку нравится это.
  9. 4 фев 2018
    #7
    analytic
    analytic ОргОрганизатор (А)
    Принято
     
  10. 8 фев 2018
    #8
    analytic
    analytic ОргОрганизатор (А)
    Предварительно : Материал отдам на проверку при числе участников более 50 чел.
     
  11. 14 фев 2018
    #9
    analytic
    analytic ОргОрганизатор (А)
    Да к ближе к пятнице
     
    1 человеку нравится это.
  12. 2 мар 2018
    #10
    Mekinos
    Mekinos ЧКЧлен клуба
    А на какие технологии разбивает? Точнее — какие определяет? CMS / фреймворки или еще что-то?
     
  13. 2 мар 2018
    #11
    analytic
    analytic ОргОрганизатор (А)
    Есть демка в первом посту
    Есть видео в министерстве качественного трафика - Смотрим обзор возможностей (конец) и Инструменты вебмастера

    Есть сама технология (но тут лучше посмотреть демку...те технологие которые были добвлены последний год -их нет)
     
    Последнее редактирование модератором: 2 мар 2018
    1 человеку нравится это.
  14. 2 мар 2018
    #12
    cocieri
    cocieri ЧКЧлен клуба
    @analytic, я правильно понял, если есть у меня база сайтов и я хочу узнать по каждому сайту все использованные технологии на котором работает сайт, я указываю список и скрипт мне выдает всю инфу по подобию (смотреть скрин)?
    2018-03-02_142732.jpg
    Если да, то есть ли выгрузка и в каком формате ?
     
  15. 2 мар 2018
    #13
    analytic
    analytic ОргОрганизатор (А)
    Да. Смотри видео и демку - там детальнее.

    Выгрузка и импорт - одинаковый формат

    В министерстве формат выгрузки xlsx
    Здесь будет csv (должно быть быстрее) (если наберётся народ - вырежу данный инструмент из vitalquality analytics)

    Но чтобы вы понимали - выгружается только список доменов . Вся детальная информация хранится в базе.
     
  16. 2 мар 2018
    #14
    cocieri
    cocieri ЧКЧлен клуба
    @analytic, То есть чтобы мне разложить по полочкам мне нужно к примеру написать шаб на зенке, типа если к примеру, базу на продажу и чтобы красиво самому оформить на сайте? Не знаю если ты меня понял, ... ?
     
  17. 2 мар 2018
    #15
    analytic
    analytic ОргОрганизатор (А)
    не-а, не понял....:)
    Т.е. ты хочешь продавать технологии. Нужен красивый сайт?

    Берешь сайт , где данная технология и через код страницы копируешь кнопочку с картинкой технологии себе в Html ....и у тебя красивая кнопка, только тут ещё и стили надо подключить...но это вебстроительство уже - зенка не нужна.

    Или проще - через скрипт данной складчины сохраняешь страницу - и сразу сайт и напротив кнопочки:)
     
    1 человеку нравится это.
  18. 12 июл 2018
    #16
    leoy89
    leoy89 ЧКЧлен клуба
    т.е. он помимо cms показывает какие модули встроены в нее? на открытой странице?
     
  19. 14 авг 2018
    #17
    4Andrej
    4Andrej ДолжникДолжник
    1. Как с определением Angular, React... ?
    2. Определяете ли версии ?
    3. Если определяете версии js библиотек - используете phantomjs или другая либа на Node.js ?
    4. Возможно ли самому дополнять базу сигнатурами, загружать список доменов и отобрать сайты с нужной технологией или версией скрипта ?
    Есть ли видео демка, так как на macOS не запустить ваши примеры (
     
  20. 8 сен 2018
    #18
    4Andrej
    4Andrej ДолжникДолжник
    @analytic дайте пожалуйста ответ на пост выше или проект умер ?
     
    1 человеку нравится это.
  21. 8 сен 2018
    #19
    analytic
    analytic ОргОрганизатор (А)
    Технологии уже все добавлены..нового добавить сложно.
    Всё хранится в базе данных MongoDB
     
    1 человеку нравится это.
  22. 16 сен 2018
    #20
    blogeonix
    blogeonix ЧКЧлен клуба
    Ждем с нетерпением старта ;)
     
Статус обсуждения:
Комментирование ограничено.

Поделиться этой страницей