10.000 настоящих юзерагентов + программа для их фильтрации [Повтор-1]

10.000 настоящих юзерагентов + программа для их фильтрации [Повтор-1]

Всем привет! Это повтор этой складчины.
В этой складчине хочу предложить 10.000 свежесобранных юзерагентов настоящих пользователей. Эти ЮА я паршу со своих сайтов, предварительно очищая их от различных ботов. Таким образом вы получаете список самых качественных юзерагентов, которые можно получить.
Зачем они нужны? При работе с соц.сетями, различными сайтами, и любыми другими темами, где нужны прокси и юзерагенты, и желательно в большом количестве.
Эти юзерагенты - это список реально заходящих пользователей на сайты, которые используют здесь и сейчас свои устройства для сёрфинга по интернету. А значит вопросов от роботов соц.сетей и других сайтов на счёт юзерагентов не возникнет.
Проверяющим выдам список уникальных юзерагентов на сегодня, а после завершения всем в библиотеке опубликую второй список юзерагентов, актуальный на момент публикации. Это не значит, что все ЮА во втором списке будут отличаться от первого, но означает, что список будет актуальным.

В отличии от предыдущих своих складчин по юзерагентам, в этой я также в комплекте предлагаю шаблон, написанный на зеннопостере, который умеет распаршивать из файлов в таблицы юзерагенты по следующим критериям:

По платформам. Список платформ для выпарса

По странам. Список стран для выпарса:

По браузерам. Список браузеров для выпарса:

Шаблон работает в трёх основных режимах:
1. Выпаршивать юзерагенты из лог файлов - это файлы из журналов посещений ваших сайтов. Такие файлы можно взять со своего сервера или хостинга, если у вас есть сайты. Если у вас нет сайтов - то это будет пожалуй единственный режим, который вы обойдёте стороной.
2. Фильтровать собранные юзерагенты - это как раз тот режим, который распаршивает по платформам, странам и браузерам в таблицу или в файл.
3. Перемешать - пригодится на случай, если вы хотите перемешать ЮА в файле.

Скрин входных настроек:

Спойлер: Настройки шаблона

Результат работы шаблона при выпарсе в таблицу выглядит так:

Спойлер: По платформам

Спойлер: По странам

Спойлер: По браузерам

Обладает очень большой скоростью работы - 25000 юзерагентов обрабатывает в режиме фильтрации за ~40 секунд в 1 поток. Поэтому отлично подойдёт даже для тех, у кого зеннопостер лайт версии. Да и вообще тут уже можно использовать демо версию зеннопостера. Так что шаблоном сможет пользоваться абсолютно каждый
Сделан целиком и полностью на C#, за счёт чего и достигает такой высокой скорости работы.

Что такое юзерагенты? Можно сказать, что юзерагенты, это своего рода отпечатки наших устройств. То есть через них (юзерагентов) мы передаём сайтам, которые посещаем, информацию о себе (об устройстве), кто мы такие есть.

Для чего будет полезен? Как уже упоминал выше, если вы работаете в интернете, в соц.сетях к примеру, то необходимо для каждого нового аккаунта подставлять новый юзерагент, чтобы его не банили. Или чтобы сайты не закрывали доступ к своему содержимому. Для этого всего нам понадобится много юзерагентов. Но нельзя использовать какие попало. Иногда приходится отбирать только мобильные, или только десктопные юзерагенты для какой-то определённой соц.сети или сайта. Вот тут на помощь и приходит данный шаблон. Вообще вариантов использования юзерагентов очень много и все их не описать.

Пишите вопросы, буду рад на них ответить.

 

Отличная составляющая для шабов на запросах! Круть!

 

За какой период собраны юзерагенты?

 

За две последние недели - очищаю журналы, потом выжидаю две недели и делаю сбор

 

У среднестатистического .ru сайта есть некое "идеальное" соотношение юзерагентов, по устройствам, браузерам, версиям и т п. Ваш шаблон же просто списки выдает? Из этого списка потом все данные надо наобум миксовать?

 

Мой шаблон выпаршивает юзерагенты из журналов, в которых хранится инфа о том, с каких устройств посещали сайт. Но для вас это актуально, только если у вас есть сайты. А если нет, то тогда переходим сразу ко второй части:
для всех остальных, я вместе с шаблоном передаю список на 10.000 юзерагентов, и из них уже можно выпарсить по странам, браузерам и платформам себе юзерагенты как в файл, так и в таблицу.
Про то, что нужно наобум миксовать - я не понял.

 

Сайты есть и трафик тоже. Я писал о том, что лично мне важен "естественный портрет" среднестатистического посетителя, соотношение устройств и т.п например на тысячу посетителей.

 

Такое проще через статистику лайв интернета посмотреть - это он в удобном графике подобные вещи показывает.

 

Скидка прошлым участникам складчины предоставляется?

 

Да, для прошлых складчиков стоимость участия 400 рублей

 

Не очень понимаю, для чего нужны эти юзерагенты, и в чем их преимущество от сгенеренных?.. Само железо идентифицируют вовсе не они. Куки аналитик они тоже не содержат...

 

Для эмуляции устройств, чтобы минимизировать количество банов на тех или иных сайтах.

Настоящее, есть настоящее - оно всегда лучше поддельного

 

Ну вот, например, мой UA Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0. Что из этого уберегает от бана?