Тиковая история с объемами по 6E за 2008-2015гг. от CQG

На истории CQG милисекунды фэйковые (сделки с одинаковым временем исполнения равномерно распределяются внутри секунды). В реалтайме идут нормально. Такую историю можно бесплатно выкачать из датафида. Демка регается в АМР.
Нормальную тиковую историю отдает только IQFeed.

 

Демку регал раньше, там вроде бы отдавало данные глубиной не больше года от текущего момента, кроме того разнесенные данные по Ask/Bid/Trade не дают возможности сопоставить их для определения стороны инициатора маркет-трейда, а это для меня важно. Посмотрел бесплатный образец с сайта CQG - там все как нужно (за исключением временных меток). С IQFeed'ом дела не имел. Для меня не принципиально у кого покупать - CQG или IQFeed, лишь бы порядок сделок соблюдался и можно было однозначно определить инициатора трейда.

 

Порядок сделок на истории сохраняется, а вот определить инициатора можно только алгоритмом, что вносит погрешность в распределение между бид и аск.
В примерах файлов, которые они дают, нет даже секунд, но есть указание направления сделки (чего нет на истории с датафида). В мануале есть пример истории с милисекундами (не фэйковыми).
Что они продадут, и в каком виде - не знаю.

 

Посмотрел сайт IQFeed - там клиентам будет доступна тиковая история только за последние 180 дней. Маловато будет.

 

Agent Smith, привет. я альтернативу хотел предложить, но чего то не могу тебе ЛС отправить тут. как с тобой связаться?

 

На этом форуме, похоже, не предусмотрена возможность отправки ЛС, а в правилах запрещено сообщать контактную информацию о себе...

 

нда уж...у меня просто реализовано получение тиковых данных в табличные формы, интересно бы было бы понять что ты именно в них хочешь увидеть. попробуй постучать ко мне на мт5

 

Да пока что ничего конкретного. Как я уже писал, для разработки и тестирования стратегий, учитывающих объемы и дельту. Появилась идея - запрограммировал, посмотрел как ведет себя на длительной истории, принял решение. То же самое с автоматической проверкой уже расшареных чужих идей. Из некоторых открытых источников находил халявную тиковую историю, но она либо с дырами, либо под вопросом точность определения стороны агрессора, либо аггрегирована по минутам, да и длительность меньше года. Такие данные не подошли - результаты тестирования были бы под большим вопросом.
Пришел к выводу, что для того, чтобы время потраченное на копание в данных не было потрачено зря, придется все-таки разориться на данные от надежного источника.

 

Чем тестировать-то собираешься? В какой формат эти сделки можно конвертировать и как?

 

Самописным софтом. Кто сам программирует - конвертирует данные в тот формат, который ему нужен. Кто не программирует - просто закажет прогу-конвертер любому программисту, данные от CQG - всего лишь текстовый файл, порядок и тип полей описан в FAQ. При условии, что он знает для чего вообще они ему нужны.

 

Agent Smith, посмотри скрин _Скрытая ссылка это пример выгрузки, тут правда у меня фильтр стоит на определенные сделки, но можно выгружать все что угодно. такой формат устроит?

 

Manner, спасибо.
Но, полагаю, ты вряд ли пишешь непрерывные данные начиная с 2008-2009г? А использовать данные для исследований/тестировать на истории год-полтора-два чревато нежданчиками в реальной торговле. Хочется захватить различные долгосрочные циклы, посмотреть как меняется микроструктура рынка (т.е. например что-то работает в 2010 г, потом уже не работает - можно это использовать для формализации признаков "отмирания" стратегии; меняется корреляция между инструментами). Кроме того, при использовании данных, которые писал кто-то другой, появляются дополнительные риски - софт мог писать с пропусками, искажениями стороны сделки.

Ни в коем случае не критикую твои данные, просто указываю на дополнительные риски использования чужих данных для своих целей. И в этом свете данные от официального поставщика, я думаю, стоят некоторых затрат. Если цена складчины опустится хотя бы до 50-60 баксов уже будет неплохо (хотелось бы еще меньше).

 

дык это и есть данные от CQG) они как и любой поставщик котировок агрегируют входящие данные с СМЕ, запаковывают, ставят таймстемп и отправляют.

ну да, не с 2008ого, но с 2013ого. и писать постоянно их не обязательно, данные хранятся на серверах, просто берешь что нужно и все.

нежданчики появляться могут не из-за короткой истории данных, ибо со времен революции тюльпанов ничего не поменялось, все подчиняется только законом движения денег и не более того. Нежданчики они могут быть только из-за того, что информация для анализа не полная. Вот пример, вчера по 6Е было внебиржевых сделок больше чем на 3000 контрактов, это много согласись. но эти сделки ты не увидишь ни в какой ленте, данные в которой будут хоть от CQG хоть от Ритмика хоть от кого, ибо внебиржевые сделки не попадают в ленты. Поэтому даже если и купишь ты историю биржевых сделок, она не будет полной без внебиржевых сделок

 

Да все верно. Под рисками использования чужих данных я имел в виду, что одно дело полагаться на достоверность данных от поставщика, который десятилетиями занимается конкретно сбором/дистрибуцией биржевых данных, другое - зависеть от того, насколько корректно отдельно взятый пользователь запрограммировал сбор данных.

 

Manner, данные платные или безвозмездные?

 

Условно платные. есть платформа одна аналитическая, поставщиком котировок для которых является CQG, от туда я все и дергаю, платформа эта вот и стоит денег.

 

ясно.

 

я только сейчас посмотрел пример того, что предлагает CQG и хочу сказать что они просто наглецы) то что они предлагают, это по сути тиковая история кумулятивных сделок. Чем это плохо? ну самое главное, что в начале 2015 года, CQG изменили агрегацию потока ордеров. Если говорить просто, то кумулятивные сделки стали формироваться не так, как это было до начала 2015ого. Последствия этого простые, закономерности которые будут найдены при одной агрегации не будут работать при другой. В сети есть пара хороших видео об этом, где наглядно показано что было с потоком ордеров "до" и "после" смены агрегации. Момент номер 2 - в истории они не дают данных по level 1, а значит мы не знаем кол-во лимитов до сделки и после нее. Так же отсутствует информация о спреде, и не понятно было конкретная сделка внутри спреда или с его расширением. и нет инфы о том, прошла сделка по аптику или даунтику, а значит не понятен тип ордера, который участвовал в сделке. на мой взгляд такая урезанная история мало чем полезна будет.

 

Странно, возможно я ошибаюсь, но я считал, что в их истории присутствуют совокупные объемы L1 и все их изменения (вот только количества лимитников в L1 действительно нет), по которым и можно определить и спред и направление маркет-сделки. Вот скрин части сэмпла, котрый они предлагают:



видно изменения объемов лучших бида и аска, потом прошла сделка по цене аска на 2 контракта, что затем отобразилось в соответствующем уменьшении объема лучшего аска.

По поводу агрегации потока ордеров до и после начала 2015г., я считал, что это связано с предстоящим переходом CME на новый-старый протокол MDP3 осенью, просто CQG решила "порадовать" изменениями пользователей пораньше, и эта судьба ожидает данные от всех поставщиков. Возможно, я ошибаюсь, не вникал особо в этот вопрос.

Я ни в коем случае не держусь за CQG, просто не в курсе, где еще можно добыть надежную история начиная с 2008-2009г.г. (разве что у самой CME, но там, чтобы ценник был сравнимый, нужно брать пакет на 5-6 инструментов - интересовался в 2013 г)