Открыто

Тиковая история с объемами по 6E за 2008-2015гг. от CQG

Тема в разделе "Форекс и инвестиции", создана пользователем Agent Smith, 5 ноя 2015.

Цена: 1373р.
Взнос: 1373р.

Список пока что пуст. Запишитесь первым!

  1. Agent Smith

    Agent Smith СкладчикСкладчик

    CQG - один из самых крупных поставщиков исторических данных с мировых бирж.



    Предлагаю скинуться и для начала приобрести тиковые исторические данные с объемами (Time and Sales with Volume) по фьючерсу на евро CME (тикер 6E, на сайте CQG имеет тикер F.US.EU6) за достаточно продолжительный период времени 1.01.2008-30.10.2015, по всем торгуемым контрактам. Этот период захватывает небольшой предкризисный промежуток (2008г), кризис, долгосрочные аптренды, даунтренды, боковик, да и в это время уже вовсю орудовали HFT-шники.

    Зачем это нужно?
    Для исследований, разработки и полноценного тестирования стратегий, основанных на тиковых объемах, дельте, кластерах, VSA или еще чем-нибудь. Тут уж не поспоришь, нужны качественные, непрерывные, нефильтрованые данные по всем контрактам (не только самом ликвидном), по которым можно было бы определить сторону агрессора (покупатель или продавец инициатор сделки по рынку), BestBid и BestAsk.

    Небольшой недостаток данных от CQG: большинство инструментов имеет тиковую историю с временными метками кратными минуте (т.е. нет секунд и миллисекунд), но порядок записей соответствует порядку, в котором данные были получены от биржы. Данные по некоторым инструментам, начиная с мая 2013, имеют внутриминутные временные метки.

    Цена:
    Цена на данные по фьючерсам устанавливается в расчете на количество месяцев, по каждому инструменту.
    Time and Sales with Volume - 18 долларов за каждый месяц:

    [​IMG]



    Период 1.01.2008-30.10.2015 обойдется в 1716$

    [​IMG]

    Согласно FAQ, заказчик, котрый впервые что-либо приобретает у CQG, имеет право на скидку 20%, нужно использовать кодовое слово "Web" при чекауте (возможны дополнительные скидки в зависимости от количества заказываемых данных):

    First time customers can have a discount of 20%, just use the key word "Web" at
    checkout. We also may negotiate other types of discounts depending on the quantity of
    data you are about to order. Please, inquire about a specific rate by contacting CQG
    DataFactory directly.


    Итого, с учетом 20% скидки, сумма составит 1372.8$.

    Заказчику данные доставляются посредством доступа к FTP в виде zip-архива, данные нужно выкачать к себе в течении 10 дней. Формирование заказа может занять до нескольких дней, в зависимости от количества данных.


    Ссылка на FAQ с описанием формата данных, инструкцией по формированию заказа:





    Страница, с которой можно бесплатно скачать образец тиковых данных по E-Mini SP500 за 01.07.2007-11.11.2007:




    Нужен организатор, еще не делавший заказов у CQG (для скидки), который сможет оплатить покупку кредиткой. Инструкции, переписка, общение с представителями CQG - на английском. Для создания заказа необходимо зарегистрироваться на их сайте.


    Хотелось бы, конечно, данные по нескольким инструментам, но сумма получится существенно больше. Если складчина по евро увенчается успехом, можно будет попробовать организовать складчину из набора по нескольким инструментам, может удастся выторговать еще скидку в дополнение к 20%.

    P.S. Цена указана в долларах США!
     
    1 человеку нравится это.
  2. Последние события

    1. Agent Smith

      Agent Smith не участвует в складчине.

      19 сен 2017
    2. blackdiamond

      blackdiamond не участвует в складчине.

      21 дек 2016
    3. Incansable

      Incansable не участвует в складчине.

      20 сен 2016
    4. Руслан_Parf

      Руслан_Parf не участвует в складчине.

      23 янв 2016
  3. Billi

    Billi ЧКЧлен клуба (А)

    На истории CQG милисекунды фэйковые (сделки с одинаковым временем исполнения равномерно распределяются внутри секунды). В реалтайме идут нормально. Такую историю можно бесплатно выкачать из датафида. Демка регается в АМР.
    Нормальную тиковую историю отдает только IQFeed.
     
    1 человеку нравится это.
  4. Agent Smith

    Agent Smith СкладчикСкладчик

    Демку регал раньше, там вроде бы отдавало данные глубиной не больше года от текущего момента, кроме того разнесенные данные по Ask/Bid/Trade не дают возможности сопоставить их для определения стороны инициатора маркет-трейда, а это для меня важно. Посмотрел бесплатный образец с сайта CQG - там все как нужно (за исключением временных меток). С IQFeed'ом дела не имел. Для меня не принципиально у кого покупать - CQG или IQFeed, лишь бы порядок сделок соблюдался и можно было однозначно определить инициатора трейда.
     
  5. Billi

    Billi ЧКЧлен клуба (А)

    Порядок сделок на истории сохраняется, а вот определить инициатора можно только алгоритмом, что вносит погрешность в распределение между бид и аск.
    В примерах файлов, которые они дают, нет даже секунд, но есть указание направления сделки (чего нет на истории с датафида). В мануале есть пример истории с милисекундами (не фэйковыми).
    Что они продадут, и в каком виде - не знаю.
     
  6. Agent Smith

    Agent Smith СкладчикСкладчик

    Посмотрел сайт IQFeed - там клиентам будет доступна тиковая история только за последние 180 дней. Маловато будет.
     
  7. Manner

    Manner ШтрафникШтрафник

    Agent Smith, привет. я альтернативу хотел предложить, но чего то не могу тебе ЛС отправить тут. как с тобой связаться?
     
  8. Agent Smith

    Agent Smith СкладчикСкладчик

    На этом форуме, похоже, не предусмотрена возможность отправки ЛС, а в правилах запрещено сообщать контактную информацию о себе...
     
  9. Manner

    Manner ШтрафникШтрафник

    нда уж...у меня просто реализовано получение тиковых данных в табличные формы, интересно бы было бы понять что ты именно в них хочешь увидеть. попробуй постучать ко мне на мт5
     
  10. Agent Smith

    Agent Smith СкладчикСкладчик

    Да пока что ничего конкретного. Как я уже писал, для разработки и тестирования стратегий, учитывающих объемы и дельту. Появилась идея - запрограммировал, посмотрел как ведет себя на длительной истории, принял решение. То же самое с автоматической проверкой уже расшареных чужих идей. Из некоторых открытых источников находил халявную тиковую историю, но она либо с дырами, либо под вопросом точность определения стороны агрессора, либо аггрегирована по минутам, да и длительность меньше года. Такие данные не подошли - результаты тестирования были бы под большим вопросом.
    Пришел к выводу, что для того, чтобы время потраченное на копание в данных не было потрачено зря, придется все-таки разориться на данные от надежного источника.
     
  11. Руслан_Parf

    Руслан_Parf ДолжникДолжник

    Чем тестировать-то собираешься? В какой формат эти сделки можно конвертировать и как?
     
  12. Agent Smith

    Agent Smith СкладчикСкладчик

    Самописным софтом. Кто сам программирует - конвертирует данные в тот формат, который ему нужен. Кто не программирует - просто закажет прогу-конвертер любому программисту, данные от CQG - всего лишь текстовый файл, порядок и тип полей описан в FAQ. При условии, что он знает для чего вообще они ему нужны.
     
  13. Manner

    Manner ШтрафникШтрафник

    Agent Smith, посмотри скрин _gyazo.com/e84dd6b8efff2c95746971c70748ad1e это пример выгрузки, тут правда у меня фильтр стоит на определенные сделки, но можно выгружать все что угодно. такой формат устроит?
     
  14. Agent Smith

    Agent Smith СкладчикСкладчик

    Manner, спасибо.
    Но, полагаю, ты вряд ли пишешь непрерывные данные начиная с 2008-2009г? А использовать данные для исследований/тестировать на истории год-полтора-два чревато нежданчиками в реальной торговле. Хочется захватить различные долгосрочные циклы, посмотреть как меняется микроструктура рынка (т.е. например что-то работает в 2010 г, потом уже не работает - можно это использовать для формализации признаков "отмирания" стратегии; меняется корреляция между инструментами). Кроме того, при использовании данных, которые писал кто-то другой, появляются дополнительные риски - софт мог писать с пропусками, искажениями стороны сделки.

    Ни в коем случае не критикую твои данные, просто указываю на дополнительные риски использования чужих данных для своих целей. И в этом свете данные от официального поставщика, я думаю, стоят некоторых затрат. Если цена складчины опустится хотя бы до 50-60 баксов уже будет неплохо (хотелось бы еще меньше).
     
  15. Manner

    Manner ШтрафникШтрафник

    дык это и есть данные от CQG) они как и любой поставщик котировок агрегируют входящие данные с СМЕ, запаковывают, ставят таймстемп и отправляют.

    ну да, не с 2008ого, но с 2013ого. и писать постоянно их не обязательно, данные хранятся на серверах, просто берешь что нужно и все.

    нежданчики появляться могут не из-за короткой истории данных, ибо со времен революции тюльпанов ничего не поменялось, все подчиняется только законом движения денег и не более того. Нежданчики они могут быть только из-за того, что информация для анализа не полная. Вот пример, вчера по 6Е было внебиржевых сделок больше чем на 3000 контрактов, это много согласись. но эти сделки ты не увидишь ни в какой ленте, данные в которой будут хоть от CQG хоть от Ритмика хоть от кого, ибо внебиржевые сделки не попадают в ленты. Поэтому даже если и купишь ты историю биржевых сделок, она не будет полной без внебиржевых сделок
     
  16. Agent Smith

    Agent Smith СкладчикСкладчик

    Да все верно. Под рисками использования чужих данных я имел в виду, что одно дело полагаться на достоверность данных от поставщика, который десятилетиями занимается конкретно сбором/дистрибуцией биржевых данных, другое - зависеть от того, насколько корректно отдельно взятый пользователь запрограммировал сбор данных.
     
  17. Agent Smith

    Agent Smith СкладчикСкладчик

    Manner, данные платные или безвозмездные?
     
  18. Manner

    Manner ШтрафникШтрафник

    Условно платные. есть платформа одна аналитическая, поставщиком котировок для которых является CQG, от туда я все и дергаю, платформа эта вот и стоит денег.
     
  19. Agent Smith

    Agent Smith СкладчикСкладчик

    ясно.
     
  20. Manner

    Manner ШтрафникШтрафник

    я только сейчас посмотрел пример того, что предлагает CQG и хочу сказать что они просто наглецы) то что они предлагают, это по сути тиковая история кумулятивных сделок. Чем это плохо? ну самое главное, что в начале 2015 года, CQG изменили агрегацию потока ордеров. Если говорить просто, то кумулятивные сделки стали формироваться не так, как это было до начала 2015ого. Последствия этого простые, закономерности которые будут найдены при одной агрегации не будут работать при другой. В сети есть пара хороших видео об этом, где наглядно показано что было с потоком ордеров "до" и "после" смены агрегации. Момент номер 2 - в истории они не дают данных по level 1, а значит мы не знаем кол-во лимитов до сделки и после нее. Так же отсутствует информация о спреде, и не понятно было конкретная сделка внутри спреда или с его расширением. и нет инфы о том, прошла сделка по аптику или даунтику, а значит не понятен тип ордера, который участвовал в сделке. на мой взгляд такая урезанная история мало чем полезна будет.
     
  21. Agent Smith

    Agent Smith СкладчикСкладчик

    Странно, возможно я ошибаюсь, но я считал, что в их истории присутствуют совокупные объемы L1 и все их изменения (вот только количества лимитников в L1 действительно нет), по которым и можно определить и спред и направление маркет-сделки. Вот скрин части сэмпла, котрый они предлагают:

    [​IMG]

    видно изменения объемов лучших бида и аска, потом прошла сделка по цене аска на 2 контракта, что затем отобразилось в соответствующем уменьшении объема лучшего аска.

    По поводу агрегации потока ордеров до и после начала 2015г., я считал, что это связано с предстоящим переходом CME на новый-старый протокол MDP3 осенью, просто CQG решила "порадовать" изменениями пользователей пораньше, и эта судьба ожидает данные от всех поставщиков. Возможно, я ошибаюсь, не вникал особо в этот вопрос.

    Я ни в коем случае не держусь за CQG, просто не в курсе, где еще можно добыть надежную история начиная с 2008-2009г.г. (разве что у самой CME, но там, чтобы ценник был сравнимый, нужно брать пакет на 5-6 инструментов - интересовался в 2013 г)
     

Поделиться этой страницей