English
Русский
中文
Deutsch
Português
日本語
Господа, предлагаю обсудить проблему, с которой, очевидно, сталкиваемся мы все.
Я имею в виду экспорт и хранение информации о тиковых сделках и стаканах. Каждый из нас вынужден ежедневно выполнять одни и те же действия: включение торгового терминала, запуск Гидры, старт экспорта.
Не кажется ли Вам, коллеги, что в 21 веке мы имеем все возможности для того, чтобы избавить себя от этой каждодневной рутины? И не волноваться о пропущенном начале торгов.
Мне представляется, что все мы заинтересованы в одном: в доступе к надежной и полной базе данных по всем инструментам. Причем сегодня нам нужен фьючерс РТС, а через месяц мы вдруг решим поработать с рынком спот. Кто же скачает за нас стаканы с ММВБ за этот месяц? А если через полгода Вы неожиданно откроете для себя опционы?
Какой выход я предлагаю из этой ситуации? Очевидно, VPS.
Я пользовался триальным сервером [цензура] и остался доволен качеством предоставляемых услуг. Они периодически отправляют мне свои рекламные предложения, и сейчас у них проходит акция с 35%-ной скидкой на годовое обслуживание. Прошу Вас не считать это рекламой. Уверен, в случае необходимости мы сможем найти и другие приемлемые альтернативы.
Как инициатор я готов взять на себя все вопросы, связанные с организацией сбора средств, покупкой хостинга и установкой соответствующего ПО. И, безусловно, внести оплату в размере: (1/n)*(стоимость годового обслуживания), где n-количество первоначальных пользователей.
При этом новым пользователям мы можем предложить также вносить условную сумму, которая пойдет на развитие проекта, компенсацию наших затрат, в счет будущих платежей за хостинг и, конечно же, создателям проекта Гидра. Которым, пользуясь случаем, хочу выразить благодарность за возможность работы с этой программой.
Система сбора и отправки платежей будет организована таким способом (PayPal?), что все денежные переводы будут контролироваться участниками и любая попытка использования этих средств не по назначению будет невозможна.
Прошу Вас высказывать свое мнение в этом топике и в случае, если Вы готовы принять участие в проекте, сообщить о своем решении.
Comentarios (61)
Iniciar sesión o Crear cuenta, Inicie sesión o regístrese para dejar un comentario
А о каком проекте речь? 🙄
Видимо, речь идет о централизованно наполняемой базе данных на каком-нибудь "облачном" сервисе?
На первоначальном этапе это, конечно, будет VPS. В перспективе, если БД будет востребована, можно купить хоть выделенный сервер.
Экспорт будет осуществляться через торговый терминал. На мой взгляд, имеет смысл сохранять тиковые сделки и стаканы по всем инструментам (акции, фьючерсы, опционы) со всех площадок (ММВБ, РТС Стандарт, ФОРТС). Когда появится коннектор к Zen-Fire, можно попросить у создателей коннектора интегрировать его в Гидру (в той части, которая отвечает за экспорт). Потом открыть «пустой» счет у Mirus и сохранять маркет-дату по фьючерсам CME (+несколько инструментов на ICE, EUREX, NYSE Liffe). Для доступа на все площадки нужен будет коннектор и, соответственно, аккаунт IB.
Как услугу с абонентской платой можно предложить доступ к реальным котировкам, а архив с историческими данными необходимой глубины предоставлять за отдельную плату.
Но ведь объем данных будет колоссальным?! Особенно если хранить "тиковые сделки и стаканы". Наверняка нужен сервер уровня используемых на биржах...
Но, вообще, мне это интересно как разработчику. Готов сделать такую базу на PostgreSQL.
Так у нас уже есть поддержка SQLite...
У нас и поддержка MSSQL есть если что :)
Кстати, где можно почитать, что может нынешнее хранилище на MSSQL?
sqlite с линуксом совместим. почитать - в документации, раздел Гидра.
Раз уж зашел разговор о Linux. Безусловно, сервер на этой оси предпочтительнее. И дешевле. Только, если портирование Гидры для Linux я еще представляю, что делать с коннекторами и торговыми терминалами? Из наших терминалов (Quik, SmartCOM, AlfaDirect, Transaq, Alor), по-моему, ни один не имеет версии под Linux. Можно настроить экспорт через виртуальную машину, но это потребует дополнительных ресурсов. И неизвестно, что будет дешевле: платить за лицензию или за ресурсы.
В итоге запустил я Гидру на VPS. Предлагаю желающим настроить экспорт всех инструментов с Финама и РТС (или через терминал с пустым счетом), оценить объем данных и посмотреть на работу приложения при ограниченном объеме ресурсов. Отписавшимся в этой теме отправил логины для доступа.
Рекомендую для начала ознакомиться:
http://bidaskhistory.ru/home.html (судя по обновлению сайта , идея о "history стаканов за отдельную плату" не сильно популярна в массах)
А также:
http://rts.micex.ru/a237
Грубый подсчет:
http://ftp.rts.ru/pub/info/historical_data/
дает для RTS 4.5GB в месяц (сжатые текстовые файлы)
А для чего в этой задаче вообще БД?
В начале говорилось о неком сервере, который копит исторические данные, и на который можно зайти и скачать необходимый для себя объем. Теперь речь идет не только об скачивание данных, но уже об анализе над ними. Так какую проблему решаем?
Не знаю как пожать пока ордер лог, но данные по тикам РТС + ММВБ занимает у нас 5.67 гб (для ровности, пускай будет с 2005 года) и 5.24 гб по стаканам с Плазы за пол года. С учетом того, что сейчас винты на 3 терабайта стоят 200 баксов, то можно за эти 200 баксов записать 3000 / (5.67 / 6 + 5.24 * 2) ~ 262 года. А если только по тикам, то более 3 тысяч лет. Я могу конечно ошибаться, но за эти 200 баксов тики можно будет собирать со всех площадок мира до второго пришествия.
Отличная идея, готов поддержать.
Кажется, всё это - околобиржевая ерунда.
Назвали бы хоть какие то цифры назвали.. я думаю что все скинутся по 10 баксов и не раз скинутся 🙂 И этого на месяц, два хватит.
На данный момент речь идет об экспорте тиковых сделок и стаканов по всем инструментам ММВБ-ФОРТС(-РТС Стандарт) через торговый терминал в файлы БД SQLite. Если наберется достаточное количество заинтересованных участников и, соответственно, капитала (как финансового, так и интеллектуального), можно заняться решением более серьезных задач.
В любом случае надо с чего-то начинать. И поскольку несколько человек уже сообщили о своем намерении участвовать в проекте, после решения организационных вопросов будем покупать хостинг.
Тики и стаканы сохраняются просто на диск ввиде файлов.
Давайте и я поддержку проект. Сколько с носа?
В ближайшее время подготовлю несколько серверов для сравнения. Выберем оптимальный вариант, тогда можно будет озвучить цены.
Возможно, готов поучаствовать финансово в проекте (зависит от суммы), при условии что будет сохраняться направление тиковых сделок. Если будем писать ОИ для деривативов, то будем совсем хорошо :)
Господа,
Изучая рынок VPS-хостинга, прихожу к следующим выводам:
Стоимость сервера с приемлемой производительностью составляет $70-100 в месяц. Таким образом, годовое обслуживание обойдется в 25000-30000 рублей. На эту сумму можно купить компьютер уровня даже не виртуального, а выделенного сервера. Плюс оплатить услуги двух интернет-провайдеров с учетом статического IP-адреса.
Является ли хостинговая компания (тем более зарубежная) надежным звеном при создании инфраструктуры? Гарантирует ли кто-нибудь бесперебойную работу сервера?
От первоначальной идеи – создание единой базы данных по всем инструментам не отказываюсь, меняется лишь мое представление о концепции подобного сервиса. Если раньше я считал, что коллективная покупка хостинга с установкой соответствующего ПО, избавит нас от проблем с экспортом, то сейчас я так не думаю. Такой подход решает одни проблемы, но добавляет другие.
Считаю, что необходимо поднимать свой сервер, настраивать экспорт и раздавать информацию по ftp. На данный момент создание подобной инфраструктуры не является для меня приоритетным, поэтому предлагаю вернуться к обсуждению через несколько месяцев. Интересно будет посмотреть, если кто-то реализует подобное решение у себя.
И кстати.. Как можно будет качать стаканы всех инструментов(ну или тики)?! К примеру у меня за сутки программа перезапустилась 40 раз и это только по 1 инструменту (перезупуск происходит, как проходит 20 сек. с момента получения последнего стакана), чтож будет на 200 инструментах.. или 5000 я не представляю
У меня дома стоит сервачок кот. подключен к сети по выделенке и резервная линия по модемчику(правда там безлим. для телефонов-но на терминал хватит) плюс ибп на 1000ва- все настроено, единственный минус-если инет прервется то переподключение занимает 3 минуты на маршрутизаторе(могу попробовать уменьшить)(он тоже к ибп подрублен). Кстати два проводных провайдера-не очень хороший вариант-перекопают где-нить и оба полетят или свет отрубят а у обоих свичи на дому. Если надо что-то запустить-могу на своей виртуалке на серваке. Но на виртуалку никого не пущу сразу говорю-из соображений безопасности. Но если что там поднять базу и скидывать данные-это не проблема. Сам хотел сделать чтение опционов. Но нужно знать что подымать и как. Если просто нужно запустит гидру и терминал-не проблема. вопрос еще в том как это выставлять наружу.
По поводу максимального количества инструментов мне это и самому интересно, если честно. В Квике в таблице всех сделок информация сохраняется до конца торговой сессии, поэтому в течение дня можно экспортировать только стаканы, а вечером запускать экспорт сделок. К сожалению, это решает одни проблемы, но создает другие. В любом случае открытым остается вопрос: возможен ли экспорт стаканов по всем инструментам через торговый терминал? Через шлюз?
Как вам такой вариант – 2 независимых сервера, которые экспортируют одни и те же данные. Например, основной через шлюз и резервный через терминал. Если на основном случится какой-то сбой, восполнить недостающие данные можно будет за счет резервного.
Я то выложить могу, но возможно для профи c#'а код не понравится 😀 я ведь начинающий, а ноут вкл/выкл программа TimePC (хотел сам написать ее, но я не нашел в просторах интернета, как пробудить компьютер)
Два независимых сервера-это гуд идея. Правда будет разница со временем и как-то надо будет устранить эту разницу. Насчет всех стаканов не знаю-но нужны ли реально они все. По идее стаканы нужны только на достаточно активных инструментах, коих не так уж много. Все остальные даром не нужны. Когда-то экспортировал стаканы через базу данных MsSQl и эксель. Ага квик бывает бажит но не сильно часто.
У меня все итак автоматически, перезапуск происходит, когда котировки новые не поступают больше 20 секунд.
У меня все итак автоматически, перезапуск происходит, когда котировки новые не поступают больше 20 секунд.
зачем перезапуск самой программы, если в S# реализован перезапуск экспорта при не получении данных в течение N секунд?
Нужны стаканы опционов, а их много. Идея с независимыми сервами тоже понравилась, готов присоединиться. Только как синхронизировать экспорт? у разных брокеров разная скорость, разное время обновления. У меня за день дома бывает несколько десятков реконнектов - это меня и останавливает от записи самостоятельно.
Стаканы по Квику вообще не имеют никакой практической ценности на ликвиде, особенно на центральном страйке и ближе к экспирации. Абсолютно не сопоставимы с потоком сделок. Единственный способ сейчас синхронизовать сделки и стаканы на РТС - это полный ордер лог. Что я и предлагаю использовать. В ближайшее время будут котировки и ММВБ. И, что самое главное, не нужно их как-то склеивать.
Ценник на рид онли логин - 2.5 т.р. Лог заявок - 4 т.р. В месяц 6.5 т.р. Я предлагаю всем тем, кто заинтересован в хранении таких данных скинуться на первый год.
Итого получаем 78к. Грубо - 3000$.
С сайта РТС - архивные данные о всех сделках и лучших заявках (top of book) за 1 год по одному рынку - 1500$ http://rts.micex.ru/a237 Получается проще купить. Только непонятно что такое "top of book".
Неправильно посчитали. 1500 - это только один тикер. По всему рынку 5000. Вот по опционам целая серия, значит уже не выгодно покупать по отдельности тикер. Вынь, да положи эти 5 штук баксов.
Понял о чем речь. Top of book - это ласты. Честно говоря, сложно представить зачем они вообще нужны. Если стакан нужен, то он нужен целиком. Если он не нужен, то не нужны и ласты.
Ок, понятно.
А как насчёт канала? ФулОрдерЛог реально тянуть в домашних условиях или нужен хостинг?
Канал важен для торговли, когда идут онлайн данные. Мы же говорим только про ордер лог. Канал тут важен чтобы он был без сбоев.
Мы сейчас говорим о тиках или стаканах? Тики можно тянуть откуда угодно. Они стоят дешево. Стаканы дороже. Но как выяснилось, стаканы не сильно коррелируются со сделками по времени. Железная корреляция - это ордер лог. Он стоит еще дороже.
Если нужны только тики, то смысла в централизованном хранилище как бы нет вообще.
Ок, просто не имел дело с плазой. Плюсуюсь.
Это все заявки (мечта алкотрейдера - бездонный стакан). Сделки тянуть бессмысленно - гидра их и так скачает. Квиковское поле "направление сделки" можно наверно и самому сгенерить - оно я так понимаю фиктивное. В истории только ОИ не хватает, если оно надо кому.
Ну вообще смысл в централизованном хранилище есть-в том смысле чтобы скажем все участники форума(точнее кто скинулся-если для полного лога ордеров) могли подключиться и скачать. На финаме например не все тики-там нет тиков опционов. И даже если покупать то тоже есть смысл-все скинулись и залили на сервак а потом оттуда можно тянуть. В идеале даже подключиться к гидре. Но тут получается что сервачок выполняет функцию хранения и предоставления данных и качество связи не важно. А так надо посчитать сколько народу готово скинуться и по сколько-я готов тыщи по 2 в месяц тратиться. Скидываться можно по разному-кому удобней раз в месяц, а кому единоразово. В общем нужно обдумать схему-но для начала надо знать сколько народу готово скинуться и поскольку(как хотите-либо сколько в месяц либо сколько единоразово). Имеет смысл конечно сразу все рынки купить. В общем отписывайтесь кто сколько может скинуться и кому какой рынок нужнее всего. Потом подсчитаем-вдруг хватит денег))) Еще можно сделать так-скидывается сколько-то человек, а потом делается свой сервак и платный логин, лучше конечно это делать на базе стокшарповского форума(то есть с его логинами). Но в любом случае щас надо знать сколько народу и по скольку. Я-2000р в месяц, фортс(единоразово пока не знаю-мне удобней каждый месяц понемногу как абонентская плата).
Как выше объяснил Михаил - покупать дорого (рынок 5к$)
Тоесть рассматриваем вариант записи стаканов через плазу. 6.5к в месяц.
Тянуть тики смысл есть только если там есть дополнительные данные (ОИ к примеру). Тики по опционам все лежат на РТС - настройте гидру туда.
мне нужно: стаканы РИ+опционов, стаканы остальных ликвидных фьючей ФОРТС готов скинуться порядка 10к
З.Ы. Насколько я понимаю - загадочный источник "Hydra Server" - для подобных целей задумывался?
Это до поры до времени. Есть какие либо сомнения, что как только заработает продажа истории у РТС (сейчас они не продают), доступ на ФТП не прикроют?🙄
5k$ это за год данных-за месяц 500$ итого 15000р за месяц - то есть в два с половиной раза дороже зато не надо мучаться с обеспечением качества связи и т.д. И за прошлые годы как вы получите данные? и где гарантии что все стаканы правильно запишутся через плазу(я правда может чего не понимаю) с учетом всех мелких дисконнектов и задержек? Если скинется человек 7-то как раз получится по 2к с небольшим за каждый месяц и заморочки только с обеспечением фтп-доступа к данным. Вопрос, как всегда, только в том сколько народу реально готово скинуться.
Именно. Преимущество самостоятельной записи - за 3к$ мы получаем все рынки (пока это RTS + RTS standard, потом видимо добавится и ММВБ)
7 * 2 = 14 т.р. Это с учетом хостинга? Если без него, то там сумма итого 4 + 2.5 = 6.5
Оплачивать предлагаю не помесячно, а сразу на год. Потому что кто-то через месяц скажет "ой, поменялись планы" и платить придется больше оставшимся (или закрывать решение с "убытком"). А так можно будет преспокойно найти новых. Есть стойкое мнение, что как только такое решение стартанет, оно заинтересует не только участников этого форума. А это позволит инициаторам избавиться от "абонплаты".
FTP не нужен. Если кто запускал Гидру последних версий 4.0.XXX, то увидел там некий источник HydraServer. Это программа, которая устанавливается на сервер, и отдает файла в формате Гидру авторизованным юзерам. FTP - это геморрой, потому что надо опять же писать автокачалку, занесение инструментов в БД и т.д. А тут все сразу делается, запустил Гидру и данные каждый день свежие падают на винт.
зы Есть стойкое желание начать писать не только Россию. На западе данные стоят еще дороже чем у нас. Пока лично мне не нужны особо (кроме как для поиска корреляции западных фьючей с нашими). Но, когда окажутся нужны, будет неплохо поиметь такие данные для анализа. Если найдем того, кто даст рид онли логин под это дело, то поимеем такие данные забесплатно.❤️
Я лично про совментный дата сервер (хорошее название с Паука пришло). Если через ордер лог, то данные можно получить все гарантированно. Это же лог. Это не срез данных. Дисконнекты наверное не так страшны, главное, чтобы успело прокачать. Это займет примерно минут 15-20.
Записывайте меня в группу. Поддержу финансово (50к единовременно + абонентская плата).
нужны все данные со всего РФ...
Господа, на пауке есть попытки поднять такую же тему. http://forex.kbpauk.ru/showflat.php/Cat/0/Number/359141/an/0/page/0#Post359141 Объединяйтесь.
Да, это гуд, но я думаю гарантированность от не потери данных в полу-пир сетях будут предоставлять сами участники.
Еще такой момент. Мы что-то нарушаем в плане законодательства. Я так понимаю это не подпадает под распространение данных, так как все в личных целях. Или я ошибаюсь?
мы не занимаемся продажей, т.е. не занимаемся коммерческой деятельностью. К нам вопросов никаких.
Тоесть, если я бесплатно буду раздавать маркет-данные, то ко мне тоже не будет никаких вопросов? Думаю, что тут не все так просто.
Поэтому Финам и МВД с мамбой полюбовно договаривались... за мзду малую.
Доступ к логину будут иметь только те, кто отвечает за сервер. Тоесть в идеале один человек. Люди из пула будут иметь доступ к самим данным и только. Не вижу смысла давать доступ непосредственно к логинам. Решил войти в пул? Вот тебе логин-пароль от пула, вот программа. А дальше мы тебя не знаем, ты нас не знаешь. Незнакомые мы.😎
А вообще, разговор данных думаю стоит плавно перенести в скайп.😉 mika_soukhov если кто не знает.
Не понял фразу "частное дело".
Новая информация приводит к уменьшению неопределенности.
В итоге. Полный журнал заявок по фьючерсам представляет собой информацию в виде #SYMBOL,SYSTEM,TYPE,MOMENT,ID,ACTION,PRICE,VOLUME,ID_DEAL,PRICE_DEAL RIM1,F,S,20110531193412193,4000878244,0,188485.00000,4,, RIM1,F,S,20110531193412227,4000879012,2,188470.00000,3,327643883,188470.00000
По опционам #SYMBOL,SYSTEM,TYPE,MOMENT,ID,ACTION,PRICE,VOLUME,ID_DEAL,PRICE_DEAL RI190000BR1,P,S,20110531204518350,4001255270,1,4825.00000,35,, RI195000BF1,C,S,20110531204518410,4001255095,2,1180.00000,1,327669737,1180.00000
Легенда Order log Format Description SYMBOL c25 instrument code SYSTEM c1 F- futures, C(P)- call(put) options, S- RTS Standard TYPE c1 B- buy, S- sell, MOMENT t Trade time ID i8 quote id ACTION i1 0- quote was deleted, 1- quote was added, 2- trade PRICE d16.5 quote price VOLUME i8 quote(trade) volume in contracts(shares) ID_DEAL i8 trade id PRICE_DEAL d16.5 trade price
Deals Format Description SYMBOL c25 instrument code SYSTEM c1 F- futures, C(P)- call(put) options, S- RTS Standard MOMENT t trade time ID_DEAL i8 trade id PRICE_DEAL d16.5 trade price VOLUME i8 quote(trade) volume in contracts(shares) OPEN_POS i8 open pos* DIRECTION c1 trade direction
Причем эти данные можно скачать в любой момент до конца торговой сессии (возможно, и через какое-то время после ее окончания). Безусловно, по сравнению с журналом заявок использование для экспорта торгового терминала выглядит дико.
В связи с этим резервный сервер, экспортирующий данные через терминал, является излишним. Нужна будет еще одна машина, которая может быть просто рабочим компьютером. В случае сбоя на основном сервере, на этой машине будет запущен экспорт с логинами основного.
Единственный вопрос, который мы сейчас уточняем: возможно ли получение полного журнала заявок с нескольких статических IP-адресов (не одновременно, естественно).
По поводу количества участников и суммы взносов. Предлагаю не спешить с этим вопросом. Примерный план развития услуги выглядит следующим образом:
До того момента, пока мы не завершим успешно первый и второй этапы, говорить о расценках преждевременно. Сейчас известна только примерная величина издержек: стоимость логинов (72000 без НДС) и основного сервера (30000).