Конвертация исторических файлов QScalp в формат StockSharp

Mikhail Sukhov: Обновил утилиту. Перевел на 17ую версию, заобно пофиксил ошибки. Бинарники так же по...

2020-07-15T20:11:34Z

Mikhail Sukhov: Обновил утилиту. Перевел на 17ую версию, заобно пофиксил ошибки. Бинарники так же по ссылке https://github.com/StockSharp/Qsh2Bin/releases

Важный момент при анализе записей. QSH не имеет признака временной зоны у времени. Поэтому понять в какой временной зоне записаны данные невозможно. С большей вероятностью она может быть или Московская или UTC. Точно могу сказать, что Церих и Айти в разных временных зонах пишут данные.

Как вишенка на торт - временная зона биржевой даты так же может отличаться от временной зоны локальной метки (хотя, это вполне логично, но вдруг для кого-то сюрприз).

Как решить это проблему. Конечно же, надо писать всё в UTC. Но данные и формат уже легаси, поэтому в утилите две выпадающих списка. Один для установка временной зоны локальной отметки, другой для биржевой.

После конвертации может Гидрой или через S#.Storage API просмотреть полученные данные на предмет времени. Если начало торгов что-то вроде 7 часов утра - значит временная зона была в UTC.

Пишите о своём опыте использования. Ошибки старайтесь сами исправить, исходники на Гите. Папку с рефами не заливал, чтобы не захламлять дистрибутив. Думаю, кто умеет код пистать, эту проблему порешает.

Данные по качестве средней паршивости и для пипсовых алгоритмов совершенно бесполезные из-за недостоверной отметки времени и пропуска ряда цен внутри спреда (я про стакан). Но объемы более менее совпадают по итогу. Сервис уже достоин медали, что столь долго существует, и его ещё кто-то поддерживает.

А АйТи ещё продолжает шарить записи с qscalp ?

Обновил утилиту. Перевел на 17ую версию, заобно пофиксил ошибки. Бинарники так же по ссылке https://...

2020-02-22T11:36:36Z

Обновил утилиту. Перевел на 17ую версию, заобно пофиксил ошибки. Бинарники так же по ссылке https://github.com/StockSharp/Qsh2Bin/releases

Важный момент при анализе записей. QSH не имеет признака временной зоны у времени. Поэтому понять в какой временной зоне записаны данные невозможно. С большей вероятностью она может быть или Московская или UTC. Точно могу сказать, что Церих и Айти в разных временных зонах пишут данные.

Как вишенка на торт - временная зона биржевой даты так же может отличаться от временной зоны локальной метки (хотя, это вполне логично, но вдруг для кого-то сюрприз).

Как решить это проблему. Конечно же, надо писать всё в UTC. Но данные и формат уже легаси, поэтому в утилите две выпадающих списка. Один для установка временной зоны локальной отметки, другой для биржевой.

После конвертации может Гидрой или через S#.Storage API просмотреть полученные данные на предмет времени. Если начало торгов что-то вроде 7 часов утра - значит временная зона была в UTC.

Пишите о своём опыте использования. Ошибки старайтесь сами исправить, исходники на Гите. Папку с рефами не заливал, чтобы не захламлять дистрибутив. Думаю, кто умеет код пистать, эту проблему порешает.

Данные по качестве средней паршивости и для пипсовых алгоритмов совершенно бесполезные из-за недостоверной отметки времени и пропуска ряда цен внутри спреда (я про стакан). Но объемы более менее совпадают по итогу. Сервис уже достоин медали, что столь долго существует, и его ещё кто-то поддерживает.

Я не трейдер, меня попросили сконвертировать данные в csv или txt, нашел вашу утилиту, но она выдает...

2019-12-20T00:56:21Z

Я не трейдер, меня попросили сконвертировать данные в csv или txt, нашел вашу утилиту, но она выдает ошибку при конвертации. qsh.7z исходные файлы и то что получается SBER@FORTS.7z

Что делаю не так?

Здравствуйте, у меня Qsh2bin не видит файлы QSH

2019-11-30T09:17:02Z

Здравствуйте, у меня Qsh2bin не видит файлы QSH

Позвольте глупый вопрос... При импорте данных QSH по инструменту RIZ2019 за 20.11.19 первая строка: ...

2019-11-22T03:07:30Z

Позвольте глупый вопрос... При импорте данных QSH по инструменту RIZ2019 за 20.11.19 первая строка: 064624425;+03:00;637098399844250000;38091733454;143780;1;Buy;Done;PutInQueue;;;; 64624425 это время в миллисекундах с начала дня, получается 18 часов? Или это 06:46? Первая сделка должна проходить в 10:00 мск.

Писал подобную утилиту для TSLab и тоже заметил проблему рассинхронизации стакана и сделок. Как я по...

2019-11-15T14:25:32Z

Писал подобную утилиту для TSLab и тоже заметил проблему рассинхронизации стакана и сделок. Как я понял эту проблему:

Есть лаг между событием на бирже и записью в локальный фаил. Он может достигать существенное количество секунд.
Записанный отдельно стакан в Quotes.qsh не имеет того самого реального (биржевого события), а только время локальной записи.
Сделка же летит сразу со временем, и можно увидеть этот лаг между временем записи и времен в самой сделке.
При генерации из ордер лога всё хорошо, так как в логе есть все записи, а вот с акциями придётся наворачивать.

Как поступил я.

Если акция я просто создаю сразу 2 QshReader для Deals.qsh и Quotes.qsh. И начинаю их читать опираясь на внутреннее время записи QshReader CurrentDateTime, и стакан синхронизирую относительно времени сделки.



if (readers.Count > 1)
				{
					while (true)
					{
						if (readers.All(qr => qr.CurrentDateTime == DateTime.MaxValue))
							break;

						QshReader rd = readers.OrderBy(qr => qr.CurrentDateTime).First();
						rd.Read(true);
					}

					foreach (QshReader r in readers)
						r.Dispose();
				}
				else 
				{
					QshReader qr = readers[0];

					while (qr.CurrentDateTime != DateTime.MaxValue)
						qr.Read(true);

					qr.Dispose();
				}

Есть засада, что стаканы до первой сделки придётся проигнорировать, но в моей задаче была цель узнать лучший Бид/Аск в момент сделки и я её так решил.

Надеюсь помог.

Думаю скоро погружусь в эту задачу и для StokSharp

Тип Unknown для quotes действительно надо фильтровать, в файле MainWindow.xaml.cs я добавил Where va...

2019-11-12T17:12:03Z

Тип Unknown для quotes действительно надо фильтровать, в файле MainWindow.xaml.cs я добавил Where var quotes2 = quotes**.Where(q => q.Type != QuoteType.Unknown)**.Select(... что позволяет сразу выкинуть этот тип из рассмотрения.

И цена бывает иногда нулевая, тоже можно фильтровать при желании.

Для правки времени согласен с постом выше, можно использовать ServerTime = qr.CurrentDateTime.ApplyTimeZone(TimeHelper.Moscow) и тогда присвоение currentDate выше можно удалить, оно нигде не используется.

Опытным путем разобрался с проблемой времени! Если у вас в папке, из которой вы конвертируете, лежат...

2019-04-28T12:26:18Z

Опытным путем разобрался с проблемой времени! Если у вас в папке, из которой вы конвертируете, лежат сразу 3 файла на день из архива http://erinrv.qscalp.ru (Deals, Quotes И AuxInfo), то конвертация будет некорректной! Я скачивал сразу все 3 файла, и из одной папки конвертировал, поэтому была ошибка. Если в папке лежат 2 файла на день - Deals, Quotes, то всё конвертируется нормально (если не считать ошибки по акциям, описанной мной выше)

UPD: В общем это я поспешил, что разобрался, всё равно время некорректно ставится. Ошибка плавающая... Я в потоках этих не разбираюсь... Однако, если прописать вместо ServerTime = currentDate.ApplyTimeZone(TimeHelper.Moscow), ServerTime = qr.CurrentDateTime.ApplyTimeZone(TimeHelper.Moscow), то вроде будет работать и время сменяться. Только в файлах начало дня при таком раскладе будет 4 часа.

Добрый день. Пробую сейчас сконвертировать данные через этот конвертер. Данные беру отсюда: http://e...

2019-04-28T09:17:33Z

Добрый день. Пробую сейчас сконвертировать данные через этот конвертер. Данные беру отсюда: http://erinrv.qscalp.ru, за апрель Возникли следующие ошибки: При загрузке данных стаканов по акциям Сбербанка возникала ошибка и данные не грузились. Проблему я решил, порывшись в исходниках. там в исходном файле в начале торгов есть строки с ценой и объемом 0 и типом Unknown. Когда тип Unknown, программа сразу выдает исключение:


switch (q.Type)
{
	case QuoteType.Unknown:
	case QuoteType.Free:
	case QuoteType.Spread:
		throw new ArgumentException(q.Type.ToString());

Написал пока так для себя, не знаю, как в С# принято такое обрабатывать, когда у нас только 2 значения side:


switch (q.Type)
{
	case QuoteType.Free:
	case QuoteType.Spread:
		throw new ArgumentException(q.Type.ToString());
	case QuoteType.Unknown:
		\\throw new ArgumentException(q.Type.ToString());
		side = 0;
		break;

Второй ошибкой является то, что для всех стаканов (файл quotes) время проставляется одно и то же для каждой строчки на весь файл. Эта ошибка проявляется и для акций и для фьючерсов. Пока не могу её побороть. сохранение в файл делается средствами StockSharp.Algo.Storages, все исходники там, как я понимаю. По отладке не могу понять, какие параметры должны быть у pair, чтобы в строке registry.GetQuoteMessageStorage(pair.Key, format: format).Save(pair.Value.Item1); запись происходила как надо. Пробовал менять LocalTime и ServerTime для каждого набора, всё равно сохраняет неправильно (со временем 35517549, например)

Viacheslav: Коллеги, правильно ли я понимаю, что файлы сделок и стаканов на athistory.zerich.com и h...

2019-03-11T09:12:36Z

Viacheslav: Коллеги, правильно ли я понимаю, что файлы сделок и стаканов на athistory.zerich.com и http://qsh.qscalp.ru/scalping.pro - это данные по Московской бирже?

Надо полагать, да

Коллеги, правильно ли я понимаю, что файлы сделок и стаканов на athistory.zerich.com и http://qsh.qs...

2019-03-08T14:20:28Z

Коллеги, правильно ли я понимаю, что файлы сделок и стаканов на athistory.zerich.com и http://qsh.qscalp.ru/scalping.pro - это данные по Московской бирже?

Дмитрий Антипов: torontoxx: Дмитрий Антипов: Добрый день. Подскажите пожалуйста. Почему так получает...

2019-03-06T13:49:39Z

Дмитрий Антипов:

torontoxx:

Дмитрий Антипов: Добрый день.

Подскажите пожалуйста.

Почему так получается?

Может надо цену умножать на шаг (priceStep) по аналогии с заявками из ордерлога?

Подскажите пожалуйста, на какой строке проекта находится данная "аналогия с заявками из ордерлога"?

Отследил чтение. Нужно в этом методе что-то менять?

Попробуйте поменять строку №380 в файле MainWindow.xaml.cs:

Старая строка: TradePrice = deal.Price, Исправленная срока: TradePrice = deal.Price * priceStep,

torontoxx: Дмитрий Антипов: Добрый день. Подскажите пожалуйста. Почему так получается? Может надо це...

2019-03-06T13:41:16Z

torontoxx:

Дмитрий Антипов: Добрый день.

Подскажите пожалуйста.

Почему так получается?

Может надо цену умножать на шаг (priceStep) по аналогии с заявками из ордерлога?

Подскажите пожалуйста, на какой строке проекта находится данная "аналогия с заявками из ордерлога"?

Отследил чтение. Нужно в этом методе что-то менять?

Дмитрий Антипов: Добрый день. Подскажите пожалуйста. Почему так получается? Может надо цену умножать...

2019-03-05T16:58:30Z

Дмитрий Антипов: Добрый день.

Подскажите пожалуйста.

Почему так получается?

Может надо цену умножать на шаг (priceStep) по аналогии с заявками из ордерлога?

Добрый день. Подскажите пожалуйста. Имею данные (c ftp://athistory.zerich.com/). GAZP.2019-01-30.Dea...

2019-03-04T20:35:53Z

Добрый день.

Подскажите пожалуйста.

Имею данные (c ftp://athistory.zerich.com/). GAZP.2019-01-30.Deals.qsh GAZP.2019-01-30.Quotes.qsh LKOH.2019-01-30.Deals.qsh LKOH.2019-01-30.Quotes.qsh

Пробовал ставить и MICEX площадку и бинарные данные.

Стаканы грузятся корректно, но сделки не совсем.

Для Газпрома цену нужно разделить на 100 и тогда ок.

Для Лукойла цену нужно разделить на 2 и тогда ок.

Почему так получается?

Все-таки интересно, почему лучшие цены в стакане, собранным утилитой (PlazaOrderLogMarketDepthBuilde...

2019-03-01T19:17:20Z

Все-таки интересно, почему лучшие цены в стакане, собранным утилитой (PlazaOrderLogMarketDepthBuilder) отличаются от лучших цен QScalp. Неужели один из двух дает неверный результат? Или я что-то не понимаю...

Хотя нет, утилита все еще неудовлетворительно собирает стакан. Стал на истории сравнивать лучшие цен...

2019-02-26T17:09:58Z

Хотя нет, утилита все еще неудовлетворительно собирает стакан. Стал на истории сравнивать лучшие цены, рассчитанные утилитой с лучшими ценами, выводимыми QScalp и обнаружил, что разница между ними большая. Для фьючерса на индекс РТС за 25 февраля, например разница составляет 2-3 шага цены (20-30 пунктов)

Mikhail Sukhov: Поправил утилиту, чтобы поддерживала новый формат. Утилитой кто-то пользуется? Или О...

2019-02-25T08:01:25Z

Mikhail Sukhov: Поправил утилиту, чтобы поддерживала новый формат.

Утилитой кто-то пользуется? Или ОЛ уже интересен только единицам?

Здравствуйте. Я пользуюсь утилитой. Огромное за нее спасибо - очень полезная вещь. Но я обнаружил, что утилита неправильно собирает стакан. Как я это обнаружил. Я добавил в утилиту функцию подсчета суммарного объема стакана по бидам и аскам (глубина стакана 50) и сохранения суммарного объема, а также лучшей цены в файл. Т.е. я добавил после строки 509 метода ConvertFile файла MainWindow.xaml.cs следующий код (под спойлером):


var bestBidQuote = builder.Depth.GetBestBid();

decimal BestBidPrice = (bestBidQuote == null) ? 0 : bestBidQuote.Price;

decimal BidVolume = 0;

var quotes = builder.Depth.Bids.Take(orderBookMaxDepth).ToArray();

foreach (var item in quotes)
{

	BidVolume += item.Volume;
}

var bestAskQuote = builder.Depth.GetBestAsk();

decimal BestAskPrice = (bestAskQuote == null) ? 0 : bestAskQuote.Price;

decimal AskVolume = 0;

var quotes = builder.Depth.Asks.Take(orderBookMaxDepth).ToArray();

foreach (var item in quotes)
{

	AskVolume += item.Volume;
}

... сохраняем BestBidPrice, BidVolume, BestAskPrice, AskVolume в файл ...

Далее я протестировал утилиту на исторических данных фьючерса на индекс РТС (RTS-3.19), скаченных с сайта цериха и сравнил полученные объемы стакана с объемами, которые выводит QScalp на этих же исторических данных. Результаты отличались: объемы, рассчитанные утилитой на порядок превышали объемы QScalp. Я пришел к выводу, что проблема в коде в строках 438 - 441 метода ConvertFile файла MainWindow.xaml.cs:


else if (ol.Flags.Contains(OrdLogFlags.Moved))
{

	status |= 0x100000;
}

По совету пользователя vk37 от 26.01.2016 я установил OrderState = Done для заявок с флагом Moved:


else if (ol.Flags.Contains(OrdLogFlags.Moved))
{

    status |= 0x100000;
    msg.OrderState = OrderStates.Done;
}

И утилита стала считать объемы стакана правильно. Скажите пожалуйста, насколько мое решение верно? Пользователь vk37 в своем сообщении от 26.01.2016 вообще советует устанавливать OrderState = Done для всех заявок из ордерлога, кроме добавляемых заявок (с флагом Add). Скажите пожалуйста, насколько его совет правильный?

Но это еще не все. Когда я стал сравнивать лучшие цены и суммарные объемы стакана после вечернего клиринга с данными, выводимыми QScalp, то обнаружил, что они отличаются: объемы рассчитанные утилитой в разы превышали объемы QScalp. Я пришел к выводу, что утилита при сборке стакана некорректно обрабатывает вечерний клиринг, фактически не очищая стакан. Вот пример результата работы утилиты в вечерний клиринг:

Перед вечерним клирингом (время 18:44:59.926) суммарный объем по бидам = 2186, по аскам = 1889.
При обработке всех последующих заявок из ордерлога в период вечернего клиринга получаем пустой стакан (список котировок по бидам и аскам, а также лучшие цены пустые).
Начало вечерней сессии (время 19:0:0.347). Поступила заявка, в результате которой получаем лучшую цену по аскам, а суммарный объем по аскам = 2612, что фактически составляет суммарный объем до клиринга плюс объем заявок, поступивших в период вечернего клиринга.
Аналогично с бидами: время 19:0:0.505, поступает заявка, в результате которой получаем лучшую цену по бидам, а суммарный объем по бидам = 2536, что фактически составляет суммарный объем до клиринга плюс объем заявок, поступивших в период вечернего клиринга.

Я решил очищать стакан в вечерний клиринг просто создавая новый экземпляр builder:


builder = new PlazaOrderLogMarketDepthBuilder(securityId);

Теперь результаты утилиты и QScalp совпадают.

Скажите пожалуйста, насколько мое решение верно и каким еще образом можно очищать стакан (мой метод мне кажется слишком грубым).

Я юзаю сею утиль

2019-02-04T15:56:08Z

Я юзаю сею утиль

Поправил утилиту, чтобы поддерживала новый формат. Утилитой кто-то пользуется? Или ОЛ уже интересен ...

2019-01-13T23:48:06Z

Поправил утилиту, чтобы поддерживала новый формат.

Утилитой кто-то пользуется? Или ОЛ уже интересен только единицам?