Ошибка при чтении тиков из bin-хранилища, API 4.2.72

должен быть покрыт функциональными и unit тестами вдоль и поперёк. Их абсолютное отсутствие на GitHu...

2015-04-03T17:56:14Z

asuilin

должен быть покрыт функциональными и unit тестами вдоль и поперёк. Их абсолютное отсутствие на GitHub и стремление искать ошибки вручную через интерфейс Гидры порождает вопросы...

Вас кто-то останавливает? http://stocksharp.com/fo...estnaia-rabota-v-GitHub/

Моя версия с багом дозаписи в .bin файл подтвердилась. RTSHistorySource возвращает сделки не только ...

2015-04-02T20:10:54Z

Моя версия с багом дозаписи в .bin файл подтвердилась.
RTSHistorySource возвращает сделки не только за заданный день, но и небольшой хвост от предыдущего дня - не разбирался почему, возможно так устроены данные FORTS. Этот хвост дописывается в хранилище предыдущего дня, в котором уже есть данные, и где-то в этом месте нарушается структура хранилища.
Если перед записью отфильтровать этот хвост, т.е. записывать за один раз данные строго одного дня, то все работает. Все фьючерсы RTS за месяц прекрасно записались и прочитались.
Михаил, все вводные данные у вас есть, можете исправлять баг, можете нет, дело ваше. Я буду делать свой сторадж на SQLite, так надёжнее и проще в поддержке.

Я попробовал ваши шаги. О результатах отписал выше. Именно поэтому я сделал тест, работающий в изоли...

2015-04-02T17:22:01Z

Mikhail Sukhov

Я попробовал ваши шаги. О результатах отписал выше.

Именно поэтому я сделал тест, работающий в изолированных стерильных условиях, чтобы ошибка была более воспроизводимой. Ошибка ведь в хранилище, а не в Гидре, значит хранилище и надо тестировать, без десятка дополнительных слоёв кода вокруг.

Вообще, по всем правилам здравого смысла продукт уровня StockSharp, тем более работающий с крупными деньгами, должен быть покрыт функциональными и unit тестами вдоль и поперёк. Их абсолютное отсутствие на GitHub и стремление искать ошибки вручную через интерфейс Гидры порождает вопросы...

Я попробовал ваши шаги. О результатах отписал выше.

2015-04-02T12:54:17Z

Я попробовал ваши шаги. О результатах отписал выше.

Вот именно, и мне надо определить ошибку, я вам даже тест написал. Можно сделать то же самое руками ...

2015-04-02T10:24:02Z

Вот именно, и мне надо определить ошибку, я вам даже тест написал.
Можно сделать то же самое руками через Гидру, если вы настаиваете, но это займет гораздо больше времени.

Вы не поняли. Надо через гидру. Мне не надо через Гидру Мне надо определить ошибку, если она есть. Е...

2015-04-02T10:13:44Z

asuilin

Mikhail Sukhov

Вы не поняли. Надо через гидру.

Мне не надо через Гидру

Мне надо определить ошибку, если она есть. Если вы хотите получать ответы бесплатно, то лучше вам все же следовать тем предписаниям, что я пишу. Ну или все самостоятельно далее.

Вы не поняли. Надо через гидру. Мне не надо через Гидру, мне надо решить мою простейшую задачу - заг...

2015-04-02T09:41:48Z

Mikhail Sukhov

Вы не поняли. Надо через гидру.

Мне не надо через Гидру, мне надо решить мою простейшую задачу - загрузить и прочитать данные RTS. Через код ее оказалось удобнее и быстрее решать, Гидра дергает за те же классы, какая разница.
Итак, более детальное тестирование показало, что сбой в конкретной дате зависит от того, загружались ли следующие даты. Пример - при загрузке 17 марта 2015 и 18 марта сбоит чтение фьючерса GDM5 за 17 марта. При загрузке только 17 марта все ОК. Возможно, в следующем дне догружаются какие-то хвосты от предыдущего и неудачно дописываются в конец файла.

Тестировалось на версии API 4.2.75, которая датируется в NuGet 1 апреля, т.е. свежак.
Код теста прилагаю, попробуйте запустить у себя. Сначала надо загрузить пакеты из NuGet (Manage Nuget Packages) и поправить в коде пути для загрузки.

Вы не поняли. Надо через гидру.

2015-04-02T06:45:05Z

Вы не поняли. Надо через гидру.

Да, всё так и делал. Написал тест, сгенерировал 1М трейдов, записал и прочитал - все отработало. Сей...

2015-04-01T22:46:14Z

Да, всё так и делал.
Написал тест, сгенерировал 1М трейдов, записал и прочитал - все отработало.
Сейчас пробую сделать всё без Гидры, напрямую через RtsHistorySource и запись трейдов в хранилище, вдруг заработает. Заодно это быстрее, чем Гидра, работающая в один поток. Вопрос - при записи/чтении трейды никак не переупорядочиваются по номеру тика? Т.е. если я запишу сначала вечерние трейды за день, а потом утренние, они и читаться будут в том же порядке?

Кстати, посмотрел, что Гидра записала в CSV формат - во всех трейдах пустые даты. Не зря она сыпала ошибками, сама с собой не где то смогла договориться о формате дат в строках.

Тоесть ошибка за 2014_12_09 по RIZ4 стабильно воспроизводится? Да, у меня цикл удаляем - скачиваем ...

2015-04-01T21:23:53Z

asuilin

Mikhail Sukhov

Тоесть ошибка за 2014_12_09 по RIZ4 стабильно воспроизводится?

Да, у меня цикл удаляем - скачиваем - читаем - получаем ошибку воспроизвёлся раз пять. Вы бы посмотрели файлик то?

Файл смотреть нет смысла. Есть смысл устранить проблему, если она есть. Попробовал Гидрой из Гита скачать за указанную дату. Скачалось и прочиталось. Все Гидрой. Попробуете последней с Гита? Я правильно понимаю, что вы выставили в настройках нужную дату, выбрали нужный инструмент и закачали 1 день? После этого попытались его прочитать.

Тоесть ошибка за 2014_12_09 по RIZ4 стабильно воспроизводится? Да, у меня цикл удаляем - скачиваем ...

2015-04-01T17:34:45Z

Mikhail Sukhov

Тоесть ошибка за 2014_12_09 по RIZ4 стабильно воспроизводится?

Наверное не поняли. Надо удалить дату. Тоесть не перезаписывать файл, а новый создавать нужно. Да, ...

2015-04-01T15:31:31Z

asuilin

Mikhail Sukhov

Наверное не поняли. Надо удалить дату. Тоесть не перезаписывать файл, а новый создавать нужно.

Да, конечно я так и делал. Под перезакачкой имелась в виду повторная заливка этой даты в Гидре.

Тоесть ошибка за 2014_12_09 по RIZ4 стабильно воспроизводится?

Кажется, мне быстрее будет реализовать собственное хранилище, имплементирующее IMarketDataStorage. П...

2015-04-01T15:25:02Z

Кажется, мне быстрее будет реализовать собственное хранилище, имплементирующее IMarketDataStorage. Проблема в том, что у него есть свойство IMarketDataDrive Drive, а у него, в свою очередь, есть IMarketDataStorageDrive GetStorageDrive(). А IMarketDataStorageDrive оперирует бинарыми данными и рассчитан на формат StockSharp.
Какой тогда смысл в этих интерфейсах, если ни с чем, кроме закрытого бинарного формата, они работать не могут? Или реализация GetStorageDrive() не обязательна и можно там сделать заглушку?

Наверное не поняли. Надо удалить дату. Тоесть не перезаписывать файл, а новый создавать нужно. Да, ...

2015-04-01T15:10:52Z

Mikhail Sukhov

Наверное не поняли. Надо удалить дату. Тоесть не перезаписывать файл, а новый создавать нужно.

Да, конечно я так и делал. Под перезакачкой имелась в виду повторная заливка этой даты в Гидре.

Перезакачка полечила одну битую дату, но не полечила другую. На RIZ4@FORTS для 2014_12_09 (9 декабря...

2015-04-01T09:47:39Z

asuilin

Перезакачка полечила одну битую дату, но не полечила другую. На RIZ4@FORTS для 2014_12_09 (9 декабря) данные остаются битыми после нескольких перезакачек. Файл приложу, если найду как это сделать.

Наверное не поняли. Надо удалить дату. Тоесть не перезаписывать файл, а новый создавать нужно.

Перезакачка полечила одну битую дату, но не полечила другую. На RIZ4@FORTS для 2014_12_09 (9 декабря...

2015-04-01T09:06:37Z

Михаил, а не могли бы вы публиковать отладочную информацию в NuGet? Хрен ведь поймешь, на какой конк...

2015-04-01T08:04:18Z

Михаил, а не могли бы вы публиковать отладочную информацию в NuGet? Хрен ведь поймешь, на какой конкретной дате оно спотыкается внутри итератора.
См. http://www.arturdr.ru/ne...-av-infrastructure-web/ и https://docs.nuget.org/c...ishing-a-symbol-package

Да

2015-04-01T07:45:21Z

Да

Кеш дат это tradesDates.bin?

2015-04-01T07:16:25Z

Кеш дат это tradesDates.bin?

С перезакачкой не очень понятно, Гидра же хранит где-то в недрах метаинформацию о том, что скачалось...

2015-03-31T21:55:16Z

asuilin

С перезакачкой не очень понятно, Гидра же хранит где-то в недрах метаинформацию о том, что скачалось? Если просто удалить файлы и закачать заново, ничего не сломается?

Можно просто удалить битые даты и сбросить кэш дат в Гидре. Или удалить этот файл вручную.