Ошибка при чтении тиков из bin-хранилища, API 4.2.72

asuilin: должен быть покрыт функциональными и unit тестами вдоль и поперёк. Их абсолютное отсутствие...

2015-04-03T17:56:14Z

asuilin: должен быть покрыт функциональными и unit тестами вдоль и поперёк. Их абсолютное отсутствие на GitHub и стремление искать ошибки вручную через интерфейс Гидры порождает вопросы...

Вас кто-то останавливает? http://stocksharp.com/forum/4893/Sovmiestnaia-rabota-v-GitHub/

Моя версия с багом дозаписи в .bin файл подтвердилась. RTSHistorySource возвращает сделки не только ...

2015-04-02T20:10:54Z

Моя версия с багом дозаписи в .bin файл подтвердилась. RTSHistorySource возвращает сделки не только за заданный день, но и небольшой хвост от предыдущего дня - не разбирался почему, возможно так устроены данные FORTS. Этот хвост дописывается в хранилище предыдущего дня, в котором уже есть данные, и где-то в этом месте нарушается структура хранилища. Если перед записью отфильтровать этот хвост, т.е. записывать за один раз данные строго одного дня, то все работает. Все фьючерсы RTS за месяц прекрасно записались и прочитались. Михаил, все вводные данные у вас есть, можете исправлять баг, можете нет, дело ваше. Я буду делать свой сторадж на SQLite, так надёжнее и проще в поддержке.

Mikhail Sukhov: Я попробовал ваши шаги. О результатах отписал выше. Именно поэтому я сделал тест, ра...

2015-04-02T17:22:01Z

Mikhail Sukhov: Я попробовал ваши шаги. О результатах отписал выше. Именно поэтому я сделал тест, работающий в изолированных стерильных условиях, чтобы ошибка была более воспроизводимой. Ошибка ведь в хранилище, а не в Гидре, значит хранилище и надо тестировать, без десятка дополнительных слоёв кода вокруг.

Вообще, по всем правилам здравого смысла продукт уровня StockSharp, тем более работающий с крупными деньгами, должен быть покрыт функциональными и unit тестами вдоль и поперёк. Их абсолютное отсутствие на GitHub и стремление искать ошибки вручную через интерфейс Гидры порождает вопросы...

Я попробовал ваши шаги. О результатах отписал выше.

2015-04-02T12:54:17Z

Я попробовал ваши шаги. О результатах отписал выше.

Вот именно, и мне надо определить ошибку, я вам даже тест написал. Можно сделать то же самое руками ...

2015-04-02T10:24:02Z

Вот именно, и мне надо определить ошибку, я вам даже тест написал. Можно сделать то же самое руками через Гидру, если вы настаиваете, но это займет гораздо больше времени.

asuilin: Mikhail Sukhov: Вы не поняли. Надо через гидру. Мне не надо через Гидру Мне надо определить...

2015-04-02T10:13:44Z

asuilin:

Mikhail Sukhov: Вы не поняли. Надо через гидру.

Мне не надо через Гидру

Мне надо определить ошибку, если она есть. Если вы хотите получать ответы бесплатно, то лучше вам все же следовать тем предписаниям, что я пишу. Ну или все самостоятельно далее.

Mikhail Sukhov: Вы не поняли. Надо через гидру. Мне не надо через Гидру, мне надо решить мою простей...

2015-04-02T09:41:48Z

Mikhail Sukhov: Вы не поняли. Надо через гидру.

Мне не надо через Гидру, мне надо решить мою простейшую задачу - загрузить и прочитать данные RTS. Через код ее оказалось удобнее и быстрее решать, Гидра дергает за те же классы, какая разница. Итак, более детальное тестирование показало, что сбой в конкретной дате зависит от того, загружались ли следующие даты. Пример - при загрузке 17 марта 2015 и 18 марта сбоит чтение фьючерса GDM5 за 17 марта. При загрузке только 17 марта все ОК. Возможно, в следующем дне догружаются какие-то хвосты от предыдущего и неудачно дописываются в конец файла.

Тестировалось на версии API 4.2.75, которая датируется в NuGet 1 апреля, т.е. свежак. Код теста прилагаю, попробуйте запустить у себя. Сначала надо загрузить пакеты из NuGet (Manage Nuget Packages) и поправить в коде пути для загрузки.

Вы не поняли. Надо через гидру.

2015-04-02T06:45:05Z

Вы не поняли. Надо через гидру.

Да, всё так и делал. Написал тест, сгенерировал 1М трейдов, записал и прочитал - все отработало. Сей...

2015-04-01T22:46:14Z

Да, всё так и делал. Написал тест, сгенерировал 1М трейдов, записал и прочитал - все отработало. Сейчас пробую сделать всё без Гидры, напрямую через RtsHistorySource и запись трейдов в хранилище, вдруг заработает. Заодно это быстрее, чем Гидра, работающая в один поток. Вопрос - при записи/чтении трейды никак не переупорядочиваются по номеру тика? Т.е. если я запишу сначала вечерние трейды за день, а потом утренние, они и читаться будут в том же порядке?

Кстати, посмотрел, что Гидра записала в CSV формат - во всех трейдах пустые даты. Не зря она сыпала ошибками, сама с собой не где то смогла договориться о формате дат в строках.

asuilin: Mikhail Sukhov: Тоесть ошибка за 2014_12_09 по RIZ4 стабильно воспроизводится? Да, у меня ц...

2015-04-01T21:23:53Z

asuilin:

Mikhail Sukhov: Тоесть ошибка за 2014_12_09 по RIZ4 стабильно воспроизводится?

Да, у меня цикл удаляем - скачиваем - читаем - получаем ошибку воспроизвёлся раз пять. Вы бы посмотрели файлик то?

Файл смотреть нет смысла. Есть смысл устранить проблему, если она есть. Попробовал Гидрой из Гита скачать за указанную дату. Скачалось и прочиталось. Все Гидрой. Попробуете последней с Гита? Я правильно понимаю, что вы выставили в настройках нужную дату, выбрали нужный инструмент и закачали 1 день? После этого попытались его прочитать.

Mikhail Sukhov: Тоесть ошибка за 2014_12_09 по RIZ4 стабильно воспроизводится? Да, у меня цикл удаля...

2015-04-01T17:34:45Z

Mikhail Sukhov: Тоесть ошибка за 2014_12_09 по RIZ4 стабильно воспроизводится?

Да, у меня цикл удаляем - скачиваем - читаем - получаем ошибку воспроизвёлся раз пять. Вы бы посмотрели файлик то?

asuilin: Mikhail Sukhov: Наверное не поняли. Надо удалить дату. Тоесть не перезаписывать файл, а нов...

2015-04-01T15:31:31Z

asuilin:

Mikhail Sukhov: Наверное не поняли. Надо удалить дату. Тоесть не перезаписывать файл, а новый создавать нужно. Да, конечно я так и делал. Под перезакачкой имелась в виду повторная заливка этой даты в Гидре.

Тоесть ошибка за 2014_12_09 по RIZ4 стабильно воспроизводится?

Кажется, мне быстрее будет реализовать собственное хранилище, имплементирующее IMarketDataStorage. П...

2015-04-01T15:25:02Z

Кажется, мне быстрее будет реализовать собственное хранилище, имплементирующее IMarketDataStorage. Проблема в том, что у него есть свойство IMarketDataDrive Drive, а у него, в свою очередь, есть IMarketDataStorageDrive GetStorageDrive(). А IMarketDataStorageDrive оперирует бинарыми данными и рассчитан на формат StockSharp. Какой тогда смысл в этих интерфейсах, если ни с чем, кроме закрытого бинарного формата, они работать не могут? Или реализация GetStorageDrive() не обязательна и можно там сделать заглушку?

Mikhail Sukhov: Наверное не поняли. Надо удалить дату. Тоесть не перезаписывать файл, а новый создав...

2015-04-01T15:10:52Z

Mikhail Sukhov: Наверное не поняли. Надо удалить дату. Тоесть не перезаписывать файл, а новый создавать нужно. Да, конечно я так и делал. Под перезакачкой имелась в виду повторная заливка этой даты в Гидре.

asuilin: Перезакачка полечила одну битую дату, но не полечила другую. На RIZ4@FORTS для 2014_12_09 (...

2015-04-01T09:47:39Z

asuilin: Перезакачка полечила одну битую дату, но не полечила другую. На RIZ4@FORTS для 2014_12_09 (9 декабря) данные остаются битыми после нескольких перезакачек. Файл приложу, если найду как это сделать.

Наверное не поняли. Надо удалить дату. Тоесть не перезаписывать файл, а новый создавать нужно.

Перезакачка полечила одну битую дату, но не полечила другую. На RIZ4@FORTS для 2014_12_09 (9 декабря...

2015-04-01T09:06:37Z

Перезакачка полечила одну битую дату, но не полечила другую. На RIZ4@FORTS для 2014_12_09 (9 декабря) данные остаются битыми после нескольких перезакачек. Файл приложу, если найду как это сделать.

Михаил, а не могли бы вы публиковать отладочную информацию в NuGet? Хрен ведь поймешь, на какой конк...

2015-04-01T08:04:18Z

Михаил, а не могли бы вы публиковать отладочную информацию в NuGet? Хрен ведь поймешь, на какой конкретной дате оно спотыкается внутри итератора. См. http://www.arturdr.ru/net/publikatsiya-ishodnikov-vmeste-s-nuget-plyus-ishodniki-av-infrastructure-web/ и https://docs.nuget.org/create/creating-and-publishing-a-symbol-package

Да

2015-04-01T07:45:21Z

Да

Кеш дат это tradesDates.bin?

2015-04-01T07:16:25Z

Кеш дат это tradesDates.bin?

asuilin: С перезакачкой не очень понятно, Гидра же хранит где-то в недрах метаинформацию о том, что ...

2015-03-31T21:55:16Z

asuilin: С перезакачкой не очень понятно, Гидра же хранит где-то в недрах метаинформацию о том, что скачалось? Если просто удалить файлы и закачать заново, ничего не сломается?

Можно просто удалить битые даты и сбросить кэш дат в Гидре. Или удалить этот файл вручную.