Баги в новой гидре. StockSharp

Баги в новой гидре

2/1/2013

yammm

Последняя версия текущего дня. При выключении коннектора к финаму вылетает без каких-либо сообщений.

Также был замечен баг, при включении новой гидры с параметром автостарт и неудаленной бд с прошлой версии, дальше загрузки коннекторов дело не идет, на обработке UX встает намертво.

Tags:

Hydra

Thanks:

< 1 2 3

Moadip

Date: 2/11/2013

Quote:

Собрал некоторое количество exceptions)) Запустить гидру на скачивание не получалось. Интересный момент в том, что гидра с каждым разом "пробегает" "все с начала" и дальше выход на эксепшн.
Метод тыка)))
Скачался полностью другой инструмент...Скачивание прерванного инструмента возобновилась...
- такое чувство, что гидра "не знает" что скачала ранее.(проход по логам?)

Какой источник? Что значит "пробегает все с начала"? Какая ошибка при скачивании?

Quote:

Сейчас так и есть, ничего фатального не происходит, но как в таком случае продолжить скачивание?

Да вроде как ответ очевиден. Если не хватает места, то наверное его надо освободить. Или вопрос в другом?

Quote:

Идем дальше!
Выгрузка свечек в .txt формат, через раз.Не думаю что ограничение .txt формата 12-16 мб...

Приведите пошаговые действия, когда появляется данная ошибка.

Thanks:

Jeta

Date: 2/11/2013

Одна из последних ошибок Гидры...
Задача: скачать данные за период 01.01.2009-08.02.2013 по SPFB.RTS@RTS.
Скачивание прекращается (довольно продолжительное). Версия из транка (22848)

Code

00:05:13.437|Error  |Finam     |System.Net.WebException: Сервер нарушил протокол. Section=ResponseStatusLine
   в System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request)
   в System.Net.WebClient.DownloadString(Uri address)
   в StockSharp.Algo.History.Finam.FinamHistorySource.#=qJs$6$bo78j0D5KtkZiF2xA==(Uri #=qnS2IEguL$xmTNxXhz2pdMw==)
   в StockSharp.Algo.History.Finam.FinamHistorySource.#=qYY4_54y1TtpX1q44diOy0mOxY24_tsYSTKuZGgJLO8Q=.#=qKXc6$JrTvx4ucZEkz7PEuFNVrrpIRMJEMMmkj$NR67k=()
   в StockSharp.Algo.History.Finam.FinamHistorySource.#=qD9oAKJ$GEARGfcJzgMhM$g==[T](String #=qnO0Ips9PCGTHpJZLYngtIw==, Func`1 #=q4QaBVWbRJ6OXHOSbMPTJcQ==, Func`2 #=qMN_MvtLc_r$VTLD4lBmVbA==)
   в StockSharp.Algo.History.Finam.FinamHistorySource.GetTrades(Security security, DateTime time)
   в StockSharp.Hydra.Finam.FinamSource.LoadTrades(Security security, List`1 allDates) в M:\My Download\stocksharp-22848\trunk\Hydra\Plugins\Finam\FinamSource.cs:строка 195
   в StockSharp.Hydra.Finam.FinamSource.Load() в M:\My Download\stocksharp-22848\trunk\Hydra\Plugins\Finam\FinamSource.cs:строка 164
   в StockSharp.Hydra.Worker.Downloader.Download() в M:\My Download\stocksharp-22848\trunk\Hydra\Hydra\Worker.cs:строка 175

При последующем старте Гидры происходит следующее:
- Гидра начинает "скачивание", с указанной даты в настройках источника (Finam), т.е. все сначала, . с 01.01.2009. По факту, происходит "верификация" данных с самого начала!?
- как только гидра доходит до последнего скачанного дня, наблюдается следующее:

Code

02:18:33.656|Error  |Finam     |System.OutOfMemoryException: Выдано исключение типа "System.OutOfMemoryException".
   в System.String.Split(String[] separator, Int32 count, StringSplitOptions options)
   в Ecng.Common.StringHelper.Split(String str, String separator)
   в StockSharp.Algo.History.Finam.FinamHistorySource.#=qJs$6$bo78j0D5KtkZiF2xA==(Uri #=qnS2IEguL$xmTNxXhz2pdMw==)
   в StockSharp.Algo.History.Finam.FinamHistorySource.#=qYY4_54y1TtpX1q44diOy0mOxY24_tsYSTKuZGgJLO8Q=.#=qKXc6$JrTvx4ucZEkz7PEuFNVrrpIRMJEMMmkj$NR67k=()
   в StockSharp.Algo.History.Finam.FinamHistorySource.#=qD9oAKJ$GEARGfcJzgMhM$g==[T](String #=qnO0Ips9PCGTHpJZLYngtIw==, Func`1 #=q4QaBVWbRJ6OXHOSbMPTJcQ==, Func`2 #=qMN_MvtLc_r$VTLD4lBmVbA==)
   в StockSharp.Algo.History.Finam.FinamHistorySource.GetTrades(Security security, DateTime time)
   в StockSharp.Hydra.Finam.FinamSource.LoadTrades(Security security, List`1 allDates) в M:\My Download\stocksharp-22848\trunk\Hydra\Plugins\Finam\FinamSource.cs:строка 195
   в StockSharp.Hydra.Finam.FinamSource.Load() в M:\My Download\stocksharp-22848\trunk\Hydra\Plugins\Finam\FinamSource.cs:строка 164
   в StockSharp.Hydra.Worker.Downloader.Download() в M:\My Download\stocksharp-22848\trunk\Hydra\Hydra\Worker.cs:строка 175

Дальше все сначала.
Вопросы:
- как в таком случае продолжить скачивание?
- как Гидра запоминает текущий таск, т.е что уже скачано и что еще предстоит скачать?
С чем это связано и как можно это решить?

Thanks:

Moadip

Date: 2/12/2013

Quote:

как Гидра запоминает текущий таск, т.е что уже скачано и что еще предстоит скачать?

С финама выкачиваются "сырцы" в формате txt(в папке с данными появляется папка TemporaryFiles, куда они складываются), затем сохраняются в формате bin.
При новом старте, гидра проверяет, за какой период/по каким дням есть данные, если есть дырки в сохраненных данных, то по этим дням будет идти закачка.

К примеру стоит дата скачки по SPFB.RTS@RTS с 01.01.2009, но данные начинаются только с 11 числа, до этого приходят "пустые" txt.
Соответственно и сохранятся данные в формате bin будут с 11 числа. Поэтому при следующем старте и проверке по каким дням нет данных, гидра посчитает что с 1 по 10 нет данных, и опять будут выкачиваться данные по этим дням.

Quote:

Задача: скачать данные за период 01.01.2009-12.02.2013 по SPFB.RTS@RTS.

При скачивании с финама надо знать несколько нюансов:
Финам не дает скачивать большой объем тиков в торговое время.
Данные с финама нередко "кривые", надо делать "верификацию", хотя бы визуальную по графику.
Серваки финама не всегда доступны. И если не получается скачать, это не значит что проблема именно в Гидре.

Сегодня на ночь, для теста, поставил выкачивать SPFB.RTS@RTS за 01.01.2009-08.02.2013
В итоге выкачалось 3 года из 4. Была одна ошибка - сервер не доступен.
"Сырцов" выкачалось 7,6 Гига. Это к тому, что надо заранее освобождать место на винте, если планируется выкачивать большой объем.