Источник данных TrueFX

Источник данных TrueFX
Atom
3/22/2014
Architectus


Небольшой баг с автопоиском инструментов в Гидре 4.2.2.21. Для данного источника все валютные пары после поиска имеют шаг цены 0,0001. Соответственно если не исправить его для не JPY пар на 0,00001, то качаться они не будут и появятся ошибки.
Для пар с валютой котировки JPY точность 0,0001 избыточна. Правильно - 0,001. Впрочем, возможно, это не проблема.

Tags:


Thanks:


1 2 3  > >>
Architectus

Avatar
Date: 4/26/2014
Reply


Обновился до версии S# Data 4.2.3.0.

После старта закачки, данные не загружаются. Вместо этого появляются ошибки раз в 7-10 минут.

Code

15:03:43.738|       |TrueFX    |Инициализируется.
15:03:43.754|       |TrueFX    |Перешел в состояние Starting.
15:03:43.755|       |TrueFX    |Перешел в состояние Started.
15:12:28.567|Error  |TrueFX    |Ionic.Zip.BadReadException: Could not read block - no data!  (position 0x0294A1ED)
   at Ionic.Zip.SharedUtilities._ReadFourBytes(Stream s, String message)
   at Ionic.Zip.ZipEntry.HandleUnexpectedDataDescriptor(ZipEntry entry)
   at Ionic.Zip.ZipEntry.ReadEntry(ZipContainer zc, Boolean first)
   at Ionic.Zip.ZipFile.ReadIntoInstance_Orig(ZipFile zf)
   at Ionic.Zip.ZipFile.ReadIntoInstance(ZipFile zf)
   at Ionic.Zip.ZipFile.Read(Byte[] buffer, TextWriter statusMessageWriter, Encoding encoding)
   at StockSharp.Algo.History.Forex.TrueFXSource.#=qmWdy_jATEBUa49BvNpa5EdYHjduRa5MVBivZi8A9jE0=.#=qwP6BMvI3rwdKiXw7iN5xskY6ek5VztJ3XP_X4QXznXQ=()
   at Ecng.Common.Converter.DoInCulture[T](CultureInfo cultureInfo, Func`1 func)
   at StockSharp.Algo.History.Forex.TrueFXSource.LoadTicks(Security security, DateTime date)
   at StockSharp.Hydra.TrueFX.TrueFXTask.OnProcess()
   at StockSharp.Hydra.Core.BaseHydraTask.<Start>b__0()
15:21:16.679|Error  |TrueFX    |Ionic.Zip.BadReadException: Could not read block - no data!  (position 0x0294A1ED)
   at Ionic.Zip.SharedUtilities._ReadFourBytes(Stream s, String message)
   at Ionic.Zip.ZipEntry.HandleUnexpectedDataDescriptor(ZipEntry entry)
   at Ionic.Zip.ZipEntry.ReadEntry(ZipContainer zc, Boolean first)
   at Ionic.Zip.ZipFile.ReadIntoInstance_Orig(ZipFile zf)
   at Ionic.Zip.ZipFile.ReadIntoInstance(ZipFile zf)
   at Ionic.Zip.ZipFile.Read(Byte[] buffer, TextWriter statusMessageWriter, Encoding encoding)
   at StockSharp.Algo.History.Forex.TrueFXSource.#=qmWdy_jATEBUa49BvNpa5EdYHjduRa5MVBivZi8A9jE0=.#=qwP6BMvI3rwdKiXw7iN5xskY6ek5VztJ3XP_X4QXznXQ=()
   at Ecng.Common.Converter.DoInCulture[T](CultureInfo cultureInfo, Func`1 func)
   at StockSharp.Algo.History.Forex.TrueFXSource.LoadTicks(Security security, DateTime date)
   at StockSharp.Hydra.TrueFX.TrueFXTask.OnProcess()
   at StockSharp.Hydra.Core.BaseHydraTask.<Start>b__0()
Thanks:

Mikhail Sukhov

Avatar
Date: 4/27/2014
Reply


Architectus
Обновился до версии S# Data 4.2.3.0.

После старта закачки, данные не загружаются. Вместо этого появляются ошибки раз в 7-10 минут.


Не удается найти проблему. Видимо это какой-то единичный инструмент. Можете попробовать локализовать его? Надо попеременно менять с ALL на какой-то конкретный инструмент. Или посмотреть по датам, какой инструмент не качается.
Thanks:

Architectus

Avatar
Date: 4/27/2014
Reply


У меня по парам EURUSD и GBPUSD уже закачаны данные с 2010 г. по февраль 2014. Соответственно из-за них и была проблема. Запустил закачку по другой паре, она успешно стартовала с 2010 г. Если в источнике еще не появились новые данные (за март), то ошибка только в непонимании Гидрой конца закачки по инструменту.
Thanks:

Mikhail Sukhov

Avatar
Date: 4/28/2014
Reply


Не уверен что понял. Если данные пары не качаются то откуда данные?
Thanks:

Architectus

Avatar
Date: 4/28/2014
Reply


Качать данные с TrueFX можно. По парам EURUSD и GBPUSD я качал данные ранее. Тогда все закачалось. Теперь соответственно ошибка (при том что данные по 28.02.2014 уже есть). Я попробовал другую пару (по которой не было данных) - по ней все качается. Если в TrueFX данные есть только по февраль 2014, то ошибка связана с непониманием Гидры, что качать по тому или иному инструменту больше нечего. И она вместо перехода к следующему инструменту кидает эту ошибку раз за разом.
Thanks:

Architectus

Avatar
Date: 5/4/2014
Reply


Проверил www.truefx.com, данные и за март, и за апрель уже есть.

А дело похоже в следующем. У меня в TemporaryFiles лежал файл EUR_USD_201403.zip c 0 размером. Об него собственно Гидра и спотыкалась, пытаясь загрузить из него данные за март 2014. Я его удалил и все наладилось. Также стало ясно, откуда он взялся. После загрузки за март и за апрель данных, в TemporaryFiles появился файл EUR_USD_201405.zip с 0 размером. Т.е. после загрузки данных за предыдущий месяц появляется битый архив за месяц текущий. После старта источника этот битый архив каждый раз появляется снова (если его удалить) (сейчас за май 2014). А так конец загрузки проходит корректно.

Также у меня перестал работать поиск инструментов в данном источнике.
Thanks:

Architectus

Avatar
Date: 5/6/2014
Reply


Обновился до S# Data 4.2.3.3.

Поиск инструментов заработал.

По-поводу ошибки "Ionic.Zip.BadReadException: Could not read block - no data!" могу сказать следующее. Она возникает при попытке чтения битого файла архива. Для пользователя тут 2 варианта - найти и удалить соответствующий архив из TemporaryFiles или зачистить все в TemporaryFiles. Вариант для разработчиков - перекачивать нужный архив при возникновении такой ошибки. Помимо архива за последний месяц (когда данных в источнике еще нет) с нулевым размером, бывает и что какой-либо архив скачивается не полностью.
Thanks:

Architectus

Avatar
Date: 6/10/2014
Reply


Обновился до S# Data 4.2.3.9.

Были закачаны данные по EURUSD по апрель 2014. Хотел докачать за май. После старта Гидры в TemporaryFiles появились пустые архивы за каждый месяц периода 01.2010-06.2014. После чего произошло окончание итерации.
Thanks:

devruss

Avatar
Date: 6/10/2014
Reply


Попробовал закачать данные с TrueFX - во-первых, нигде не спрашивает пароль на аккаунт, это так надо? А во-вторых данные в импорте помечены как D (дневные?) и они вообще не скачиваются (поставил скачивать с начала 2014 года)

UPDATE: В /TemproraryFiles/ все файлы размером в 0 байт.
Thanks:

devruss

Avatar
Date: 6/12/2014
Reply


Несмотря на новый билд, все равно ничего не скачивается. Файлы с 0 размером пропали, теперь вообще нет никаких файлов.
В логах есть запись "Старт загруки сделок за xx.xx.xxxx для xx/xx@TRUEFX", но никакой информации не скачивается, прошло 3 часа, никаких данных вообще не скачалось
Thanks:
1 2 3  > >>

Attach files by dragging & dropping, , or pasting from the clipboard.

loading
clippy