← Назад

Источник Finam перестал качать тики

Скачивались тики всех контрактов RI с 2005 года, вся работало 22.09.2011, начиная с этой даты постоянно выпадают ошибки: Имя Время Тип Сообщение Finam 19.06.2014 00:32:04 Error System.InvalidOperationException: Ошибка загрузки сделок за 22.09.2011 для RIZ1@FORTS. ---> System.Net.WebException: The operation has timed out at System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request) at System.Net.WebClient.DownloadString(Uri address) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qcHlDFvyZcQxo_ukYkWfW2Q==(Uri #=qSuDXwZLNC_$bawveyCGYQA==) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qMs7gEzpsZV71nsGCJQ1cro79wA5AhoAfQcdkoGV6G2Y=.#=qHROUNUrM3djwK7$P2U4Td_3GfcLURJpADTquHqT1iLk=() at StockSharp.Algo.History.BaseDumpableHistorySource.Process(Security security, DateTime from, DateTime to, Type dataType, Object arg, Func1 download) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qP1IMnGXLYKvyBDcqGHR6tw==(Security #=qG_esW0IwEp7Dkkjdx32aDw==, DateTime #=qYv4So0rFwWO8tjfs$_UubA==, DateTime #=qXsAt$pZBUdMxbImpNlKDRA==, Type #=qF3t_LF9e0X$yMxIC5IEmng==, Object #=qljCLO7s3bbZCiL1pgqajXw==, Func1 #=qyBTRfiGwH4pSsOqA1NzAHQ==, Func`2 #=qPrZp$S8r7Gd_bAjBIhe9dA==) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.GetTrades(Security security, DateTime from, DateTime to) at StockSharp.Hydra.Finam.FinamTask.OnProcess() --- End of inner exception stack trace ---

Видимо, отсылается web запрос, ждётся 3 минуты, если нет ответа - выдаётся ошибка и происходит переход на следующую дату (по которой так же идёт ошибка). Я попробовал качать те же контракты с сайта финама напрямую - всё отлично качается, умещаясь в три минуты с запасом.

Как это можно полечить?

Комментарии (11)

Вход или Создать аккаунт, Войдите или зарегистрируйтесь, чтобы оставить комментарий

Mikhail Sukhov
Mikhail Sukhov

Romant: Как это можно полечить?

Надо ковыряться в сетевых настройках .NET

Romant
Romant Автор

Хорошо, как это сделать? Ссылка/мануал/что угодно... и что в этих настройках нужно поменять?

Mikhail Sukhov
Mikhail Sukhov

Romant: Хорошо, как это сделать? Ссылка/мануал/что угодно... и что в этих настройках нужно поменять?

Я не знаю. У меня интернет нормальный, и качается быстро. А так - http://msdn.microsoft.com/ Это все в Винде надо как-то настраивать.

Romant
Romant Автор

Михаил, у меня 50 мегабит на вход - куда нормальнее?

Кроме того, я же написал: если качать тот же контракт через браузер, то всё отлично качается, но в гидре летят тайм-ауты.

Romant
Romant Автор

Кстати, проверить это проще простого.

Скачайте тики по RIZ1 с финама. У меня скачивание стабильно затыкается с 22.09.2011:

Finam 19.06.2014 03:16:56 Info Старт загрузки сделок за 22.09.2011 для RIZ1@FORTS. Finam 19.06.2014 03:19:56 Error System.InvalidOperationException: Ошибка загрузки сделок за 22.09.2011 для RIZ1@FORTS. ---> System.Net.WebException: The operation has timed out at System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request) at System.Net.WebClient.DownloadString(Uri address) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qcHlDFvyZcQxo_ukYkWfW2Q==(Uri #=qSuDXwZLNC_$bawveyCGYQA==) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qMs7gEzpsZV71nsGCJQ1cro79wA5AhoAfQcdkoGV6G2Y=.#=qHROUNUrM3djwK7$P2U4Td_3GfcLURJpADTquHqT1iLk=() at StockSharp.Algo.History.BaseDumpableHistorySource.Process(Security security, DateTime from, DateTime to, Type dataType, Object arg, Func1 download) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qP1IMnGXLYKvyBDcqGHR6tw==(Security #=qG_esW0IwEp7Dkkjdx32aDw==, DateTime #=qYv4So0rFwWO8tjfs$_UubA==, DateTime #=qXsAt$pZBUdMxbImpNlKDRA==, Type #=qF3t_LF9e0X$yMxIC5IEmng==, Object #=qljCLO7s3bbZCiL1pgqajXw==, Func1 #=qyBTRfiGwH4pSsOqA1NzAHQ==, Func`2 #=qPrZp$S8r7Gd_bAjBIhe9dA==) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.GetTrades(Security security, DateTime from, DateTime to) at StockSharp.Hydra.Finam.FinamTask.OnProcess() --- End of inner exception stack trace ---

Ждёт оно ровно три минуты. Эти три минуты - это ограничение внутри гидры или же системное?

Mikhail Sukhov
Mikhail Sukhov

Проверил - Гидра качает. Видимо раз на раз не приходится.

Romant
Romant Автор

Михаил, а настроить период ожидания никак нельзя? Сделать его не hardcoded 3 минуты, а настраиваемым?

Получается опять анекдотическая ситуация. Третий раз поставил гидру, в этот раз она мне даже понравилась, методом тыка понял некоторые вещи, дважды слил весь РТС, понял, что тики с РТС, особенно по ранним фьючам, тоже и с дырами и неполные, начал качать тики с финами - и теперь попросту не могу их скачать. Пробовал по всякому и в разное время - по некоторым дням просто выпадает таймаут и всё.

Сносить гидру в третий раз мне не хочется - ну ведь работает же, в основном. Давайте добавим настройку тайм-аута?

Mikhail Sukhov
Mikhail Sukhov

Romant: Михаил, а настроить период ожидания никак нельзя? Сделать его не hardcoded 3 минуты, а настраиваемым?

Можно, но не в ближайшее время.

Насчет дырок в РТС, то вы что-то путаете. Наоборот, дырки в финаме. Но это конечно ваше дело.

Romant
Romant Автор

Про дырки - может быть в поздних контрактах ситуация и "наоборот", но в ранних как раз так, как я написал.

Посмотрите например на контракты RIH7 (SPFB.RTS-3.07 на финаме) и RIM7 (SPFB.RTS-6.07 на финаме).

Размер csv файлов: RIH7_RTS - 200513 Размер csv файлов: RIM7_RTS - 1644

Размер csv файлов: RIH7_Finam - 8222722 Размер csv файлов: RIM7_Finam - 12139580

На РТС эти контракты фактически пустые.

Mikhail Sukhov
Mikhail Sukhov

Romant: На РТС эти контракты фактически пустые.

Думаю, вы не то смотрите.

Romant
Romant Автор

Михаил, Вы не могли бы пояснить, почему Вы так думаете? Как можно смотреть не туда, если RIM7 - он один RIM7, его не с чем путать.