Я уже заводил тему о том, что скачивание тиков с финама является весьма проблематичным из-за тайм-ау...

2014-06-29T22:17:21Z

Я уже заводил тему о том, что скачивание тиков с финама является весьма проблематичным из-за тайм-аутов в три минуты, по истечение которых гидра пропускает дату и переходит к следующей с ошибкой. Далее, когда набирается 11 ошибок, источник останавливается.

На протяжении 10 дней я постоянно руками перезапускал скачивание всякий раз, когда финам останавливался после очередных 11 ошибок - в итоге скачались все тики с 2005 года по RI, осталось 4 даты, тики с которых не скачиваются ни в какую, сделано уже несколько десятков попыток (может и сотня).

Вот даты с названиями контрактов и с текстом ошибок из лога:
01:48:02.109|Error |Finam |System.InvalidOperationException: Ошибка загрузки сделок за 04.10.2011 для RIZ1@FORTS. ---> System.Net.WebException: The operation has timed out
at System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request)
at System.Net.WebClient.DownloadString(Uri address)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=q2mxpNDIALQkzQ4W0HvZi4A==(Uri #=q1vbPyY25lj1Ppb2nFgKnFQ==)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qJCC2iuxkg7G7WgqKPPVz7FDyY8dVCF5JO3DAsZbqZcQ=.#=qMA6W84H15nNe3smqznGGSTxzMVgDDCNTcnjOQ6NHBWM=()
at StockSharp.Algo.History.BaseDumpableHistorySource.Process(Security security, DateTime from, DateTime to, Type dataType, Object arg, Func`1 download)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qzYaf66ldV85BQNGTzUiU8g==[T](Security #=qBjB37rnV38IqDfnl1h0wwg==, DateTime #=qVnUw8$uIkVzjhg9vht1Dng==, DateTime #=q7o6QLM0qNcYEPHjIf5xldQ==, Type #=qv9hsuH4N_cBBZWVCJtEKSA==, Object #=q8SBCOX2p9x7TU$Ek52xlgA==, Func`1 #=q0MKizFayjBkzu5d5jtMXnA==, Func`2 #=qSIlWOzItGD4To7PemEhlwQ==)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.GetTrades(Security security, DateTime from, DateTime to)
at StockSharp.Hydra.Finam.FinamTask.OnProcess()
--- End of inner exception stack trace ---
01:51:02.383|Error |Finam |System.InvalidOperationException: Ошибка загрузки сделок за 17.11.2011 для RIZ1@FORTS. ---> System.Net.WebException: The operation has timed out
at System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request)
at System.Net.WebClient.DownloadString(Uri address)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=q2mxpNDIALQkzQ4W0HvZi4A==(Uri #=q1vbPyY25lj1Ppb2nFgKnFQ==)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qJCC2iuxkg7G7WgqKPPVz7FDyY8dVCF5JO3DAsZbqZcQ=.#=qMA6W84H15nNe3smqznGGSTxzMVgDDCNTcnjOQ6NHBWM=()
at StockSharp.Algo.History.BaseDumpableHistorySource.Process(Security security, DateTime from, DateTime to, Type dataType, Object arg, Func`1 download)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qzYaf66ldV85BQNGTzUiU8g==[T](Security #=qBjB37rnV38IqDfnl1h0wwg==, DateTime #=qVnUw8$uIkVzjhg9vht1Dng==, DateTime #=q7o6QLM0qNcYEPHjIf5xldQ==, Type #=qv9hsuH4N_cBBZWVCJtEKSA==, Object #=q8SBCOX2p9x7TU$Ek52xlgA==, Func`1 #=q0MKizFayjBkzu5d5jtMXnA==, Func`2 #=qSIlWOzItGD4To7PemEhlwQ==)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.GetTrades(Security security, DateTime from, DateTime to)
at StockSharp.Hydra.Finam.FinamTask.OnProcess()
--- End of inner exception stack trace ---
01:54:32.007|Error |Finam |System.InvalidOperationException: Ошибка загрузки сделок за 17.05.2012 для RIM2@FORTS. ---> System.Net.WebException: The operation has timed out
at System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request)
at System.Net.WebClient.DownloadString(Uri address)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=q2mxpNDIALQkzQ4W0HvZi4A==(Uri #=q1vbPyY25lj1Ppb2nFgKnFQ==)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qJCC2iuxkg7G7WgqKPPVz7FDyY8dVCF5JO3DAsZbqZcQ=.#=qMA6W84H15nNe3smqznGGSTxzMVgDDCNTcnjOQ6NHBWM=()
at StockSharp.Algo.History.BaseDumpableHistorySource.Process(Security security, DateTime from, DateTime to, Type dataType, Object arg, Func`1 download)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qzYaf66ldV85BQNGTzUiU8g==[T](Security #=qBjB37rnV38IqDfnl1h0wwg==, DateTime #=qVnUw8$uIkVzjhg9vht1Dng==, DateTime #=q7o6QLM0qNcYEPHjIf5xldQ==, Type #=qv9hsuH4N_cBBZWVCJtEKSA==, Object #=q8SBCOX2p9x7TU$Ek52xlgA==, Func`1 #=q0MKizFayjBkzu5d5jtMXnA==, Func`2 #=qSIlWOzItGD4To7PemEhlwQ==)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.GetTrades(Security security, DateTime from, DateTime to)
at StockSharp.Hydra.Finam.FinamTask.OnProcess()
--- End of inner exception stack trace ---
01:54:32.007| |Finam |Старт загрузки сделок за 18.05.2012 для RIM2@FORTS.
01:57:32.021|Error |Finam |System.InvalidOperationException: Ошибка загрузки сделок за 18.05.2012 для RIM2@FORTS. ---> System.Net.WebException: The operation has timed out
at System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request)
at System.Net.WebClient.DownloadString(Uri address)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=q2mxpNDIALQkzQ4W0HvZi4A==(Uri #=q1vbPyY25lj1Ppb2nFgKnFQ==)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qJCC2iuxkg7G7WgqKPPVz7FDyY8dVCF5JO3DAsZbqZcQ=.#=qMA6W84H15nNe3smqznGGSTxzMVgDDCNTcnjOQ6NHBWM=()
at StockSharp.Algo.History.BaseDumpableHistorySource.Process(Security security, DateTime from, DateTime to, Type dataType, Object arg, Func`1 download)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qzYaf66ldV85BQNGTzUiU8g==[T](Security #=qBjB37rnV38IqDfnl1h0wwg==, DateTime #=qVnUw8$uIkVzjhg9vht1Dng==, DateTime #=q7o6QLM0qNcYEPHjIf5xldQ==, Type #=qv9hsuH4N_cBBZWVCJtEKSA==, Object #=q8SBCOX2p9x7TU$Ek52xlgA==, Func`1 #=q0MKizFayjBkzu5d5jtMXnA==, Func`2 #=qSIlWOzItGD4To7PemEhlwQ==)
at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.GetTrades(Security security, DateTime from, DateTime to)
at StockSharp.Hydra.Finam.FinamTask.OnProcess()
--- End of inner exception stack trace ---

Я пробовал скачивать данные за одну из этих дат с финама руками, всё скачалось без проблем (думало чуть больше двух минут), ничего "особенного" в полученных через браузер тиках нет (дат с таким же количеством тиков полно).

Я не знаю, как работа источника устроена изнутри, но по-моему здесь точно есть какая-то проблема:
1. Непонятно, почему браузер даёт ответ на запрос гораздо быстрее, чем за три минуты, тогда как гидра думает все три и выдаёт ошибку.
2. В свете (1), возможно, мои просьбы дать возможность настраивать величину тайм-аута может быть и бессмысленны - если через браузер ответ приходит всегда быстрее, чем за три минуты, то значит дело не в тайм-ауте как таковом.

Господа разработчики, это реальная проблема, а данный форум, как пояснил Михаил, как раз для изложения оных и сделан. Примите меры, пожалуйста.

4 даты, которые не скачиваются с финама даже с 100-й попытки

Я уже заводил тему о том, что скачивание тиков с финама является весьма проблематичным из-за тайм-ау...