Hydra: поддержка украинской биржы

Продвинулись в этом вопросе?

Yura: Есть планы на счет этого?

У меня нет. Я думал у топик стартера что-то завалялось.

Yura: в RtsHistorySource Host это именно адрес фтп сервера? а FolderPath это путь к директории? например

_source.Host = "ftp.rts.ru"; _source.FolderPath = "pub/info/stats/history/2/2007/";

> пытаюсь с укр биржи считать

да.
поэкспериментируйте

Alexander:

Yura: в RtsHistorySource Host это именно адрес фтп сервера? а FolderPath это путь к директории? например

_source.Host = "ftp.rts.ru"; _source.FolderPath = "pub/info/stats/history/2/2007/";

> > пытаюсь с укр биржи считать
> 
> да.
> поэкспериментируйте

Yura:

Alexander:

Yura: в RtsHistorySource Host это именно адрес фтп сервера? а FolderPath это путь к директории? например

_source.Host = "ftp.rts.ru"; _source.FolderPath = "pub/info/stats/history/2/2007/";

> > > пытаюсь с укр биржи считать
> >
> > да.
> > поэкспериментируйтеRTS 16:28:44.4769364 Стартовал.
> RTS 16:28:44.4799365 Сделки не были загружены.

Alexander: Не думаю что простая замена что-то даст необходимо разбираться, смотреть какой путь держит, какой - нет. сравнивать форматы. буду пытаться

Yura: Какие условия должны бить установлены для скачивания с РТС? я в примере RtsTradeSource не нашел ни использования host ни Folderpath На РТС как и на укр.бирже, все фалы истории хранятся в zip-архивах. А гидра как я понял понимает только dbf так? И если укажем путь в зип архиву то конечно же не сработает?

Yura: Установил _source.TxtDirectory = "своя директория";

RTS 18:44:36.5595979 Стартовал. RTS 18:44:36.5635981 Старт с 26.03.2009. RTS 18:44:59.3779031 System.Net.Sockets.SocketException: Подключение не установлено, т.к. конечный компьютер отверг запрос на подключение 194.247.132.8:3128 в LumiSoft.Net.TCP.TCP_Client.Connect(String host, Int32 port, Boolean ssl) в LumiSoft.Net.TCP.TCP_Client.Connect(String host, Int32 port) в StockSharp.Algo.History.Rts.RtsHistorySource.GetTrades(DateTime time) в StockSharp.Hydra.Rts.RtsTradeSource.Load(Security security) в C:\Users\Юрец\Desktop\Новая папка (2)\Hydra\Plugins\Rts\RtsTradeSource.cs:строка 181 в StockSharp.Hydra.Worker.<Download>b__f(IMarketDataSource source) в C:\Users\Юрец\Desktop\Новая папка (2)\Hydra\Hydra\Worker.cs:строка 128 не могу найти где найти путь к 194.247.132.8 и возможно ли его изменить вообще?

А как вы инициализировали RtsHistorySource?

Mikhail Sukhov: А как вы инициализировали RtsHistorySource? _source = new RtsHistorySource(new SecurityStorage(this)) ; _source.TxtDirectory = "C:/ddd/rrr";

Yura:

Mikhail Sukhov: А как вы инициализировали RtsHistorySource? private readonly RtsHistorySource _source; _source = new RtsHistorySource(new SecurityStorage(this)) ; _source.TxtDirectory = "C:/ddd/rrr"; если что-то не так делаю,подскажите как правильно..я новичок в этом деле, студент так сказать)

private readonly RtsHistorySource _source;
_source = new RtsHistorySource(new SecurityStorage(this)) { DumpFolder = _settings.DumpFolder };
            _source.TxtDirectory = "C:/ddd/rrr"

Yura: если что-то не так делаю,подскажите как правильно..

Свойства Host DbfDirectory TxtDirectory

Yura: Host это путь к ftp серверу, DbfDirectory и TxtDirectory это путь к файлу именно на ftp?

http://stocksharp.com/doc/html/AllMembers_T_StockSharp_Algo_History_Rts_RtsHistorySource.htm

Yura: ну я правильно понял, гидра для РТС подключается к ftp РТС. Меня интересует можно-ли изменить источник? Вот я и создал локальный фтп и указал к нему путь..если что-то не так подскажите пожалуйста..

127.0.0.1 - это localhost, это ваш домашний локальный компьютер. напишите адрес фтп сервера украинской биржи.

esper: А форматы данных совпадают у ртс и украинской биржи?

говорят что да, мы не смотрели, не сравнивали.

Юра, вот адрес украинского ftp, в первом сообщении есть: ftp://ftp.ux.ua/pub/info/statforts/

из него и подставляйте всё что надо.

Приведите свой финальный код настройки RtsHistorySource.

Yura: ... и постоянно RTS 15:58:36.9331277 Стартовал. RTS 15:58:36.9381280 Старт с 10.01.2007. RTS 15:58:37.2511459 LumiSoft.Net.FTP.Client.FTP_ClientException: 530 Please login with USER and PASS. в LumiSoft.Net.FTP.Client.FTP_Client.Authenticate(String userName, String password) в StockSharp.Algo.History.Rts.RtsHistorySource.GetTrades(DateTime time) в StockSharp.Hydra.Rts.RtsTradeSource.Load(Security security) в C:\Users\Юрец\Desktop\Новая папка (2)\Hydra\Plugins\Rts\RtsTradeSource.cs:строка 187 в StockSharp.Hydra.Worker.<Download>b__f(IMarketDataSource source) в C:\Users\Юрец\Desktop\Новая папка (2)\Hydra\Hydra\Worker.cs:строка 128

Yura: ...

Пароль тоже anonymous... Может стоит запустить Гидру под дебагом и посмотреть какие настройки заданы у RtsHistorySource? Вы так еще долго будете методом тыка проверять, что же нужно сделать.

Yura: RTS 15:58:37.2511459 LumiSoft.Net.FTP.Client.FTP_ClientException: 530 Please login with USER and PASS. в LumiSoft.Net.FTP.Client.FTP_Client.Authenticate(String userName, String password) в StockSharp.Algo.History.Rts.RtsHistorySource.GetTrades(DateTime time) в StockSharp.Hydra.Rts.RtsTradeSource.Load(Security security) в C:\Users\Юрец\Desktop\Новая папка (2)\Hydra\Plugins\Rts\RtsTradeSource.cs:строка 187 в StockSharp.Hydra.Worker.b__f(IMarketDataSource source) в C:\Users\Юрец\Desktop\Новая папка (2)\Hydra\Hydra\Worker.cs:строка 128

Получаю такую же ошибку. Что удивительно, через Far anonymous работает. А через код нет. И что-то сейчас вообще перестало открываться. Даже через Far

Mikhail Sukhov:

Yura: RTS 15:58:37.2511459 LumiSoft.Net.FTP.Client.FTP_ClientException: 530 Please login with USER and PASS. в LumiSoft.Net.FTP.Client.FTP_Client.Authenticate(String userName, String password) в StockSharp.Algo.History.Rts.RtsHistorySource.GetTrades(DateTime time) в StockSharp.Hydra.Rts.RtsTradeSource.Load(Security security) в C:\Users\Юрец\Desktop\Новая папка (2)\Hydra\Plugins\Rts\RtsTradeSource.cs:строка 187 в StockSharp.Hydra.Worker.<Download>b__f(IMarketDataSource source) в C:\Users\Юрец\Desktop\Новая папка (2)\Hydra\Hydra\Worker.cs:строка 128

Получаю такую же ошибку. Что удивительно, через Far anonymous работает. А через код нет. И что-то сейчас вообще перестало открываться. Даже через Far Может быть посмотрите что это может быть?

Yura:

Mikhail Sukhov:

Yura: RTS 15:58:37.2511459 LumiSoft.Net.FTP.Client.FTP_ClientException: 530 Please login with USER and PASS. в LumiSoft.Net.FTP.Client.FTP_Client.Authenticate(String userName, String password) в StockSharp.Algo.History.Rts.RtsHistorySource.GetTrades(DateTime time) в StockSharp.Hydra.Rts.RtsTradeSource.Load(Security security) в C:\Users\Юрец\Desktop\Новая папка (2)\Hydra\Plugins\Rts\RtsTradeSource.cs:строка 187 в StockSharp.Hydra.Worker.<Download>b__f(IMarketDataSource source) в C:\Users\Юрец\Desktop\Новая папка (2)\Hydra\Hydra\Worker.cs:строка 128

Получаю такую же ошибку. Что удивительно, через Far anonymous работает. А через код нет. И что-то сейчас вообще перестало открываться. Даже через Far Может быть посмотрите что это может быть?

пробовали смотреть через дебагер, как мы неоднократно советовали?

Alexander:

Yura:

Mikhail Sukhov:

Yura: RTS 15:58:37.2511459 LumiSoft.Net.FTP.Client.FTP_ClientException: 530 Please login with USER and PASS. в LumiSoft.Net.FTP.Client.FTP_Client.Authenticate(String userName, String password) в StockSharp.Algo.History.Rts.RtsHistorySource.GetTrades(DateTime time) в StockSharp.Hydra.Rts.RtsTradeSource.Load(Security security) в C:\Users\Юрец\Desktop\Новая папка (2)\Hydra\Plugins\Rts\RtsTradeSource.cs:строка 187 в StockSharp.Hydra.Worker.<Download>b__f(IMarketDataSource source) в C:\Users\Юрец\Desktop\Новая папка (2)\Hydra\Hydra\Worker.cs:строка 128

Получаю такую же ошибку. Что удивительно, через Far anonymous работает. А через код нет. И что-то сейчас вообще перестало открываться. Даже через Far Может быть посмотрите что это может быть?

пробовали смотреть через дебагер, как мы неоднократно советовали? пробовал..может что-то упустил, буду работать. МОжет будет свободная минутка и вы заглянете почему ошибка такая?😊 ваш продукт, вы в нем как рыба в воде

Yura: Может быть посмотрите что это может быть?

Вот такое для РТС работает

using (var client = new FTP_Client())
{
	client.Connect("ftp.rts.ru", 21);
	client.Authenticate("anonymous", "anonymous");
}

А для Урк нет

using (var client = new FTP_Client())
{
	client.Connect("ftp.ux.ua", 21);
	client.Authenticate("anonymous", "anonymous");
}

Если разберетесь, то и Гидра запуститься. Для меня пока не с руки.

Чтобы это протестить подключите ссылку на ЛюмиСофт.dll

Yura: пробовал все.. непонятно какой нужно использовать логин и пароль чтоб приконектится к фтп укр биржи.. ставил anonymous и то и то, одна и та же ошибка.

Приведите свой финальный код настройки RtsHistorySource.

Yura: ... Я изменил только хост,а TxtDirectory и DbfDirectory оставил стандартными то есть для dbf pub\FORTS\pubstat , а для txt pub\info\stats\history\F и на локальном ftp я сделал такое же дерево папок. Ну я правильно понимаю если пишет такое RTS 15:56:55.9961388 Стартовал. RTS 15:56:56.0001390 Старт с 31.01.2007. RTS 15:56:57.7862412 Загружено 0 сделок. то конект в фтп есть и проблема уже в другом правильно?

1. какая у вас структура папок? у вас расшарены папки pub\FORTS\pubstat для локального компа? покажите скриншот

2. структура папок у украинской биржи явно другая

Yura: Ну я правильно понимаю если пишет такое RTS 15:56:55.9961388 Стартовал. RTS 15:56:56.0001390 Старт с 31.01.2007. RTS 15:56:57.7862412 Загружено 0 сделок. то конект в фтп есть и проблема уже в другом правильно?

Нет, это значит что проблем нет вообще. Просто за 31.01.2007 не было найдено сделок (возможно не было файлов за этот день на FTP). И далее через интервал будет обработана следующая дата.

Yura: сделал аналогию полную как на ртс

http://saveimg.ru/show-image.php?id=a2fe6a1a290909a24d130bbd38f26110 http://saveimg.ru/show-image.php?id=610fa8ae5c736aceac7a2240b297c226

все равно загружено 0 сделок( указываю начальную дату в гидре 23.08.07

А в DumpFolder что нибудь Гидра сбросила?

Mikhail Sukhov:

Yura: сделал аналогию полную как на ртс

http://saveimg.ru/show-image.php?id=a2fe6a1a290909a24d130bbd38f26110 http://saveimg.ru/show-image.php?id=610fa8ae5c736aceac7a2240b297c226

все равно загружено 0 сделок( указываю начальную дату в гидре 23.08.07

А в DumpFolder что нибудь Гидра сбросила? Нет пусто

Yura:

Mikhail Sukhov:

Yura: сделал аналогию полную как на ртс

http://saveimg.ru/show-image.php?id=a2fe6a1a290909a24d130bbd38f26110 http://saveimg.ru/show-image.php?id=610fa8ae5c736aceac7a2240b297c226

все равно загружено 0 сделок( указываю начальную дату в гидре 23.08.07

А в DumpFolder что нибудь Гидра сбросила? Нет пусто

Воспользуйтесь дебагом и посмотрите на каком этапе что происходит. А то так после каждой строчки будут новые вопросы.

Yura:

Mikhail Sukhov:

Yura: сделал аналогию полную как на ртс

http://saveimg.ru/show-image.php?id=a2fe6a1a290909a24d130bbd38f26110 http://saveimg.ru/show-image.php?id=610fa8ae5c736aceac7a2240b297c226

все равно загружено 0 сделок( указываю начальную дату в гидре 23.08.07

А в DumpFolder что нибудь Гидра сбросила? Нет пусто

А DumpFolder какой указан?

Mikhail Sukhov:

Yura:

Mikhail Sukhov:

Yura: сделал аналогию полную как на ртс

http://saveimg.ru/show-image.php?id=a2fe6a1a290909a24d130bbd38f26110 http://saveimg.ru/show-image.php?id=610fa8ae5c736aceac7a2240b297c226

все равно загружено 0 сделок( указываю начальную дату в гидре 23.08.07

А в DumpFolder что нибудь Гидра сбросила? Нет пусто

А DumpFolder какой указан? да просто на D:\

Yura: а такой вопрос, в системе должен быть установлен какой нибудь софт для дбф файлов..или как гидра парсит этот файл?

Она парсит самостоятельно, без доп софта.

Yura: сравнил 2 файла xls с ртс и с украинской..столбцы названия разделов отличаются..это влияет на парсер?

Зашел по этому пути ftp://ftp.ux.ua/pub/info/stats/history/ Сделок нет вообще. Только итоги торгов по инструменту. По пути ftp://ftp.ux.ua/pub/info/statforts/ история только с 2010. Биржа начала деривативами торговать с 2010? По фондовому разделу сделки она не хранит?

Mikhail Sukhov:

Yura: сравнил 2 файла xls с ртс и с украинской..столбцы названия разделов отличаются..это влияет на парсер?

Зашел по этому пути ftp://ftp.ux.ua/pub/info/stats/history/ Сделок нет вообще. Только итоги торгов по инструменту. По пути ftp://ftp.ux.ua/pub/info/statforts/ история только с 2010. Биржа начала деривативами торговать с 2010? По фондовому разделу сделки она не хранит?

Узнал у биржи - появилась обновляемая ftp://ftp.ux.com.ua/pub/info/Archive/StockMarket/trades/ раз в месяц. Ежедневной пока нет. Есть также сервис http://www.ux.ua/ru/marketdata/export.aspx, где можно запросами с серверов закачать данные. К сожалению, умею программировать только на VBA, если подскажите как добавить закачку по споту рынку - постараюсь добавить.

Yura: Что вы мне посоветуете в этой ситуации, как мне быть?😭

Быстрее всего будет понять, почему ФТП у украинцев не работает как у русских. Если поймете, я исправлю и протестирую Гидру на новом ФТП. Локального ФТП у меня нет чтобы понять, почему у вас на локальном компе не работает.

Yura: ...

Ноль ошибок.

Вот так же теперь и к украинской бирже сделайте. Как вариант, попробовать что-то другое вместо люмисофта.

Yura: В общем задумал я писать свой парсер. Я немного не понимаю структуру. Как связан файл bin и xml с базой данных?И в какую таблицу в базе данных парcить xls и dbf. Что именно описано в примере SimpleStorage ? там 1000 случайных сделок преобразовываются в bin и xml? Объясните пожалуйста эту структу.

Если используется TradingStorage, то реализация методов с маркет-данными не зависит от TradingStorage.Storage, так как данные всегда сохраняются в файл. Это внутренний формат S#, и он организован таким образом, чтобы сделки или стаканы занимали минимум места на диске. Путь к директории, где будут сохраняться (или считываться) маркет-данные, указывается через свойство TradingStorage.BasePath. По этому пути будут созданы папки с названиями, равными идентификаторам инструментов (для каждого инструмента отдельная папка). Внутри каждой такой папки будут созданы подпапки, обозначающие даты маркет-данных. Например, если сохранять тиковые сделки за период 3 дня, то для них будут созданы 3 отдельный папки с датами. Формат названия папки всегда фиксирован и равен yyyy_MM_dd. Внутри каждой папки с датами находится несколько пар файлов, с расширениями xml и bin. Файлы с расширением xml содержит информацию о структуре bin файл, содержащего данные. Сделки хранятся в файле trades.bin, стаканы в quotes.bin. Так же могут присутствовать и файлы candles_XXX.bin, где хранятся свечки разных типов (название файла указывает на тип и параметр свечек).

http://stocksharp.com/doc/html/e4a57b52-bd14-4640-a7c7-0979dba1ad0a.htm

Yura: Доброго времени суток. Продолжаю писать парсер и такой вопрос образовался, где в гидре sql запросы к базе? как класс называется ? или где вообще они?

Нигде. Гидра для хранения данных использует обычные файлы. Для инструментов - SQL.

Yura: Доброго времени суток. Итак мой парсер уже имеет связь с укр биржей . Скачивает данные распаковывает архив и читает xls и dbf файлы. Связь с бд есть. Теперь нужно определиться что в каких полях и где что будет в самой бд. И нужно разобраться с файликом стокшарп формата.Я правильно понял что в примере SampleStorage описывается преобразование этого файла bin? я на верном пути?

С форматом разбираться не нужно. Нужно лишь работать через специальный API, ссылку на описание которого я уже приводил. Пример его использования можно так же найти в исходниках Гидра, файл Worker.cs.

Вы уже распарсили xls и dbf? Данные их этих файлов получили?

Yura: Доброго времени суток. Итак мой парсер уже имеет связь с укр биржей .

А как такое сделали? Парсер скачивает с FTP укр биржи?

Yura: Та обычно с помощью библиотеки system.net Скачивается по одному файлу парсится все нормально, конект есть.

Пришлите качалку + парсер. Интересно глянуть.

Забыл сборку пропатченную вложить. Сегодня выложу.