Рефакторинг Plaza коннектора

1) на какие методы и зачем? разбивать имеет смысл если этот код может использоваться в других места...

2011-12-16T07:25:08Z

Alexander Mukhanchikov

1) на какие методы и зачем? разбивать имеет смысл если этот код может использоваться в других местах. Здесь так?

На методы Initialization, Open, ReOpen.
Код разбивают не только в случае его исп в других местах, а еще и с целью логического упрощения.

Alexander Mukhanchikov

2) Вас смущает надписать "поток открыт"? ну считайте это "поток открывается"

Он не открывается, а инициализируеться схема. Поток при этом не обязательно открывать.

Alexander Mukhanchikov

Вы куда-то не туда смотрите. То что сейчас не работает - смена сессий. Прошла неделя с последней нашей беседы на эту тему, вы как-то продвинулись?

Ну собственно я ответил что нет.

Александр я как раз туда смотрю. И уже много раз вам говорил что вот такое считайте, как бы понятно ...

2011-12-16T07:14:10Z

frontman

Вопросы я задал.
Если хотите от меня реакцию получить - на вопросы надо ответить :)

Но это не значит что я отказываюсь от этого вопроса!

2011-12-16T07:10:45Z

Но это не значит что я отказываюсь от этого вопроса!

Александр я как раз туда смотрю. И уже много раз вам говорил что вот такое считайте, как бы понятно ...

2011-12-16T07:09:54Z

Александр я как раз туда смотрю.
И уже много раз вам говорил что вот такое считайте, как бы понятно для вас , но не для тех кто этот код не писал. Все должно быть однозначно.
Загрузка схемы - это еще не подключение. Открытие потока и переоткрытие то же разное....

Насчет смены сесии: скажу честно вопрос пока что отложен, т.к. у меня возникли проблемы с прокачкой данных, что мешает работе робота за которого мне собственно зп платят)) Так что пока что извините...

Продолжаю свое капание в коде плазы) У меня вызвал некое смущение вот этот метод: internal void Proc...

2011-12-16T07:03:56Z

frontman

Продолжаю свое капание в коде плазы)
У меня вызвал некое смущение вот этот метод:

Code

internal void ProcessConnection(IConnectionWrapper connection)
		{
			switch (State)
			{
				case PlazaStreamStates.Closed:
					if (ConfigFileName.IsEmpty())
						throw new InvalidOperationException("ConfigFileName is null or empty");

					NativeStream.TableSet = WrapperHelper.CreateTableSet();
					NativeStream.TableSet.Init(ConfigFileName, Table.ReplicationScheme);

					SetRevision();

					State = PlazaStreamStates.Opened;

					Log.SafeInvoke(this, "Поток открыт.");
					break;
				case PlazaStreamStates.Opened:
					if (NativeStream.State == StreamWrapperStates.Error || NativeStream.State == StreamWrapperStates.Closed)
					{
						Log.SafeInvoke(this, "Состояние потока {0}.".Put(NativeStream.State));

						if (NativeStream.State == StreamWrapperStates.Error)
							NativeStream.Close();

						SetRevision();

						NativeStream.Open(connection);
						ReConnected.SafeInvoke();

						Log.SafeInvoke(this, "Поток переоткрыт.");
					}
					break;
				default:
					throw new ArgumentOutOfRangeException();
			}
		}

Во первых я считаю что его надо разбить на несколько независимых методов.
А во вторых с точки зрения логики для меня он непонятен.
В первой ветке case PlazaStreamStates.Closed: в лог пишется что поток открыт и статус у потока меняется на Opened, но на самом деле это не так. Поток еще не открыт. Происходит только загрузка схемы для потока.
Такая же ситуации ветке case PlazaStreamStates.Opened: В лог пишется "поток переоткрыт" , хотя на самом деле это только его первое открытие(за исключением его реальных переоткрытиях в случае необходимости).

1) на какие методы и зачем? разбивать имеет смысл если этот код может использоваться в других местах. Здесь так?
2) Вас смущает надписать "поток открыт"? ну считайте это "поток открывается"
3) здесь поток переоткрывается, т.к. его статус либо Error, либо Closed

Вы куда-то не туда смотрите. То что сейчас не работает - смена сессий. Прошла неделя с последней нашей беседы на эту тему, вы как-то продвинулись?

Продолжаю свое капание в коде плазы) У меня вызвал некое смущение вот этот метод: internal void Proc...

2011-12-16T06:58:31Z

Продолжаю свое капание в коде плазы)
У меня вызвал некое смущение вот этот метод:

Code

internal void ProcessConnection(IConnectionWrapper connection)
		{
			switch (State)
			{
				case PlazaStreamStates.Closed:
					if (ConfigFileName.IsEmpty())
						throw new InvalidOperationException("ConfigFileName is null or empty");

					NativeStream.TableSet = WrapperHelper.CreateTableSet();
					NativeStream.TableSet.Init(ConfigFileName, Table.ReplicationScheme);

					SetRevision();

					State = PlazaStreamStates.Opened;

					Log.SafeInvoke(this, "Поток открыт.");
					break;
				case PlazaStreamStates.Opened:
					if (NativeStream.State == StreamWrapperStates.Error || NativeStream.State == StreamWrapperStates.Closed)
					{
						Log.SafeInvoke(this, "Состояние потока {0}.".Put(NativeStream.State));

						if (NativeStream.State == StreamWrapperStates.Error)
							NativeStream.Close();

						SetRevision();

						NativeStream.Open(connection);
						ReConnected.SafeInvoke();

						Log.SafeInvoke(this, "Поток переоткрыт.");
					}
					break;
				default:
					throw new ArgumentOutOfRangeException();
			}
		}

Повторно подниму эту тему. На сколько я понимаю рефакторинг позволил создавать множество коннекшнов ...

2011-10-06T20:11:42Z

FiNick

Повторно подниму эту тему.
На сколько я понимаю рефакторинг позволил создавать множество коннекшнов до гейта и соответственно обрабатывать потоки репликации в нескольких тредах. Похоже это не роскошь, а необходимость.
Я отсылал в РТС логи, они сделали такие замечания:

По приложенному логу видно, что накапливается очередь сообщений в первые секунды работы.
2011-10-06 16:45:47.234;p2mq-cli;;New message added to recvList. Size: 38
Это приводит к задержкам в получении данных, поэтому предлагается побороться с очередями. Для этого предлагается разбить получение реплики на несколько соединений, работающих в отдельных thread'ах, каждое со своим циклом выборки.

P.S. Начал прикидывать как это можно сделать, пока не получается, все ломается

несколько соединений - connection pool
а рефакторинг позволил создавать несколько PlazaTrader

Повторно подниму эту тему. На сколько я понимаю рефакторинг позволил создавать множество коннекшнов ...

2011-10-06T19:36:18Z

Александр а вы пробовали одновременно создавать вот такие правила? this.When(Security.MarketDepthCha...

2011-09-27T07:24:42Z

Александр а вы пробовали одновременно создавать вот такие правила?

Code

this.When(Security.MarketDepthChanged())
                .Do<MarketDepth>(MarketDepthChanged);

this.When(this.StrategyNewOrder())
    .Do<Order>(order => this.AddOrderInfoLog(order, "Выставленна"));

Ну могу сказать точно что заявки стали быстрее выставляться... Но моя проблема с получением ответа о...

2011-09-27T07:15:24Z

Ну могу сказать точно что заявки стали быстрее выставляться... Но моя проблема с получением ответа от биржи о выставлении заявки сохранилась(

Я думаю даже 100мс скоро много будет) С чего мало? Эти 100мс передаются в ProcessMessage. Для чего о...

2011-09-27T07:03:37Z

frontman

Я думаю даже 100мс скоро много будет)

С чего мало? Эти 100мс передаются в ProcessMessage. Для чего они там нужны - см. документацию плазы. Хотите - измените на поменьше, это делайте через свойство StreamTimeOut.

Quote:

У меня вопрос : а не может ли тот факт что транзакции и получение данных идет в одном потоке мешать выполнению этих самых транзакций.
Т.е я говорю не о задержки как писал Александр а о полной блокировки. Например при получении данных о стакане? Т.к. стакан обновляется постоянно, т.е поток входной инфы практически бесконечен?

Так и происходит. Только у нас 2 коннекшена - 1 для данных, 1 - для транзакций. Я по коду проверил, всё должно быть в порядке.
Вы протестировали с изменениями? Как результаты?

Я думаю даже 100мс скоро много будет) У меня вопрос : а не может ли тот факт что транзакции и получе...

2011-09-27T06:21:48Z

Я думаю даже 100мс скоро много будет)
У меня вопрос : а не может ли тот факт что транзакции и получение данных идет в одном потоке мешать выполнению этих самых транзакций.
Т.е я говорю не о задержки как писал Александр а о полной блокировки. Например при получении данных о стакане? Т.к. стакан обновляется постоянно, т.е поток входной инфы практически бесконечен?

Далее. Сейчас у нас создаётся 1 подключение для данных и для отправки заявок. Что не оптимально. Дол...

2011-09-26T16:43:58Z

Alexander

Далее. Сейчас у нас создаётся 1 подключение для данных и для отправки заявок. Что не оптимально.

Должно быть раздельно сделано, одно для данных, одно для транзакций. Посмотри, где вызывается класс PlazaConnectionPool.

Выяснил. Задержка, как и писал неоднократно выше, связана с PollTimeOut в PlazaConnectionPool. У нас...

2011-09-26T16:05:22Z

Выяснил.
Задержка, как и писал неоднократно выше, связана с PollTimeOut в PlazaConnectionPool.

У нас заявки посылаются асинхронно, в том же потоке, что делает ProcessMessage. Могут возникать ситуации когда они блокируют.
Поставил 100мс, как советуют на форуме РТС.

Далее. Сейчас у нас создаётся 1 подключение для данных и для отправки заявок. Что не оптимально.
Предлагаю добавить возможность создавать N (>=1) транзакционных подключений для отправки заявок. В любом случае транзакционное подключение необходимо отделять от потока данных. В этом случае всякая проблема с задержкой заявок уйдёт.

Замечания \ пожелания \ предложения?

P.S. Свой минификс со 100мс залил на codeplex, соберите по исходникам, потестируйте.

strategy.RegisterOrder Но проблема в том что я обрабатываю событие ITrader.NewOrders, а оно к страте...

2011-09-26T12:15:23Z

strategy.RegisterOrder

Но проблема в том что я обрабатываю событие ITrader.NewOrders, а оно к стратегии не относится ни как... И по идее должно перехватывать все заявки... Но...

Смотрите опытным путем установил что событие ITrader.NewOrders вне стратегии срабатывает. Но как тол...

2011-09-26T12:08:16Z

frontman

Смотрите опытным путем установил что событие ITrader.NewOrders вне стратегии срабатывает.
Но как только я переношу подписку на это событие в стратегию ничего не работает.
Это наводит на мысль что это связанно с классом Strategy как то...

А как вы регитрируете заявку, strategy.RegisterOrder или plaza.RegisterOrder? Если вторым образом, то события стратегии типа strategy.NewOrders, OrderChanged и т.п. не будут срабатывать. Стратегия не считает такие заявки своими, потому никак не сообщает о них.

Так... Теперь установил что если внутри стратегии убрать подписку на событие ITrader.QuotesChanged т...

2011-09-26T11:54:35Z

Так... Теперь установил что если внутри стратегии убрать подписку на событие ITrader.QuotesChanged то новые заявки начинают поступать.
Может кто нибудь знает может ли поток данных о стакане как то "забивать" заявки?

Смотрите опытным путем установил что событие ITrader.NewOrders вне стратегии срабатывает. Но как тол...

2011-09-26T11:28:22Z

Проблема в PollTimeOut в connectionPool. Исследуйте в ту сторону

2011-09-26T10:30:20Z

Проблема в PollTimeOut в connectionPool. Исследуйте в ту сторону

Но потом можно вечно ждать возвращения биржей идентификаторы заявки... Не встречались с такой пробле...

2011-09-26T10:13:44Z

Но потом можно вечно ждать возвращения биржей идентификаторы заявки...
Не встречались с такой проблемой?