Рефакторинг Plaza коннектора

Alexander Mukhanchikov: на какие методы и зачем? разбивать имеет смысл если этот код может использов...

2011-12-16T07:25:08Z

Alexander Mukhanchikov:

на какие методы и зачем? разбивать имеет смысл если этот код может использоваться в других местах. Здесь так? На методы Initialization, Open, ReOpen. Код разбивают не только в случае его исп в других местах, а еще и с целью логического упрощения. Alexander Mukhanchikov:

Вас смущает надписать "поток открыт"? ну считайте это "поток открывается" Он не открывается, а инициализируеться схема. Поток при этом не обязательно открывать. Alexander Mukhanchikov: Вы куда-то не туда смотрите. То что сейчас не работает - смена сессий. Прошла неделя с последней нашей беседы на эту тему, вы как-то продвинулись? Ну собственно я ответил что нет.

frontman: Александр я как раз туда смотрю. И уже много раз вам говорил что вот такое считайте, как б...

2011-12-16T07:14:10Z

frontman: Александр я как раз туда смотрю. И уже много раз вам говорил что вот такое считайте, как бы понятно для вас , но не для тех кто этот код не писал. Все должно быть однозначно. Загрузка схемы - это еще не подключение. Открытие потока и переоткрытие то же разное....

Вопросы я задал. Если хотите от меня реакцию получить - на вопросы надо ответить :)

Но это не значит что я отказываюсь от этого вопроса!

2011-12-16T07:10:45Z

Но это не значит что я отказываюсь от этого вопроса!

Александр я как раз туда смотрю. И уже много раз вам говорил что вот такое считайте, как бы понятно ...

2011-12-16T07:09:54Z

Александр я как раз туда смотрю. И уже много раз вам говорил что вот такое считайте, как бы понятно для вас , но не для тех кто этот код не писал. Все должно быть однозначно. Загрузка схемы - это еще не подключение. Открытие потока и переоткрытие то же разное....

Насчет смены сесии: скажу честно вопрос пока что отложен, т.к. у меня возникли проблемы с прокачкой данных, что мешает работе робота за которого мне собственно зп платят)) Так что пока что извините...

frontman: Продолжаю свое капание в коде плазы) У меня вызвал некое смущение вот этот метод: internal...

2011-12-16T07:03:56Z

frontman: Продолжаю свое капание в коде плазы) У меня вызвал некое смущение вот этот метод:

internal void ProcessConnection(IConnectionWrapper connection) { switch (State) { case PlazaStreamStates.Closed: if (ConfigFileName.IsEmpty()) throw new InvalidOperationException("ConfigFileName is null or empty");

				NativeStream.TableSet = WrapperHelper.CreateTableSet();
				NativeStream.TableSet.Init(ConfigFileName, Table.ReplicationScheme);

				SetRevision();

				State = PlazaStreamStates.Opened;

				Log.SafeInvoke(this, "Поток открыт.");
				break;
			case PlazaStreamStates.Opened:
				if (NativeStream.State == StreamWrapperStates.Error || NativeStream.State == StreamWrapperStates.Closed)
				{
					Log.SafeInvoke(this, "Состояние потока {0}.".Put(NativeStream.State));

					if (NativeStream.State == StreamWrapperStates.Error)
						NativeStream.Close();

					SetRevision();

					NativeStream.Open(connection);
					ReConnected.SafeInvoke();

					Log.SafeInvoke(this, "Поток переоткрыт.");
				}
				break;
			default:
				throw new ArgumentOutOfRangeException();
		}
	}

> 
> Во первых я считаю что его надо разбить на несколько независимых методов.
> А во вторых с точки зрения логики для меня он непонятен.
> В первой ветке case PlazaStreamStates.Closed: в лог пишется что поток открыт и статус у потока меняется на Opened, но на самом деле это не так. Поток еще не открыт. Происходит только загрузка схемы для потока.
> Такая же ситуации  ветке case PlazaStreamStates.Opened: В лог пишется "поток переоткрыт" , хотя на самом деле это только его первое открытие(за исключением его реальных переоткрытиях в случае необходимости).


1) на какие методы и зачем? разбивать имеет смысл если этот код может использоваться в других местах. Здесь так?
2) Вас смущает надписать "поток открыт"? ну считайте это "поток открывается"
3) здесь поток переоткрывается, т.к. его статус либо Error, либо Closed

Вы куда-то не туда смотрите. То что сейчас не работает - смена сессий. Прошла неделя с последней нашей беседы на эту тему, вы как-то продвинулись?

Продолжаю свое капание в коде плазы) У меня вызвал некое смущение вот этот метод: internal void Proc...

2011-12-16T06:58:31Z

Продолжаю свое капание в коде плазы) У меня вызвал некое смущение вот этот метод:

internal void ProcessConnection(IConnectionWrapper connection)
		{
			switch (State)
			{
				case PlazaStreamStates.Closed:
					if (ConfigFileName.IsEmpty())
						throw new InvalidOperationException("ConfigFileName is null or empty");

					NativeStream.TableSet = WrapperHelper.CreateTableSet();
					NativeStream.TableSet.Init(ConfigFileName, Table.ReplicationScheme);

					SetRevision();

					State = PlazaStreamStates.Opened;

					Log.SafeInvoke(this, "Поток открыт.");
					break;
				case PlazaStreamStates.Opened:
					if (NativeStream.State == StreamWrapperStates.Error || NativeStream.State == StreamWrapperStates.Closed)
					{
						Log.SafeInvoke(this, "Состояние потока {0}.".Put(NativeStream.State));

						if (NativeStream.State == StreamWrapperStates.Error)
							NativeStream.Close();

						SetRevision();

						NativeStream.Open(connection);
						ReConnected.SafeInvoke();

						Log.SafeInvoke(this, "Поток переоткрыт.");
					}
					break;
				default:
					throw new ArgumentOutOfRangeException();
			}
		}

Во первых я считаю что его надо разбить на несколько независимых методов. А во вторых с точки зрения логики для меня он непонятен. В первой ветке case PlazaStreamStates.Closed: в лог пишется что поток открыт и статус у потока меняется на Opened, но на самом деле это не так. Поток еще не открыт. Происходит только загрузка схемы для потока. Такая же ситуации ветке case PlazaStreamStates.Opened: В лог пишется "поток переоткрыт" , хотя на самом деле это только его первое открытие(за исключением его реальных переоткрытиях в случае необходимости).

FiNick: Повторно подниму эту тему. На сколько я понимаю рефакторинг позволил создавать множество кон...

2011-10-06T20:11:42Z

FiNick: Повторно подниму эту тему. На сколько я понимаю рефакторинг позволил создавать множество коннекшнов до гейта и соответственно обрабатывать потоки репликации в нескольких тредах. Похоже это не роскошь, а необходимость. Я отсылал в РТС логи, они сделали такие замечания:

По приложенному логу видно, что накапливается очередь сообщений в первые секунды работы. 2011-10-06 16:45:47.234;p2mq-cli;;New message added to recvList. Size: 38 Это приводит к задержкам в получении данных, поэтому предлагается побороться с очередями. Для этого предлагается разбить получение реплики на несколько соединений, работающих в отдельных thread'ах, каждое со своим циклом выборки.

P.S. Начал прикидывать как это можно сделать, пока не получается, все ломается

несколько соединений - connection pool а рефакторинг позволил создавать несколько PlazaTrader

Повторно подниму эту тему. На сколько я понимаю рефакторинг позволил создавать множество коннекшнов ...

2011-10-06T19:36:18Z

Повторно подниму эту тему. На сколько я понимаю рефакторинг позволил создавать множество коннекшнов до гейта и соответственно обрабатывать потоки репликации в нескольких тредах. Похоже это не роскошь, а необходимость. Я отсылал в РТС логи, они сделали такие замечания:

По приложенному логу видно, что накапливается очередь сообщений в первые секунды работы. 2011-10-06 16:45:47.234;p2mq-cli;;New message added to recvList. Size: 38 Это приводит к задержкам в получении данных, поэтому предлагается побороться с очередями. Для этого предлагается разбить получение реплики на несколько соединений, работающих в отдельных thread'ах, каждое со своим циклом выборки.

P.S. Начал прикидывать как это можно сделать, пока не получается, все ломается

Александр а вы пробовали одновременно создавать вот такие правила? this.When(Security.MarketDepthCha...

2011-09-27T07:24:42Z

Александр а вы пробовали одновременно создавать вот такие правила?

this.When(Security.MarketDepthChanged())
                .Do<MarketDepth>(MarketDepthChanged);

this.When(this.StrategyNewOrder())
    .Do<Order>(order => this.AddOrderInfoLog(order, "Выставленна"));

Ну могу сказать точно что заявки стали быстрее выставляться... Но моя проблема с получением ответа о...

2011-09-27T07:15:24Z

Ну могу сказать точно что заявки стали быстрее выставляться... Но моя проблема с получением ответа от биржи о выставлении заявки сохранилась(

frontman: Я думаю даже 100мс скоро много будет) С чего мало? Эти 100мс передаются в ProcessMessage. ...

2011-09-27T07:03:37Z

frontman: Я думаю даже 100мс скоро много будет) С чего мало? Эти 100мс передаются в ProcessMessage. Для чего они там нужны - см. документацию плазы. Хотите - измените на поменьше, это делайте через свойство StreamTimeOut.

У меня вопрос : а не может ли тот факт что транзакции и получение данных идет в одном потоке мешать выполнению этих самых транзакций. Т.е я говорю не о задержки как писал Александр а о полной блокировки. Например при получении данных о стакане? Т.к. стакан обновляется постоянно, т.е поток входной инфы практически бесконечен?

Так и происходит. Только у нас 2 коннекшена - 1 для данных, 1 - для транзакций. Я по коду проверил, всё должно быть в порядке. Вы протестировали с изменениями? Как результаты?

Я думаю даже 100мс скоро много будет) У меня вопрос : а не может ли тот факт что транзакции и получе...

2011-09-27T06:21:48Z

Я думаю даже 100мс скоро много будет) У меня вопрос : а не может ли тот факт что транзакции и получение данных идет в одном потоке мешать выполнению этих самых транзакций. Т.е я говорю не о задержки как писал Александр а о полной блокировки. Например при получении данных о стакане? Т.к. стакан обновляется постоянно, т.е поток входной инфы практически бесконечен?

Alexander: Далее. Сейчас у нас создаётся 1 подключение для данных и для отправки заявок. Что не опти...

2011-09-26T16:43:58Z

Alexander: Далее. Сейчас у нас создаётся 1 подключение для данных и для отправки заявок. Что не оптимально.

Должно быть раздельно сделано, одно для данных, одно для транзакций. Посмотри, где вызывается класс PlazaConnectionPool.

Выяснил. Задержка, как и писал неоднократно выше, связана с PollTimeOut в PlazaConnectionPool. У нас...

2011-09-26T16:05:22Z

Выяснил. Задержка, как и писал неоднократно выше, связана с PollTimeOut в PlazaConnectionPool.

У нас заявки посылаются асинхронно, в том же потоке, что делает ProcessMessage. Могут возникать ситуации когда они блокируют. Поставил 100мс, как советуют на форуме РТС.

Далее. Сейчас у нас создаётся 1 подключение для данных и для отправки заявок. Что не оптимально. Предлагаю добавить возможность создавать N (>=1) транзакционных подключений для отправки заявок. В любом случае транзакционное подключение необходимо отделять от потока данных. В этом случае всякая проблема с задержкой заявок уйдёт.

Замечания \ пожелания \ предложения?

P.S. Свой минификс со 100мс залил на codeplex, соберите по исходникам, потестируйте.

strategy.RegisterOrder Но проблема в том что я обрабатываю событие ITrader.NewOrders, а оно к страте...

2011-09-26T12:15:23Z

strategy.RegisterOrder

Но проблема в том что я обрабатываю событие ITrader.NewOrders, а оно к стратегии не относится ни как... И по идее должно перехватывать все заявки... Но...

frontman: Смотрите опытным путем установил что событие ITrader.NewOrders вне стратегии срабатывает. ...

2011-09-26T12:08:16Z

frontman: Смотрите опытным путем установил что событие ITrader.NewOrders вне стратегии срабатывает. Но как только я переношу подписку на это событие в стратегию ничего не работает. Это наводит на мысль что это связанно с классом Strategy как то...

А как вы регитрируете заявку, strategy.RegisterOrder или plaza.RegisterOrder? Если вторым образом, то события стратегии типа strategy.NewOrders, OrderChanged и т.п. не будут срабатывать. Стратегия не считает такие заявки своими, потому никак не сообщает о них.

Так... Теперь установил что если внутри стратегии убрать подписку на событие ITrader.QuotesChanged т...

2011-09-26T11:54:35Z

Так... Теперь установил что если внутри стратегии убрать подписку на событие ITrader.QuotesChanged то новые заявки начинают поступать. Может кто нибудь знает может ли поток данных о стакане как то "забивать" заявки?

Смотрите опытным путем установил что событие ITrader.NewOrders вне стратегии срабатывает. Но как тол...

2011-09-26T11:28:22Z

Смотрите опытным путем установил что событие ITrader.NewOrders вне стратегии срабатывает. Но как только я переношу подписку на это событие в стратегию ничего не работает. Это наводит на мысль что это связанно с классом Strategy как то...

Проблема в PollTimeOut в connectionPool. Исследуйте в ту сторону

2011-09-26T10:30:20Z

Проблема в PollTimeOut в connectionPool. Исследуйте в ту сторону

Но потом можно вечно ждать возвращения биржей идентификаторы заявки... Не встречались с такой пробле...

2011-09-26T10:13:44Z

Но потом можно вечно ждать возвращения биржей идентификаторы заявки... Не встречались с такой проблемой?