Перфоманс тестинга на истории

Мы, кажется, друг друга не понимаем.))) У меня последняя версия, код, который я привёл, в ней дейст...

2011-10-15T15:45:00Z

bender

Мы, кажется, друг друга не понимаем.)))
У меня последняя версия, код, который я привёл, в ней действительно не существует. Но я про то, что этот код в последней версии не работает, хотя судя по докам http://stocksharp.com/doc/ должен работать, отсюда и возник этот вопрос. А где нибудь можно почитать про новый CandleManager?

Доки пока нет. Изменения вкратце. CandleManager теперь не строит свечки. Он лишь получает их от ICandleSource и передает дальше + сохраняет в контейер. Свечки строит CandleBuilder. Он принимает сделки от свои ITradeSource и через ICandleFactory превращается их в Candle.

Дифф показывает, что код, который вы привели выше, уже не существует. Поэтому я и говорю, что верси...

2011-10-15T13:08:43Z

Mikhail Sukhov

Дифф показывает, что код, который вы привели выше, уже не существует. Поэтому я и говорю, что версия не последняя Гидры, нужно обновиться.

Да, это было бы здорово. Но перед тем как делать советую ознакомится с этим и этим. Я уже сделал, п...

2011-10-11T00:57:00Z

Mikhail Sukhov

Да, это было бы здорово. Но перед тем как делать советую ознакомится с этим и этим.

Я уже сделал, правда пока редко использовал, в прикреплённом архиве классы , которые надо добавить-заменить в Гидре, делал в 3.2.5, в следующих не пробовал.
Посмотрел вторую ссылку, метод CandlesGenerate.Generate разве должен работать? Вот такой код у меня не работает:

Code

	
var candleManager = new CandleManager(trades) { IsSyncRegister = true }; 
CandleToken token = candleManager.RegisterCandles(candleType, security, args); 
IMarketDataStorage<Candle> candleStorage = null;
candleStorage = storage.GetCandleStorage<TimeFrameCandle, TimeSpan>(security, args.To<TimeSpan>()) as IMarketDataStorage<Candle>;
var candles = candleManager.GetCandles(token);
candleStorage.Save(candles);

Mikhail Sukhov

Автоматику планируете сделать?

Это как? Чтобы при закачке сделок автоматически создавались и сохранялись свечки? Пока нет.

Если действительно никто не делает(вроде брался человек) и первый пост ещё актуален, я могу сделать,...

2011-10-10T23:21:09Z

bender

Если действительно никто не делает(вроде брался человек) и первый пост ещё актуален, я могу сделать, вернее уже сделал - отдельное окно в гидре, которое формирует свечки разных типов по заданному интервалу времени и сохраняет их по указанному пути, свечки не скачиваются,а формируются из закачанных сделок.

Да, это было бы здорово. Но перед тем как делать советую ознакомится с этим и этим. Возможно, что уже сделано многое, и тогда нужно лишь это привести в нормальный вид и скомбинировать.

Автоматику планируете сделать?

Я думаю, что подобное можно было бы решить через собственную реализацию ICandleManager, которая бы ...

2011-09-07T17:43:09Z

Mikhail Sukhov

Я думаю, что подобное можно было бы решить через собственную реализацию ICandleManager, которая бы не строила свечки каждый раз из тиков, а просто из бы подгружала. Сама загрузка тиков и стаканов происходит несколькими потоками, которые отличны от потока эмуляции (теоретически, они не должны влиять на скорость обработки данных - тестирования). В потоке эмуляции как раз и происходит построение свечек, что сильно тормозит общий процесс тестирования.

Если убрать загрузки тиков, то тогда перестанут строится и стаканы. Как же у вас происходит матчинг заявок?

А матчинг заявок это что? Если определение цены исполнения моей заявки по данным стакана, то никак не происходит, я оцениваю величину проскальзывания до тестирования и через него получаю ожидаемую цену. А так вы наверное правы, просто сделал что первое пришло в голову.
И ещё, допустим, у меня система на пробое ценового канала. По свечкам я определю момент входа, а как потом используя тики и стакан произвести матчинг? Если прогонять все тики внутри свечи, то это снова может затормозить тестирование.

Здравствуйте, напишу, как я решил проблему медленного тестирования по тикам. Изначально из тиковых д...

2011-09-05T15:56:56Z

bender

Здравствуйте, напишу, как я решил проблему медленного тестирования по тикам. Изначально из тиковых данных гидры строятся минутные свечки(я использую только свечки по времени) и сохраняются в отдельный каталог. Это всё делается стандартными средствами S#. Затем начинается собственно тестирование, и вот как тестировать стратегии по коллекции свечек, а не тиков, в S# я не нашёл( может, чего пропустил?). Поэтому я сделал свою реализацию ITrader, в которую добавил событие NewCandle. Этот новый класс получает коллекцию минутных свечек за тестируемый период и нужный таймфрейм, по которым формирует новую коллекцию свечек нужного таймфрейма, затем идёт перебор этих свечек и с каждой новой свечёй вызывается событие NewCandle, на которое подписаны тестируемые стратегии. Кодом могу поделится, если кому надо.

Помогите. Программирую я плохо, как мифический индус. Пишу оптимизатор, хочу сделать тестирование на...

2012-04-24T17:31:28Z

Помогите. Программирую я плохо, как мифический индус. Пишу оптимизатор, хочу сделать тестирование на готовых свечках из текстовых таблиц. С чего нужно начать? Сделать свой источник или Builder?

Дошли наконец-то руки :) В ПО очень важно быть на онлайне постоянно. С тех пор и стратегия стала соб...

2012-01-28T13:54:55Z

Garic

Дошли наконец-то руки :)

В ПО очень важно быть на онлайне постоянно. С тех пор и стратегия стала событийной, и S# 4.1 (что в dev ветке) поддерживает закачку свечек из хранилища.

Дошли наконец-то руки :) Сделал пример для TimeFrameCandles Скорость примерно в 5.5 раза выше чем с ...

2012-01-28T09:09:04Z

Дошли наконец-то руки :)

Сделал пример для TimeFrameCandles
Скорость примерно в 5.5 раза выше чем с CandleBuilder (в примере можно переключать)

Данные совпадают, за исключением свечей NonTradingDealType которые почему-то стандартный CandleBuilder выдаёт. Пример 06.10.2011 - свеча 14.00 - её быть не должно. Параметр CandleManager.NonTradingDealType не влияет.

Спасибо, заработало Правда пока криво и результаты немного расходятся с обычным тестом на истории - ...

2011-12-27T20:47:12Z

Спасибо, заработало [rolleyes]

Правда пока криво и результаты немного расходятся с обычным тестом на истории - как доковыряю - выложу.

Нужно синхронизировать поток свечей и поток NewTrade чтобы сделки проходили одинаково при обоих тестах (тест по расчитанным свечам и тест по сделкам).
Т.е. нужно выдавать свечи по какому-то событию. Логично чтобы это был Trader.NewTrade. Но как определить по tradе нужно ли выплёвывать candleFinished для свечки? Для timeFrame свечей понятно, а для остальных - такой информации нет.

Похоже облом - нужно чтобы у сохранённой свечи в хранилище был код первой и последней сделки (или есть другой вариант? )

В моих кастомных range-барах это есть (для отладки сделал), но что делать со стандартными?

По скорости - тест недели RIZ1 стратегия на минутках - Покупка на 00 минуте, продажа на 30 минуте по candleFinished
- по сделкам 02:07.10
- по сохранённым свечам, синхронизация по Trader.MarketTimeChanged раз в минуту 00:21.96
- по сохранённым свечам, синхронизация по Trader.MarketTimeChanged раз в секунду 00:22.77
- по сохранённым свечам, синхронизация по Trader.NewTrade 00:24.15

примерно в 7 раз быстрее

ICandleSource Т.е. нужно сделать по типу своего CandleBuilder? Он должен генерить события CandlesSta...

2011-12-27T10:54:54Z

Garic

Mikhail Sukhov

ICandleSource

Т.е. нужно сделать по типу своего CandleBuilder?
Он должен генерить события CandlesStarted, CandlesChanged, CandlesFinished

Я бы сказал по аналогии с SmartCandleSource

Code

/// <summary>
	/// SmartCOM источник свечек типа <see cref="TimeFrameCandle"/>.
	/// </summary>
	public class SmartCandleSource : ICandleSource
	{
		/// <summary>
		/// Создать <see cref="SmartCandleSource"/>.
		/// </summary>
		/// <param name="trader">Шлюз к SmartCOM, через событие <see cref="SmartTrader.NewHistoryCandles"/> будут получаться свечки.</param>
		public SmartCandleSource(SmartTrader trader)
		{
			if (trader == null)
				throw new ArgumentNullException("trader");

			Trader = trader;
			Trader.NewHistoryCandles += OnNewHistoryCandles;
			From = Trader.MarketTime.Date - TimeSpan.FromDays(5);
		}

		/// <summary>
		/// Начальная дата, с которой необходимо получать данные из SmartCOM. По-умолчанию равно -5 дней от начала текущей сессии.
		/// </summary>
		public DateTime From { get; set; }

		/// <summary>
		/// Шлюз к SmartCOM, через событие <see cref="SmartTrader.NewHistoryCandles"/> будут получаться свечки.
		/// </summary>
		public SmartTrader Trader { get; private set; }

		IEnumerable<CandleToken> ICandleSource.Tokens
		{
			get { return Trader.HistoryCandleTokens; }
		}

		private Action<CandleToken, IEnumerable<Candle>> _candlesStarted;

		event Action<CandleToken, IEnumerable<Candle>> ICandleSource.CandlesStarted
		{
			add { _candlesStarted += value; }
			remove { _candlesStarted -= value; }
		}

		event Action<CandleToken, IEnumerable<Candle>> ICandleSource.CandlesChanged
		{
			add { }
			remove { }
		}

		private Action<CandleToken, IEnumerable<Candle>> _candlesFinished;

		event Action<CandleToken, IEnumerable<Candle>> ICandleSource.CandlesFinished
		{
			add { _candlesFinished += value; }
			remove { _candlesFinished -= value; }
		}

		event Action<Exception> ICandleSource.ProcessDataError
		{
			add { }
			remove { }
		}

		CandleToken ICandleSource.GetToken(Type candleType, Security security, object arg)
		{
			CheckTypes(candleType, arg);
			return Trader.HistoryCandleTokens.FirstOrDefault(c => c.Security == security && c.Arg == arg);
		}

		bool ICandleSource.IsSupport(Type candleType, Security security, object arg)
		{
			return candleType == typeof(TimeFrameCandle) && security.Trader == Trader && arg is TimeSpan && SmartTimeFrames.CanConvert((TimeSpan)arg);
		}

		CandleToken ICandleSource.Register(Type candleType, Security security, object arg)
		{
			if (((ICandleSource)this).GetToken(candleType, security, arg) != null)
				throw new ArgumentException("Группировка свечек уже зарегистрирована ранее с переданными параметрами.");

			CheckTypes(candleType, arg);

			var token = Trader.RegisterHistoryRealTimeCandles(security, (TimeSpan)arg, From);
			token.Source = this;
			return token;
		}

		void ICandleSource.UnRegister(CandleToken token)
		{
			Trader.UnRegisterHistoryRealTimeCandles(token);
		}

		private static void CheckTypes(Type candleType, object arg)
		{
			if (candleType == null)
				throw new ArgumentNullException("candleType");

			if (candleType != typeof(TimeFrameCandle))
				throw new ArgumentException("SmartCOM поддерживает свечки только типа {0}.".Put(candleType), "candleType");

			if (!(arg is TimeSpan))
				throw new ArgumentException("Аргумент {0} должен быть типа {1}.".Put(arg, typeof(TimeSpan)), "arg");
		}

		private void OnNewHistoryCandles(CandleToken token, IEnumerable<TimeFrameCandle> candles)
		{
			_candlesStarted.SafeInvoke(token, candles);
			_candlesFinished.SafeInvoke(token, candles);
		}

		void IDisposable.Dispose()
		{
			Trader.NewHistoryCandles -= OnNewHistoryCandles;
		}
	}

ICandleSource Т.е. нужно сделать по типу своего CandleBuilder? Он должен генерить события CandlesSta...

2011-12-27T10:06:05Z

Mikhail Sukhov

ICandleSource

Т.е. нужно сделать по типу своего CandleBuilder?
Он должен генерить события CandlesStarted, CandlesChanged, CandlesFinished

Что должно их провоцировать (какое внешнее событие), за какой период должны отдаваться свечки, по сколько штук за один раз?
Не видя внутренности сложно понять.
Я так понимаю, отдаваться должны свечи всех зарегистрированных типов?

А как тестеру скормить предварительно расчитанные свечи? Ничего подходящего не нашёл, а без них он р...

2011-12-26T20:15:33Z

Garic

А как тестеру скормить предварительно расчитанные свечи?
Ничего подходящего не нашёл, а без них он работает существенно медленней чем в старых версиях (сравниваю с 3.2.7)

ICandleSource

А как тестеру скормить предварительно расчитанные свечи? Ничего подходящего не нашёл, а без них он р...

2011-12-26T16:38:19Z

Сломалась генерация свечек (4.0.9) Я так понимаю в CandlesCompress вместо candleManager.Sources.Add(...

2011-12-18T21:41:00Z

Garic

Сломалась генерация свечек (4.0.9)

Я так понимаю в CandlesCompress вместо

Code

candleManager.Sources.Add(new CandleBuilder(new RawConvertableCandleBuilderSource<Trade>(trades)));

надо

Code

candleManager.Sources.Add(new CandleBuilder(new RawConvertableCandleBuilderSource<Trade>(trades)) { IsSyncRegister = true });

Да, верно.
Залил.

Сломалась генерация свечек (4.0.9) Я так понимаю в CandlesCompress вместо candleManager.Sources.Add(...

2011-12-18T14:38:32Z

Сломалась генерация свечек (4.0.9)

Я так понимаю в CandlesCompress вместо

Code

candleManager.Sources.Add(new CandleBuilder(new RawConvertableCandleBuilderSource<Trade>(trades)));

надо

Code

candleManager.Sources.Add(new CandleBuilder(new RawConvertableCandleBuilderSource<Trade>(trades)) { IsSyncRegister = true });

Поставил решарпер, в связи с этим несколько вопросов. Он в основном выдает три замечания - убрать th...

2011-10-19T19:10:32Z

bender

Предупреждений по var не увидел. Возможно у нас разные настройки. Обычно я var использую, когда тип переменной слишком большой. Анонимный тип тут не при чем.

bender

А обработчики событий из, например, StartStop_Click предлагает переименовать в StartStopClick, хотя везде они поименованы через подчёркивание. Может он у меня настроен не так?

Да скорее всего.

Мне больше сама структура кода смущает. Например, CandlesCompress уж слишком сложен в поминании. Там явно переизбыток лямбд.

Спасибо. Глянул мельком, замечаний море. Будем улучшать знания в C#. Скажите, когда будет финальный...

2011-10-19T12:13:31Z

Mikhail Sukhov

Спасибо. Глянул мельком, замечаний море. Будем улучшать знания в C#. Скажите, когда будет финальный коммит, и можно будет пройтись по пунктам.

Сделайте, пожалуйста, табуляцию табами, а не пробелами. Сейчас иначе весь файл переформатируется студией, если его другие начнут править. Советую поставить R#, он покажет так же часть ошибок в коде.

Поставил решарпер, в связи с этим несколько вопросов. Он в основном выдает три замечания - убрать this, использовать var и переименовать обработчики событий. Я думал, что var нужен только для анонимных типов, но если надо поменяю. А обработчики событий из, например, StartStop_Click предлагает переименовать в StartStopClick, хотя везде они поименованы через подчёркивание. Может он у меня настроен не так?

Добавил окно с возможностью формирования свечек по интервалу дат, пока только таймфрейм, тики и объё...

2011-10-18T23:24:25Z

bender

Добавил окно с возможностью формирования свечек по интервалу дат, пока только таймфрейм, тики и объём, остальные пока не успел. Кнопка авто, автоматически выставляет интервал по всем загруженным сделкам, если свечки в указанный каталог уже сохранялись - то от последней свечи до последней сделки. Т.к. писал это для более ранней версии, сейчас там есть уже не нужные вещи вроде xml файла, постараюсь на неделе доработать. Залил на кодеплекс

Добавил окно с возможностью формирования свечек по интервалу дат, пока только таймфрейм, тики и объё...

2011-10-17T15:17:19Z