Утечки памяти при тестировании на исторических данных

Нужно убедиться, что все объекты входящие в конструирование трейдера нигде не остаются висеть, внима...

2013-02-07T12:14:04Z

Нужно убедиться, что все объекты входящие в конструирование трейдера нигде не остаются висеть, внимательно просмотрите у себя:

security
storage
portfolio
marketDepthGenerator
candleManager
candleSeries
strategy Я еще делаю это, записав результат прогона:

trader.StateChanged += (oldState, newState) =>
                {
                    if (trader.State == EmulationStates.Stopped)
                    {
                        trader.UnRegisterMarketDepth(marketDepthGenerator);
                        marketDepthGenerator = null;
                    }
                };

....

trader.StateChanged += (oldState, newState) =>
            {
                if (trader.State == EmulationStates.Stopped)
                {
                    strategy.Stop();
                    candleManager = null;
                    storage = null;
                }        
            };

....

strategy.Trader.Dispose();
strategy.Trader = null;
strategy.Dispose();

Особенно обратите внимание на marketDepthGenerator = null; - из объекта трейдера его не достать никак, поэтому я прицепил этот обработчик в scope'е где у меня есть доступ к только что созданному локальному объекту marketDepthGenerator.

Воспользуйтесь CLR Profiler (http://www.microsoft.com/en-us/download/details.aspx?id=16273), он позволяет очень наглядно посмотреть Managed Heap для запущенного приложения - сразу станет понятно, где течет.

Мне не помогло. Взял с кодеплекса последний changeset 22848, референсы с транка, версия 4.1.8. Один ...

2013-02-07T09:23:14Z

Мне не помогло. Взял с кодеплекса последний changeset 22848, референсы с транка, версия 4.1.8. Один прогон теста на данных ордерлога за месяц занимают 2Гб, затем делаю Dispose всему чему могу, экземпляру трейдера в том числе, делаю GC.Collect() на всякий случай, память занимаемая приложением не уменьшается. Затем запускается новый прогон теста на том же месяце, память уходит за 7Гб, комп помирает

Потестил на последней сборке #22766 - но моих тестах ситуация изменилась кардинально. Тестировал на ...

2013-02-03T11:01:14Z

Потестил на последней сборке #22766 - но моих тестах ситуация изменилась кардинально.

Тестировал на 48 EmulationTrader'ах и 3 торговых днях.

Предыдущая версия (не уверен, что 4.1.7.0, возможно я обновлялся из trunk'а): Пиковое потребление: 1200+ МБ Потребление после завершения теста и удаления EmulationTrader'ов: ~600 МБ

Новая версия: #22766 Пиковое потребление: ~500 МБ Потребление после завершения теста и удаления EmulationTrader'ов: ~140 МБ

Спасибо. Позже я еще внимательно посмотрю на CandleManagerContainer, может и он подтекает )

Den: Mikhail Sukhov: На последней версии воспроизводиться? ak выше писал "А между тем, проблема с Em...

2013-02-01T15:16:42Z

Den:

Mikhail Sukhov: На последней версии воспроизводиться?

ak выше писал "А между тем, проблема с EmulationTrader осталась и в последней версии S# (4.1.7.0). "

Я про кодеплекс.

Mikhail Sukhov: На последней версии воспроизводиться? ak выше писал "А между тем, проблема с Emulati...

2013-02-01T14:44:42Z

Mikhail Sukhov: На последней версии воспроизводиться?

ak выше писал "А между тем, проблема с EmulationTrader осталась и в последней версии S# (4.1.7.0). "

FiNick: Та же фигня. Пол дня искал в своем коде утечки, пока на форум не зашел=/ На последней версии...

2013-02-01T13:04:54Z

FiNick: Та же фигня. Пол дня искал в своем коде утечки, пока на форум не зашел=/

На последней версии воспроизводиться?

VassilSanych: Хорошая статейка http://msdn.microsoft.com/en-us/magazine/jj863136.aspx В самом низу е...

2013-02-01T07:32:12Z

VassilSanych: Хорошая статейка http://msdn.microsoft.com/en-us/magazine/jj863136.aspx В самом низу есть список новых потоконезависимых коллекций .net 4.0 Как вариант замены деревянных велосипедов.

А кто-нить в S# тестил разницу между SynchronizedDictionary и ConcurrentDictionary?

Хорошая статейка http://msdn.microsoft.com/en-us/magazine/jj863136.aspx В самом низу есть список нов...

2013-02-01T05:36:29Z

Хорошая статейка http://msdn.microsoft.com/en-us/magazine/jj863136.aspx В самом низу есть список новых потоконезависимых коллекций .net 4.0 Как вариант замены деревянных велосипедов.

Та же фигня. Пол дня искал в своем коде утечки, пока на форум не зашел=/

2013-01-31T20:16:48Z

Та же фигня. Пол дня искал в своем коде утечки, пока на форум не зашел=/

А между тем, проблема с EmulationTrader осталась и в последней версии S# (4.1.7.0). Если запускать т...

2013-01-28T19:45:47Z

А между тем, проблема с EmulationTrader осталась и в последней версии S# (4.1.7.0). Если запускать тестирование с включенной генерацией стакана - обычно ±150 созданных и затем даже принудительно удаленных EmulationTrader'ов хватает чтобы заполнить ±1200 MB оперативы (после очень скоро следует OutOfMemoryEx).

Виновником, как я думаю, является TrendMarketDepthGenerator, содержащий объект(ы) типа Ecng.Common.RandomArray, которые по какой-то причине не очищаются GC, но при этом содержат и накапливают огромное количество [int]. На картинке - состояние приложения после прогона на 48 EmulationTrader'ах и удалении каждого. 89% занимают неудаленные массивы:

Click for large view - Uploaded with Skitch

Если сделать нечто, предложенное alexeev.evg выше, при удалении EmulationTrader'а (взял первый попавшийся объект содержащий Ecng.Common.RandomArray), для последней версии S# это:


// try to cleanup memory, private field in EmulationTrader
//{Ecng.Collections.CachedSynchronizedDictionary<StockSharp.BusinessEntities.Security,StockSharp.Algo.Testing.MarketDepthGenerator>} 
var value = context.Value.Trader.GetType().GetField("#=qHvivsYU2tNspR3_h$VF0nqA$yDC50HFX_RHAxeUi6UE=", BindingFlags.Instance | BindingFlags.NonPublic).GetValue(context.Value.Trader);
value.GetType().GetMethod("Clear").Invoke(value, null);

context.Value.Trader.Dispose();
context.Value.Trader = null;

То занимая память приложения уменьшится примерно вдвое.

Коллеги, можете посмотреть, что с этим можно сделать?

alexeev.evg, из вашего кода несовсем ясно, сколько экземпляров EmulationTrader используется? констру...

2012-07-02T11:55:12Z

alexeev.evg,

из вашего кода несовсем ясно, сколько экземпляров EmulationTrader используется?

конструкция <code> using (var temp = new MyClass()) { temp.StartTest(date1, date2); } </code>

как мне кажется стартует EmulationTrader и сразу его останавливает в Dispose не дожидаясь пока он дотестирует.

Вы можете привести полный код примера чтобы я мог воспроизвести утечку?

Аналогичная ситуация. Если запускать трейдер много раз, возникало исключение OutOfMemory. С каждой н...

2012-06-30T14:25:26Z

Аналогичная ситуация. Если запускать трейдер много раз, возникало исключение OutOfMemory. С каждой новой итерацией оказывалось съеденным все больше памяти.


static void Main(string[] args)
{
	for (int i = 1; i <= 100; i ++)
	{
		using (var temp = new MyClass())
		{
			temp.StartTest(date1, date2);
		}
		GC.Collect();
		GC.WaitForFullGCComplete();
		//с каждой новой итерацией занятая память в этой точке растет
	}
	Console.ReadLine();
}

public class MyClass : IDisposable
{
	private Security _security1;
	private Security _security2;
	private Portfolio _portfolio;
	private MarketDepth _depth1;
	private MarketDepth _depth2;
	private BaseTrader _trader;

	public MyClass()
	{
	}

	public void StartTest(DateTime date1, DateTime date2)
	{
		//запуск трейдера
	}

	public void Dispose()
	{
		if (_trader != null)
		_	trader.Dispose();
		_security1 = null;
		_security2 = null;
		_portfolio = null;
		_depth1 = null;
		_depth2 = null;
		_trader = null;
	}
}

После танцев с бубном удалось выяснить, что проблема в буфере экземпляра EmulationTrader - приватное поле типа Ecng.Collections.BlockingQueue<>. Стало ясно, что объекты данной коллекции остаются в памяти, сборщик мусора почему-то их не трогает. При запуске каждого нового экземпляра EmulationTrader объем занимаемой памяти растет. Уменьшение свойства BufferSize приводит к уменьшению размера прироста памяти, но проблема остается. Решил проблему очисткой буфера в методе Dispose() MyClass (прирост занятой памяти или вообще прекратился или сильно замедлился):

var value= _trader.GetType().GetField("#=qtcoS5HXJh4KLzrXhXg6zgg==", BindingFlags.Instance | BindingFlags.NonPublic).GetValue(_trader); value.GetType().GetMethod("Clear").Invoke(value, null); _trader.Dispose();

Думаю, если очищать буфер в методе Dispose класса EmulationTrader, хуже не станет.

Alexander Mukhanchikov: paveld: У меня на 4.1 в примере SampleHistoryTesting утечка памяти тоже возн...

2012-05-25T19:39:52Z

Alexander Mukhanchikov:

paveld: У меня на 4.1 в примере SampleHistoryTesting утечка памяти тоже возникает. Может нужно какие-нть данные представить по использованию памяти?

Конечно нужно. Какой интервал тестирования, сколько памяти потребляло в 4.0, сколько потребляет в 4.1. Какая конкретно версия с codeplex.

Интервал тестирования не менял (стоит с 01.06.2009 по 01.09.2009) На 4.0.0.23 в пике 2174012 Кб На 4.1 (с codeplex stocksharp-17261.zip) в пике 2117100 Кб

paveld: У меня на 4.1 в примере SampleHistoryTesting утечка памяти тоже возникает. Может нужно какие...

2012-05-24T23:28:57Z

paveld: У меня на 4.1 в примере SampleHistoryTesting утечка памяти тоже возникает. Может нужно какие-нть данные представить по использованию памяти?

Конечно нужно. Какой интервал тестирования, сколько памяти потребляло в 4.0, сколько потребляет в 4.1. Какая конкретно версия с codeplex.

У меня на 4.1 в примере SampleHistoryTesting утечка памяти тоже возникает. Может нужно какие-нть дан...

2012-05-24T21:30:27Z

У меня на 4.1 в примере SampleHistoryTesting утечка памяти тоже возникает. Может нужно какие-нть данные представить по использованию памяти?

art.tsgnet: Mikhail Sukhov: zorran: Обнаружил утечки памяти при тестировании на исторических данных,...

2012-05-22T07:31:28Z

art.tsgnet:

Mikhail Sukhov:

zorran: Обнаружил утечки памяти при тестировании на исторических данных, при многократном повторении.

Спасибо посмотрим. Это какая версия S#? В 4.1 у нас новый тестер. Лучше его использовать. Называется LowMemEmulationTrader в 4.1 не нашел такого

Уже переименован в EmulationTrader

Mikhail Sukhov: zorran: Обнаружил утечки памяти при тестировании на исторических данных, при многокр...

2012-05-22T04:47:36Z

Mikhail Sukhov:

zorran: Обнаружил утечки памяти при тестировании на исторических данных, при многократном повторении.

Спасибо посмотрим. Это какая версия S#? В 4.1 у нас новый тестер. Лучше его использовать. Называется LowMemEmulationTrader в 4.1 не нашел такого

gaifredo: архив данных от 4.0 данные менялись, используйте новые

2012-04-18T12:56:55Z

gaifredo: архив данных от 4.0

данные менялись, используйте новые

архив данных от 4.0 при попытке запустить гидру, получаю ошибку, о которой отписался в соответствующ...

2012-04-18T12:43:01Z

архив данных от 4.0 при попытке запустить гидру, получаю ошибку, о которой отписался в соответствующем разделе

gaifredo: Скачал новую версию, и запустил в ней SampleHistoryTesting. В ответ тишина, т.е. кривая эк...

2012-04-17T13:13:56Z

gaifredo: Скачал новую версию, и запустил в ней SampleHistoryTesting. В ответ тишина, т.е. кривая эквилити не обновляется. Сообщение о том, что расчет закончен не отображается. На предыдущих версиях данный пример работал

4.1? Архив с данными тоже был скачал новый?