Формат данных для Гидры

А конвертировать конвертером то не пробовали? Можно же сделать бекап и конвертнуть, а потом в гидре ...

2013-04-30T21:08:34Z

anothar

А конвертировать конвертером то не пробовали? Можно же сделать бекап и конвертнуть, а потом в гидре посмотреть -нормально ли отражаются данные.

Вы бы могли, пожалуйста, еще раз выложить HydraCoverter, ссылка на dropbox уже не работает... Или может кто-то другой поделится.

В версии S# 4.0 формат данных был 1.XXX. В версии S# 4.1 было два формата, 2.0 и 3.0. Ниже два скрип...

2012-04-03T12:31:46Z

В версии S# 4.0 формат данных был 1.XXX. В версии S# 4.1 было два формата, 2.0 и 3.0. Ниже два скрипта. Первый переводит 1.XXX в 2.0. Второй переводит из 2.0 в 3.0. Кто использует Гидру 4.0, нужно использовать оба скрипта, и прогнать их друг за другом. Кто уже использовал 4.1, то прогнать только второй. Пути, естественно, заменить в коде.

Конвертация в формат 2.0:

Code

foreach (var secDir in Directory.EnumerateDirectories(@"d:\SS\D\HydraRi3"))
{
	if (Directory.EnumerateFiles(secDir).Any())
		continue;
				
	var dateDirs = Directory.GetDirectories(secDir);

	var prefixes = new[] { "trades", "quotes" };
	foreach (var prefix in prefixes)
	{
				
		var metaInfo = new Dictionary<DateTime, IDictionary<string, object>>();



		foreach (var dir in dateDirs)
		{
			var date = Path.GetFileName(dir).ToDateTime("yyyy_MM_dd");

			var files = Directory.GetFiles(dir);


			var meta = files.FirstOrDefault(f => Path.GetFileName(f) == prefix+".xml");
			var data = files.FirstOrDefault(f => Path.GetFileName(f) == prefix+".bin");
			if (null != meta)
			{
				CultureInfo.InvariantCulture.DoInCulture(() => metaInfo.Add(date, new XmlSerializer<IDictionary<string, object>>().Deserialize(meta)));

				File.Move(data, Path.Combine(secDir, prefix + "_" + Path.GetFileName(dir) + ".bin"));
			}
		}
		CultureInfo.InvariantCulture.DoInCulture(() => new XmlSerializer<IDictionary<DateTime, IDictionary<string, object>>>().Serialize(metaInfo, Path.Combine(secDir, prefix+".xml")));
	}

	foreach (var dir in dateDirs)
	{
		Directory.Delete(dir, true);
	}

	Console.WriteLine(Path.GetFileName(secDir));
}

Конвертация в формат 3.0:

Code

var input = @"d:\SS\D\HydraRi3";
var output = @"d:\SS\D\HydraRi5.1";

foreach (var secDir in Directory.EnumerateDirectories(input))
{
	var prefixes = new[] { "quotes", "trades", "orderLog" };
	var secId = Path.GetFileName(secDir);
	Directory.CreateDirectory(Path.Combine(output,secId));
	foreach (var prefix in prefixes)
	{
		var metafile = secDir + "\\" + prefix + ".xml";
		if (File.Exists(metafile))
		{
			IDictionary<DateTime, IDictionary<string, object>> data=null; 
			CultureInfo.InvariantCulture.DoInCulture(() => data = new XmlSerializer<IDictionary<DateTime, IDictionary<string, object>>>().Deserialize(metafile));
			//Directory.EnumerateFiles(secDir);
			foreach (var date in data.Keys)
			{
				var fileName = "{0}_{1}.bin".Put(prefix, date.ToString("yyyy_MM_dd"));
				fileName = Path.Combine(secDir,fileName);
				if (File.Exists(fileName))
				{
					var outSecDir = Path.Combine(output, secId, date.ToString("yyyy_MM_dd"));
					Directory.CreateDirectory(outSecDir);

					var outFile = Path.Combine(outSecDir, prefix + ".bin");
					using (var s = new FileStream(outFile, FileMode.Create, FileAccess.Write))
					{
						var dict = data[date];

						s.WriteByte(3); s.WriteByte(0);
						s.Write((int)dict["count"]);
						s.Write((decimal)dict["minStepSize"]);
						s.Write((decimal)0);
						s.Write(new DateTime(dict["firstTime"].To<long>()));
						s.Write(new DateTime(dict["prevTime"].To<long>()));

						if (prefix.Equals("trades"))
						{
							s.Write((long)dict["firstId"]);
							s.Write((long)dict["prevId"]);
							s.Write((decimal)dict["firstPrice"]);
							s.Write((decimal)dict["prevPrice"]); 
						}
						else if (prefix.Equals("quotes"))
						{
							s.Write((decimal)dict["firstPrice"]);
							s.Write((decimal)dict["prevPrice"]); 									
						}
						else if (prefix.Equals("orderLog"))
						{
							s.Write((long)dict["firstOrderId"]);
							s.Write((long)dict["firstTradeId"]);
							s.Write((long)dict["prevOrderId"]);
							s.Write((long)dict["prevTradeId"]);
							s.Write((decimal)dict["firstPrice"]);
							s.Write((decimal)dict["prevPrice"]);
						}

						s.WriteRaw(File.ReadAllBytes(fileName));
					}
				}
			}
		}
	}
}

А конвертировать конвертером то не пробовали? Можно же сделать бекап и конвертнуть, а потом в гидре ...

2012-07-14T09:45:54Z

не могу конвертнуть! вот какой это формат? ниже в атаче прикрепил файл стакана UPDATE файл не прикре...

2012-07-13T12:26:32Z

не могу конвертнуть! вот какой это формат? ниже в атаче прикрепил файл стакана

UPDATE файл не прикрепляется)))

По-моему проще сконвертировать и не мучаться со старыми версиями.

2012-07-13T10:41:45Z

По-моему проще сконвертировать и не мучаться со старыми версиями.

а преемственность между стаканами не сохранилась? т.е. могу ли я тестировать на версии 1 формата ста...

2012-07-13T10:37:05Z

а преемственность между стаканами не сохранилась? т.е. могу ли я тестировать на версии 1 формата стаканов, на новой версии библиотеки 4.1.2?

Конвертер из 2.0 в 3.0 с исходниками. HydraConverter

2012-04-19T14:46:36Z

Конвертер из 2.0 в 3.0 с исходниками.
HydraConverter

Кому нужен конвертер с гуи-обращайтесь, куда-нить выложу. Можно прям тут к сообщению приложить :)

2012-04-19T05:33:53Z

anothar

Кому нужен конвертер с гуи-обращайтесь, куда-нить выложу.

Можно прям тут к сообщению приложить :)

Кому нужен конвертер с гуи-обращайтесь, куда-нить выложу.

2012-04-19T02:32:38Z

Кому нужен конвертер с гуи-обращайтесь, куда-нить выложу.

Новый формат в действии: http://gyazo.com/af593fd747d9e5b81a33db1703b06895.png Слева (data2) старый ...

2012-04-05T13:43:04Z

Новый формат в действии:

Слева (data2) старый формат. Справа (data) - новый формат. Тики по РТС + ММВБ. С начала по текущий день.