Нейронные сети и генетические алгоритмы

http://narod.ru/disk/37303862001/meta-heuristics.pdf.html Для заинтересованных. Полезное чтение про ...

2014-02-18T07:40:06Z

http://narod.ru/disk/373...eta-heuristics.pdf.html

Для заинтересованных.
Полезное чтение про генетические алгоритмы от простого к сложному.

Превозносят там ГА. Про НС пишут, что не фонтан, но использовать можно. ТА - лженаука, использующая ...

2014-02-17T09:44:06Z

karellin

Превозносят там ГА. Про НС пишут, что не фонтан, но использовать можно. ТА - лженаука, использующая некоторые научные подходы в их примитивном виде. Считаю, что себя он уже исчерпал.

В данном случае не моделируются физические закономерности, что бы был оправдан строго научный метод, на самом деле это просто количественные методы подогнанные под анализ социальных явлений. Большинство индикаторов вполне вменяемые статистики и то что они так доступны профану(вроде меня) и ими пользуются кто попало никак не влияет на их «научность».
Применять сложные методы вроде нейросетей и геноптимизации, разные ИИ ответвления и тп, для анализа действий толпы которая реагирует опираясь на эти же методы рекурсивно, само по себе уже никак не может быть наукой. Это сродни боевым искусствам. Есть мастера кунг-фу а есть любители. Кунг-фу работает? Однозначно! Точная ли это наука? Очевидно нет.
Вот теперь представьте что вместо битья по людям, отдельные действия, это разного рода сложные и простые математические манипуляции, которые слабообоснованны, а выполняются с логикой такого же типа как биологическая нейронная сеть адаптируется к конкурентной среде, перебором, проверкой случайных и не совсем гипотез, постоянно усложняясь и мутируя.
Вполне возможно придётся пересмотреть парадигму что считать наукой а что нет.
Грань между ТА, статистикой и серьёзным датамайнингом довольно размытая. Одно можно сказать, много заработать на рынке очень не просто, как навязывают ДЦ.

Превозносят там ГА. Про НС пишут, что не фонтан, но использовать можно. ТА - лженаука, использующая ...

2014-02-17T09:03:45Z

«Энциклопедия торговых стратегий» Кац, Маккормик, очень авторитетный трейдерский источник. Я бы нег...

2014-02-17T07:23:19Z

karellin

ashot

«Энциклопедия торговых стратегий» Кац, Маккормик, очень авторитетный трейдерский источник. Я бы негативно о сказанном в этой книжке не отзывался, без весомейщих аргументов.
Каждый может вот так вот безосновательно очернить.

Я эту книгу в свое время на принтере распечатал и перечитывал раз пять. Еще раз повторю, не касаясь всего содержания книги: в части НС авторы некомпетентны. Они обучают сеть прогнозированию цен, а также точек разворота на основе приращений цен в прошлом. При этом в качестве параметров НС берут топологию сети. Вполне ожидаемо получают отрицательный результат (иногда даже на обучающей выборке), и на основании этого делают вывод о непригодности НС. Если я пропустил что-то, поправьте меня.

Возможно я подзабыл что то, но по-моему авторы наоборот там превозносят НС и ГА как единственно верные пути. Там у них всё плохо кроме этих методов.
«Топология в качестве параметров» не припоминаю. То что приращения используют это не совсем так уж плохо на общем фоне, большинство логарифмированный прайс подают на вход, приращения это шаг вперёд, хотя и так и так подгонка.
Я знаю людей которые из НС вытянули грааль, но те парни настолько закрыты для общения и даже намёков о том что они делают, у меня новичка так точно нет шансов. Знаю только что там всё архисложно, там не велс, не метатрейдер и даже не S#, а С++ и MatLab с какими то фичами которым расшифровывают и интерпретируют данные поступающие с калайдеров, оказалось что это одна и та же методология, я как услышал так и подафигел, там с ними работает дядя который раньше в ЦЕРНе перемалывал терабайты в день ища новый частицы в квантовом хаосе.
Говорили что обычный ТА с индикаторами и тестированием, это гарантированно слив спреда с комиссией, нет шансов.

«Энциклопедия торговых стратегий» Кац, Маккормик, очень авторитетный трейдерский источник. Я бы нег...

2014-02-16T15:34:28Z

ashot

Например: в известных книгах типа Энциклопедии торговых стратегий Кац и МакКормик, Нейронные сети и ...

2014-02-16T06:29:47Z

karellin

Например: в известных книгах типа Энциклопедии торговых стратегий Кац и МакКормик, Нейронные сети и финансовые рынки Бэстенса, Ван Дер Берга, Вуда написана всякая лажа. Авторы либо совершенно не разбираются в НС (вряд ли), либо успешно притворяются тупыми. Выводы о том, что НС применима (не применима) для решения задач, решать которые она не предназначена, на уровне книжки "Что такое хорошо, и что такое плохо". Для дилетантов писалось за гонорар.

Если честно, ни разу не встречал практического использования ГА для задач с числом оптимизируемых па...

2014-02-15T09:13:25Z

Quote:

Если честно, ни разу не встречал практического использования ГА для задач с числом оптимизируемых параметров менее 10, может просто не интересовался такими задачами. Например, для обучения НС число оптимизируемых весовых коэффициентов часто бывает более 100.

Мы видимо говорим о разных параметрах)

Quote:

По-видимому дискуссию пора заканчивать. Вы действительно для себя уже сделали все выводы, имеете собственный взгляд на проблему и не нуждаетесь в том, чтобы его кто-то опроверг. Спасибо за полезную информацию, кое-что заставило задуматься.

Пока писал "Исследователя" разобрался во многих тонкостях оптимизации. И выводы, конечно, сделал.
Если у вас появятся интересные идеи для практической реализации, то я всегда с удовольствием готов их обсудить, а может даже написать практические примеры.

И вам спасибо за интересные мысли про ГА.

Вы описали алгоритм, наполовину обратный ГА. Вместо популяции лучших решений в нем создается своеобр...

2014-02-15T07:47:48Z

Вы описали алгоритм, наполовину обратный ГА. Вместо популяции лучших решений в нем создается своеобразная популяция худших (в виде областей, исключенных из поиска), хотя в больших размерностях это работать не будет. Но для вашей задачи это видимо лучшее решение из возможных.
Если честно, ни разу не встречал практического использования ГА для задач с числом оптимизируемых параметров менее 10, может просто не интересовался такими задачами. Например, для обучения НС число оптимизируемых весовых коэффициентов часто бывает более 100.

Bond

Quote:

то что в вашем алгоритме нет таких проблем - ваше недоказанное ничем мнение, как и мое про большие размерности

Я никому ничего не доказываю. И никого ни в чем не убеждаю.

Вы предлагаете оценивать по монте-карло области наименее пригодных решений и отбрасываете эти област...

2014-02-14T20:32:54Z

Quote:

Вы предлагаете оценивать по монте-карло области наименее пригодных решений и отбрасываете эти области целиком, уменьшая (обрезая) пространство, в котором производится поиск.

На каждой итерации уменьшается область выборки. Выбирается заданное число худших параметров и согласно их количеству общий объем выборки делится на множество микрообластей, которые вырезаются из пространства как самые неудачные. После каждой итерации все результаты за все время исследования сортируются и выбираются самые неудачные. Все результаты сохраняются и анализируются до конца оптимизации. Задача алгоритма не идти к максимуму, а не упустить из вида хорошие области пространства. А все хорошие параметры можно потом дополнительно исследовать. Главное, что мы знаем, где их искать.

Quote:

При большой размерности пространства достаточно велик (в случае размерности 30 - просто ОГРОМЕН) шанс пропустить в области плохих решений локальный или глобальный максимум.

Quote:

9 признаков - не та размерность, в которой могут существенно проявиться различия ГА и монте-карло.

Вы теоретик или практик? Просто я не знаю ни один полноценный тестер, который сможет хотя бы 5 параметров нормально прооптимизировать. 9 параметров это и без того очень много! Исходя из своего опыта могу сказать, что нужно исследовать не менее 20% от общего пространства, чтобы получить более или менее адекватный результат. Обычные компы такой объем никогда не высчитают.
Если будете использовать много параметров, то получите многоэкстремальное рваное пространство со всеми вытекающими проблемами. Если вырезать микрообласти по монте-карло, которые будут помещаться между экстремумами, то здесь нет никакой проблемы. Хотите точнее - уменьшайте области, увеличивайте время тестирования. Хотите быстрее - увеличивайте области, увеличивайте вероятность пропустить экстремум. ГА тоже не может из ниоткуда получать данные о пространстве, ей также нужно его тестировать и "мутировать" в сторону экстремумов. Возможно в многоэкстремальном пространстве ГА будет вести себя корректнее. Я не знаю. Нужно тестировать. Вот коллега сейчас пишет, что много лет занимается тестированием и сейчас перешел на метод отжига. Хз, каждому свое. Не забывайте, что очень много зависит от способа формирования пространства стратегий и архитектуры стратегий и тестировщика.

В чем суть вашего алгоритма, я возможно и не понял. Поправьте меня, если я не прав. Вы предлагаете о...

2014-02-14T18:59:20Z

В чем суть вашего алгоритма, я возможно и не понял. Поправьте меня, если я не прав. Вы предлагаете оценивать по монте-карло области наименее пригодных решений и отбрасываете эти области целиком, уменьшая (обрезая) пространство, в котором производится поиск.
Я же говорю вам о следующем. При большой размерности пространства достаточно велик (в случае размерности 30 - просто ОГРОМЕН) шанс пропустить в области плохих решений локальный или глобальный максимум.
Генетический алгоритм я называю так, поскольку это общераспространенное название данного класса алгоритмов. Естественно, алгоритм не имеет почти ничего общего с реальной биологией. Я прекрасно представляю себе, как он работает, иначе просто не стал бы вступать в его обсуждение.
Мне интересно другое. Поняли ли вы, что я имел в виду в последней части своего ответа, говоря о значительном повышении вероятности для ГА найти правильный ответ при решении задачи, состоящей из двух слабо взаимосвязанных частей, каждую из которых характеризует свой набор признаков. Если нет, то судя по отсутствию вопросов вы все уже для себя решили, и это вам не нужно. Но если вы уже определились со своим отношением к ГА и его месту среди прочей стохастики - так и напишите. По крайней мере, это сэкономит мне время. А то получается, что я пытаюсь ответить на вопрос человеку, который не хочет меня слышать, поскольку убежден в правильности другого ответа.
9 признаков - не та размерность, в которой могут существенно проявиться различия ГА и монте-карло.

Bond

Quote:

существует класс задач ГА - генетическое программирование (задача переменной размерности решаемая путем эволюции дерева выражения). поделитесь, пожалуйста, как его можно реализовать с помощью монте карло.

Что?[huh]

Приз за лучший ответ.[laugh] Можете узнать что это, погуглив "генетическое программирование". Вам будет интересно.

Спасибо.

Если бы вы спросили допустим Марковица о том тестере стратегий, который написали, то думаю, что услы...

2014-02-14T18:48:33Z

Quote:

Если бы вы спросили допустим Марковица о том тестере стратегий, который написали, то думаю, что услышали бы много интересного о математической обоснованности своих методов.

Не знаю кто такой Марковиц, да это и не важно. Меня за 6 лет обучения в техническом университете научили самостоятельно решать сложные задачи. От всех этих заумных книжек больше вреда, чем пользы. Если у человека есть ясное мышление, то он и без них разберется. А если трейдер торгует по астрологическим прогнозам, то ему ничего не поможет.

Quote:

то что в вашем алгоритме нет таких проблем - ваше недоказанное ничем мнение, как и мое про большие размерности

Я никому ничего не доказываю. И никого ни в чем не убеждаю.

Quote:

Что?[huh]

Quote:

А если алгоритм промахнется пару раз?

Вот главный вопрос! Остальное все риторика. Вот именно на этом моменте и была построена основная логика моего алгоритма.
И почему вы его все время сравниваете с Монте-Карло? Мой алгоритм правильнее назвать "Методом уменьшения итерационной решетки". Да, и совершенно не важно как он зовется. Вы думаете что "Генетический алгоритм" имеет какое-то отношение к эволюции и генетике? Или "Метод имитации отжига" связан с термодинамикой или кристаллографией? Или "Рой частиц" с муравьями или пчелами? Это всего лишь ассоциации для более простого понимания, не более. Одна природа алгоритмов, никто из них не может быть лучше или хуже!
Не правильно спрашивать: "Что лучше Генетика или Монте-Карло?"
Правильно спрашивать: "Как определить область выборки? Как задать критерий останова? Как не упереться в локальный максимум?"

Мне кажется, что вы не поняли в чем суть алгоритма.

П.С.
"Как селедку не называй, шоколадным тортом она от этого не станет!" [laugh]

Ничего особенного в этом методе нет. Вы приходите в магазин и видите, что на прилавке лежит селедка...

2014-02-14T14:55:26Z

Bond

Ничего особенного в этом методе нет.
Вы приходите в магазин и видите, что на прилавке лежит селедка в масле(Монте-Карло), в майонезе(Генетические алгоритмы), селедка мелко порезанная с укропом(Рой частиц) и здоровенная банка цельной слабосоленой сельди(Метод перебора). Вы считаете, что с майонезом сельдь самая вкусная, а мне нравится просто в масле. Но не важно, что мы там думаем все равно это обычная селедка.
И здесь тоже самое, в основе - нелинейная стохастическая оптимизация. Кроме Полного перебора.
Те же проблемы с локальными экстремумами. Кстати, в моем алгоритме таких проблем нет) И прочее, прочее, прочее...
И с чего вы решили, что он удобен для больших размерностей? Почитайте, к примеру, комментарии в конце статьи на Википедии.

Я не маркетолог, мне трудно судить о достоинствах и недостатках селедок различного приготовления. Если бы вы спросили допустим Марковица о том тестере стратегий, который написали, то думаю, что услышали бы много интересного о математической обоснованности своих методов. То же самое и об отзывах ученых о генетическом алгоритме. особенно порадовало мнение о том, что недостатком генетического алгоритма является неспособность спроектировать самолет сразу целиком. типа есть алгоритмы для этого, а вот ГА ну никак не может.
Чтобы не быть голословным:
http://technomag.bmstu.ru/doc/56533.html
взял про большие размерности из логики. то что в вашем алгоритме нет таких проблем - ваше недоказанное ничем мнение, как и мое про большие размерности.
существует класс задач ГА - генетическое программирование (задача переменной размерности решаемая путем эволюции дерева выражения). поделитесь, пожалуйста, как его можно реализовать с помощью монте карло.

Небольшое размышление на тему:
Например, будем классифицировать элементы множества по половинкам - больше или меньше ноля. В одномерном пространстве будет всего 2 подмножества, в 2-хмерном - 4, в 3-мерном - 8, в N-мерном 2^N. Допустим подбираем 30 параметров. Количество подмножеств - более 1*10^9 подмножеств, которые можно разделить, и это при разделении по каждой оси пространства только на 2. Какова же вероятность попадания случайного значения из монте-карло внутрь гиперкуба диаметром 0,1 от возможного? 1*10^30 по-видимому. А если алгоритм промахнется пару раз?
Генетический алгоритм тоже неидеален, но он накапливает информацию о лучших решениях в случае если решение задачи состоит из относительно независимых частей. Допустим, решение состоит из двух частей, одинаково влияющих на результат. Тогда генетический алгоритм будет решать не задачу попадания значения в 1*10^30 от общего пространства признаков, а лишь 2*10^15, поскольку размерность каждой из частей решения только 15. Если независимых частей еще больше, то выигрыш становится еще существеннее. Примерно так.

Интересный вопрос. Полагаю, что ГА - это частный случай М-К для решения задач большой размерности, к...

2014-02-14T14:21:30Z

karellin

Интересный вопрос. Полагаю, что ГА - это частный случай М-К для решения задач большой размерности, когда оптимизация одной части переменных слабо влияет на оптимизацию другой части (других частей), в связи с чем поиск идет параллельно по нескольким направлениям, после чего они объединяются в одном решении.
Как исследовать пространство на кластеризацию... Слишком общий вопрос. Про кластеризацию с помощью ГА читал толковые статьи, есть в инете. Но все в конечном итоге зависит от задачи, которую преследует кластеризация.

ссылка на Википедию

Ничего особенного в этом методе нет.
Вы приходите в магазин и видите, что на прилавке лежит селедка в масле(Монте-Карло), в майонезе(Генетические алгоритмы), селедка мелко порезанная с укропом(Рой частиц) и здоровенная банка цельной слабосоленой сельди(Метод перебора). Вы считаете, что с майонезом сельдь самая вкусная, а мне нравится просто в масле. Но не важно, что мы там думаем все равно это обычная селедка.
И здесь тоже самое, в основе - нелинейная стохастическая оптимизация. Кроме Полного перебора.
Те же проблемы с локальными экстремумами. Кстати, в моем алгоритме таких проблем нет) И прочее, прочее, прочее...
И с чего вы решили, что он удобен для больших размерностей? Почитайте, к примеру, комментарии в конце статьи на Википедии.

Интересный вопрос. Полагаю, что ГА - это частный случай М-К для решения задач большой размерности, к...

2014-02-14T12:45:47Z

Вот мне интересно) Как вы определяете, что Генетика быстрее Монте-Карло? Почему она "быстрее"? Чем в...

2014-02-14T11:09:50Z

Вот мне интересно)
Как вы определяете, что Генетика быстрее Монте-Карло?
Почему она "быстрее"?
Чем вообще отличается Монте-Карло от Генетики?
И как вы планируете искать в многоэкстремальном пространстве лучшие стратегии с помощью Генетики?
Или, к примеру, как исследовать с помощью Генетики пространство на кластеризацию?
И т.д. и т.п.

Здравствуйте. Добрый день! Я смотрю до трейдеров, наконец-то, стало доходить, что необходимо абсолют...

2014-02-14T10:29:09Z

Здравствуйте.

Bond

Добрый день!
Я смотрю до трейдеров, наконец-то, стало доходить, что необходимо абсолютно ясное пониманиемание применяемых алгоритмов тестирования и оптимизации.

То же самое я могу сказать, глядя на Вас. Ваши статьи по анализу, тестированию и оптимизации впечатлили прагматичным и системным подходом, а также четкими знаниями предмета. Спасибо за них.
Вы еще не пробовали генетику в своем оптимизаторе? Возможно она будет значительно лучше Монте-Карло по вычислительным затратам, хотя ее сложнее реализовать. В целом, все опять таки упирается с прагматичность - если Монте-Карло работает 2 сек., а генетика 1 сек., то нечего тут и огород городить. Тем более, что поиск идет всех минимумов/максимумов, а не только глобального.
Генетика в целом нужна для реально больших задач. Например, для автоматизированной разработки самих стратегий.

Добрый день! Я смотрю до трейдеров, наконец-то, стало доходить, что необходимо абсолютно ясное поним...

2014-02-14T08:24:21Z

Добрый день!
Я смотрю до трейдеров, наконец-то, стало доходить, что необходимо абсолютно ясное пониманиемание применяемых алгоритмов тестирования и оптимизации.
У каждого подхода есть свои плюсы и недостатки. И без понимания этих нюансов можно получить "бредятину" в итоге.
По поводу "адекватных методов". Все эффективные алгоритмы уже давно известны и подробно изучены. Мне кажется все дело в обычной лени) Люди не любят думать, не хотят ни во что вникать и разбираться.
Куда проще скачать какую-нибудь библиотеку, подать на вход какую-нибудь ерунду, получить такую же ерунду на выходе, придать этому смысл и успешно слить бабло на бирже. А потом с уверенностью говорить, что все эти алгоритмы полная хрень)
"Техника в руках идиота - груда металлолома" [laugh]

То что нужно понять как работает та или иная используемая система это без спорно, иначе это случайна...

2014-02-14T07:16:03Z

Андрей Гунинский

То что нужно понять как работает та или иная используемая система это без спорно, иначе это случайная игра. Перебором параметров тут успеха не достичь. На мой взгляд такие «сложные» методы больше как маркетинговый приём пользы приносят чем реально повышают эффективность прогнозирования. Кто знает как устроенны нейронные сети понимает что нет там ничего сверх естественного, а в контексте рыночных таймсерий на первый план выходит предобработка ряда(дов), то есть удаление шума и сжатие входных векторов, а когда это сделано в должной мере эффективно то дальнейшее преобразование в сигнал тривиально и не требует для этого сложных иерархических методов. В общем если данные хорошо отфильтрованы то сеть не нужна а если плохо отфильтрованны то она бесполезна, я конечно утрирую но это близко к реальности.

Многое прочитал про датамайнинг, НС, генетику. Размышлял, крутил в матлабе, и пришел к таким выводам.

1. (очевидный) Для успешного применения НС и генетики необходимо ПОЛНОЕ и ЧЕТКОЕ знание алгоритмов, применяемых при анализе. Например: в известных книгах типа Энциклопедии торговых стратегий Кац и МакКормик, Нейронные сети и финансовые рынки Бэстенса, Ван Дер Берга, Вуда написана всякая лажа. Авторы либо совершенно не разбираются в НС (вряд ли), либо успешно притворяются тупыми. Выводы о том, что НС применима (не применима) для решения задач, решать которые она не предназначена, на уровне книжки "Что такое хорошо, и что такое плохо". Для дилетантов писалось за гонорар. Про применение карт Кохонена вообще смешно читать - как эту шнягу использовать, когда это проекция многомерного пространства на двухмерное с огромной потерей информации. Три - четыре измерения еще можно как-то покрутить, а больше? а стабильность результатов? а как вектора по длине сравнивать, если они нормируются? И самое главное, в СОТ близкое расположение точек НЕ ЗНАЧИТ, что соответствующие им вектора также расположены рядом. Еще видел библиотеку для вейвлет-анализа по Хаару со стоимостью сколько-то там сотен долларов и рекламой типа основное достоинство Хаара в том, что он не заглядывает в будущее и поэтому разложение правильное (по фэншую по ходу). И ничего, что код по Хаару в Вики лежит и занимает пять строчек в С#, а набор коэффициентов при преобразовании в точности соответствует набору N скользящих средних с длиной периодов 2^N. Так можно до бесконечности продолжать. Из толкового именно по рынку нашел совсем немного. Вывод один - нужно учиться, читать, анализировать.
2. Необходимо НЕСТАНДАРТНОЕ применение методов НС и ГА. Например, как-то я узнал, что методу главных компонент соответствует модель НС с узким горлом, причем в отличие от МГК опорные вектора в НС нелинейные. Т.о. задача сжатия входного вектора может эффективно решаться с помощью НС. Также, читал о том, что для построения фитнес - функции можно использовать подходы генетического программирования (мне самому никогда бы не пришло в голову такое, не согласен, но в качестве примера нестандартного подхода сгодится). Обучение НС с помощью ГА вообще максимально управляемое. Можно включить в фитнес-функцию практически любые требования к структуре и свойствам НС, а не только минимизацию ошибки распознавания. Т.е. нужно смотреть на эти методы шире, глобальнее, но при этом не пытаться получить от них то, чего они не могут.
Классические методы НС и ГА обычно не дают впечатляющих результатов, возможно, из-за этого они и являются классическими. Никто не хочет палить продвинутые технологии анализа, пока они работают. Значит, необходимо проявить фантазию и самому придумать адекватные методы, которыми уже никто и никогда не заставит поделиться с другими. Ну и конечно дело еще и в том, что математики, которые в основном и разрабатывают методы анализа, народ придирчивый и скептичный. Пока нет строгого математического доказательства работы метода, автор, его предложивший, будет в их сообществе чем-то типа мишени для дартс. Ну не любят люди, когда каждый прохожий в них дротики втыкает. Частью поэтому и молчат о своих разработках.

Прошу прощение, а причем тут нейронные сети и ген-оптимизация, к пользовательским алгоритмам тестиро...

2013-11-09T23:38:43Z

Евгений Гович

Прошу прощение, а причем тут нейронные сети и ген-оптимизация, к пользовательским алгоритмам тестирования? Это свободное ассоцирование или есть взаимосвязь?

Есть конечно, взаимосвязь вообще есть всего со всем, вопрос только в силе и структуре.

Прошу прощение, а причем тут нейронные сети и ген-оптимизация, к пользовательским алгоритмам тестиро...

2013-09-25T10:42:50Z