Многослойный персептрон! Грааль где то рядом!

Многослойный персептрон! Грааль где то рядом!
Atom
1/22/2014
Иван З.


Начало здесь: http://www.stocksharp.co...--Vpiervyie-na-arienie/

Первая часть: Для тех, кто верит в нейросети
В вышеуказанном посте я описал работу персептрона, как он учится и торгует после обучения. Проблема в том, что я начитавшись постов в интернете сделал как все. То есть, собрал сеть, обучил, написал стратегию под сеть, и давай ее тестировать! Обучу на одних входных параметрах, тестирую стратеги, обучу на других, тестирую. И тут меня осенило! Когда сеть обучается идет подсчет ошибки, а что если вести параллельный подсчет еще и ошибки работы сети на данных не участвующих в обучении? После реализации чего, прогнав данные в которые я верил, окончательно разочаровался в персептроне. Но все по порядку.

Вторая часть: Что я поправил еще до этой идеи.
Убрал позорный график и вставил родной от S# .
Параметры персептрона теперь передаются в StatisticParameterPanel от S# .
Обучается параллельно 5 нейросетей с одинаковыми параметрами, но с разными первоначальными весами.
Сохраняется одна сеть на выбор пользователя, один раз при остановке обучения (раньше сохранялась при обновлении минимума).
Еще по мелочи, кнопки убрал, перегруппировал и тп.

Третья часть: Что я поправил после этой идеи.
Добавил еще график для вывода контрольной ошибки.
Ошибка считается теперь не среднеквадратичная, а абсолютная. Так легче для понимания графика. Например, на рисунке видно, что образов для обучения 804 это значит, что сети предоставлено 804 единиц, минус единиц, и нулей. Если сеть на каждый образ выдаст ноль, то суммарная ошибка будет равна 804. Что мы и видим на нижнем графике рисунка, вначале обучения ошибка сети равна 804.
Контрольная ошибка считается также, как и ошибка обучения, но на следующий день после последнего дня обучающей последовательности. И НИКАКИМ ОБРАЗОМ НЕ ВЛИЯЕТ НА ОБУЧЕНИЕ СЕТИ. На рисунке видно, что количество образов проверки 161, это значить что если сеть не нашла закономерность, то контрольная ошибка будет колебаться вокруг 161. По логике вещей если сеть нашла закономерность, то контрольная ошибка всех 5 сетей должна устремиться вниз. И дойти хотя бы до 100-110. Но такого я не видел. Прошу если кто-то этого добьется, опубликуйте скирин окошка, верните веру. [biggrin]
В выложенном варианте входную последовательность, и эталон я менять не стал(ну не выкладывать же грааль [lol]). Все как первом моем посте на эту тему. И лежит там же.

Четвертая часть: Мой соображения
Вместе с входными полезными данными мы подаем много мусора в надежде что сеть из мусора вытащит закономерности. А она подстраивается под мусор, и запоминая его, обучаясь до определенного момента.
Вывод: на вход сети надо подавать обработанные данные в которых много полезной информации и мало мусора, вопрос зачем мне нейросеть если у меня есть такие данные?

Вот и все!
Всем спасибо за внимание! Жду отзывов, и лайков! [biggrin]


< 1 2 
karellin

Avatar
Date: 2/7/2014
Reply


Иван З.
Возможно вам помогут сети с обратной связью, так называемые рекуррентные нейронные сети, сети Хопфилда и Хемминга как их разновидность.


Если вы мне объясните, каким образом НС, предназначенная для запоминания и ассоциации образов может помочь оценить прогнозируемость заданного признака в выборке, буду вам очень признателен. То же самое касается и сети кохонена.
Thanks:

Иван З.

Avatar
Date: 2/7/2014
Reply


karellin
Иван З.
Возможно вам помогут сети с обратной связью, так называемые рекуррентные нейронные сети, сети Хопфилда и Хемминга как их разновидность.


Если вы мне объясните, каким образом НС, предназначенная для запоминания и ассоциации образов может помочь оценить прогнозируемость заданного признака в выборке, буду вам очень признателен. То же самое касается и сети кохонена.

Как я вас понял, вам необходима некая обратная связь, выхода нейросети со входом, которую вы можете контролировать, анализировать, либо использовать для обучения, такое есть в рекуррентных нейронных сетях. А для чего их принято использовать, не важно. Если генетический алгоритм решает вашу задачу, рад был быть полезным.
Thanks:

karellin

Avatar
Date: 2/7/2014
Reply


Поскольку задача все-таки датамайнинг, мне нужна объективная информация, а использование обратных связей да еще и с генетическим подбором - курвофиттинг.
Thanks:

bosco

Avatar
Date: 3/7/2014
Reply


Конечно нейронные сети работают. Их очень много вокруг в коде, на самом деле. Но надо знать как их использовать.
Насколько я понял, вы пытаетесь с помощью сети найти сигналы на вход-выход? Не уверен что это возможно.
Для сети очень критично чтобы данные были нормированы и чтобы входящие наборы были репрезентативными.
Тогда сеть научится. Я не настоящий сварщик, но насколько я могу судить, нейронная сеть отлично подходит в качестве фильтра,
в ситуации, например, когда есть какие-то входные сигналы, связанные с объёмом и ценой, плюс индикаторы по вкусу.
Многие для фильтрации используют простые условия > <... Нейросеть же лучше запомнит, что работает, а что нет.
Кстати насчёт времени обучения, не знаю насколько это правильно, по например та нейросеть что я использую, всего из нескольких десятков нейронов, может обучаться до недели,
с помощью достаточно быстрого железа и в несколько потоков.
Это я к тому, что обучение нейросети - не такой уж и простой процесс. Если у вас получается обучить нейросеть быстро - скорее всего она недообучена.
Воспринимайте это как процесс воспитания ребёнка - образование синаптических связей, их выверка - занимает очень много времени.
Но результат того стОит.
Thanks:

loop

Avatar
Date: 3/8/2014
Reply


bosco
Конечно нейронные сети работают. Их очень много вокруг в коде, на самом деле. Но надо знать как их использовать.
Насколько я понял, вы пытаетесь с помощью сети найти сигналы на вход-выход? Не уверен что это возможно.
Для сети очень критично чтобы данные были нормированы и чтобы входящие наборы были репрезентативными.
Тогда сеть научится. Я не настоящий сварщик, но насколько я могу судить, нейронная сеть отлично подходит в качестве фильтра,
в ситуации, например, когда есть какие-то входные сигналы, связанные с объёмом и ценой, плюс индикаторы по вкусу.
Многие для фильтрации используют простые условия > <... Нейросеть же лучше запомнит, что работает, а что нет.
Кстати насчёт времени обучения, не знаю насколько это правильно, по например та нейросеть что я использую, всего из нескольких десятков нейронов, может обучаться до недели,
с помощью достаточно быстрого железа и в несколько потоков.
Это я к тому, что обучение нейросети - не такой уж и простой процесс. Если у вас получается обучить нейросеть быстро - скорее всего она недообучена.
Воспринимайте это как процесс воспитания ребёнка - образование синаптических связей, их выверка - занимает очень много времени.
Но результат того стОит.


Нагородили чего то такого что сами наверно не поняли что сказали. Не уверены что можно искать входы выходы но что то при этом както работает.[confused]

Докажите, тут много таких философов по теме ИИ, которые в реальности клерки, охранники, кондукторы и фитнес тренеры.

Нейросети уже запозоренны пуще мартингейла.
Только наглядная демонстрация имеет вероятность частично смыть позор.
Thanks:

kche

Avatar
Date: 4/22/2014
Reply


karellin
http://neuroschool.narod.ru/articles.html
здесь почитайте подходящие для вас статьи.


посмотрите здесь - http://www.jurikres.com/faq/trading.htm#top

Раздел - SYNTHESIS. Sequence for advanced system building.

особенно stage 2 последние 2 пункта - про temporally and spatially compressions.
Thanks:

kche

Avatar
Date: 4/22/2014
Reply


еще очень полезная книжка - Financial Forecasting & Neural Networks - http://www.jurikres.com/...cat_pub.htm#forecasting
Thanks:
< 1 2 

Attach files by dragging & dropping, , or pasting from the clipboard.

loading
clippy