roboforum.ru

Если иметь в виду сигмоидную функцию, можно говорить о многозначности выхода нейрона ?

У реального нейрона выход определяется не сигмоидной функцией. Там спайк либо есть, либо нет. И строго определённой амплитуды. Т.е. выход у нейрона всегда дискретен либо 0, либо1.
А вот теперь – парадокс: аксон может быть подключён к нескольким тысячам входов ( синапсов дендритов). И на каждом из них появится полноценный сигнал, неделёный ( просто потратится больше молекул АТФ, или меньше). Так вот представьте – аксон подключён к , скажем, 20% дендритов одного и того же нейрона. В результате, если на выходе мы имели дискретность 2 ( 0, 1) то на входе второго нейрона имеем дискретность равную количеству дендритов. В представленном примере мы получим 1/5 от сигнала. Если подключим аксон к половине дендритов – ½, к 100% - получим повторитель. В этом смысле выход приближается к аналоговому ( всё дело с частоте дискретизации). А ещё добавляется частотная модуляция. В данном примере ( с 20%) пять спайков на аксоне первого нейрона дадут один спайк на аксоне второго, если не учитывать сигналы с оставшихся 80% дендритов.
К чему всё это рассуждение? К тому, что конструкции IF THEN дадут максимум логическую матрицу. Но не смоделируют нейрон.
Вооот! А теперь о измерении ИИ:) Почему все зациклились на линейной шкале типа кг, Ом, км? Предлагаю аналогию со звуком. Его измеряют в Дб – логарифмическая шкала, в основу которой лежит сравнение двух сигналов ( как частный случай – сравнение с опорным сигналом). Т.е. 0Дб это не отсутствие сигнала – это значит исследуемый сигнал равен опорному. А тишина это не самый слабый звук – это его отсутствие! Теперь, в этом рассуждении, заменяем слово «звук» на слово ИИ, и вводим еденицу измерения ИДб ( интеллектуальный децибелл:)) Осталось только найти обьект для измерения

2Sensor:

Сначала немного побалуемся с логикой и математикой:

SensOr писал(а):Экспериментальным путем мы получили, что оптимальный диапазон характеристики нейрона для решения подавляющего большинства задач составляет от 0,1 до 0,8.

Вообще странное утверждение, и вот почему:

SensOr писал(а):Каждый синапс имеет параметр, называемый весом синапса, и представляющий какое-либо число. Сигнал, проходящий через синапс, умножается на вес этого синапса. В зависимости от веса, сигнал может быть усилен (модуль веса > 1) или ослаблен (модуль веса < 1) по амплитуде. Сигналы от всех синапсов, ведущих к данному нейрону, принимает сумматор.

Сумматор производит суммирование всех пришедших сигналов и подает на собственно нейрон (преобразователь) одно число - полученную сумму.

Так как вес синапса произволен, то об оптимальности интервала 0.1 ... 0.8 можно говорить с той же долей правды, что и об оптимальности интервала 0.2 ... 1.6

SensOr писал(а):Нейрон, получивший это число, преобразует его согласно своей функции, в результате которой получается другое число

SensOr писал(а):Выходной сигнал нейрона у определяется путем пропускания уровня возбуждения S через нелинейную функцию f, т.е. аналог аксонов биологических нейронов:
y = f (s- Т), где: Т  — некоторое постоянное смещение (аналог порога биологического нейрона).

Из чего делаем вывод, что оптимальный интервал еще и смещать можно (используя параметр Т). А значит его можно вообще любой назначить, главное чтобы не вырожденный и без бесконечностей

Основной вывод баловства: Ваш набор источников противоречив.

Теперь по сути:
1. http://neuronet.alo.ru/netBiologyPreambula.html
2. http://neuronet.alo.ru/netPreambula.html

Если коротко - нейросеть с бинарным выходом это одна из моделей нейросети, она достаточно хорошо изучена, однако для целей обучения она в стандартных алгоритмах обученяи не проходит из-за отсутствия дифференцируемости.

Насколько это принципиально её отличает от дифференцируемых нейросетей - очень большой вопрос.

PS: 2KAI: Да, есть или нет спайк, но время возникновения спайка от подаваемого на него напряжения зависит как раз по специальной функции.

KAI писал(а): Но есть понятия "дурак" и "умный" и никуда от этого не деться!!! Это уже градация! Иными словами нельзя выработать шкалу, но сравнительную оценку, всё же провести можно. А дальше... если А>Б и Б>С то А>С и т.д.

А вот это ни разу не очевидно. Например, А. может мгновенно решать дифуры, а Б -- читает ассемблерный код быстрее, чем текст на русском ; при этом в области оппонента каждый дуб-дубом. И кто из них дурак, а кто умный?

Транзитивность совсем уже спорна

Ну ладно. Если вы напрочь отказываетесь от моих идей и вариантов психологической модели (кстати зря), то придется мне подключатся к вам. Но так как я знаю о нейросетях почти ничего, то введите меня, пожалуйста, в курс дела (хотя бы поверхностно). Повторите какие там проблемы. Может чем то помогу.

=DeaD=

Основной вывод баловства: Ваш набор источников противоречив.

Вся процитированная мной в предыдущем посте информация - содержимое одной статьи.  :roll:

KAI & =DeaD=

Благодарю вас за разъяснения и ссылки !
Сейчас читаю и пытаюсь разобраться. Действительно, все гораздо сложнее, чем кажется на первый взгляд
Но интересно  :)

Arx

Если вы напрочь отказываетесь от моих идей и вариантов психологической модели (кстати зря), то придется мне подключатся к вам.

Да, да, давно пора, подключайся !
Добро пожаловать  в библиотеку - читать и думать, читать и думать  :D

Но так как я знаю о нейросетях почти ничего, то введите меня, пожалуйста, в курс дела (хотя бы поверхностно). Повторите какие там проблемы. Может чем то помогу.

 :D  :D  Пять с плюсом !

ладно. Если вы напрочь отказываетесь от моих идей и вариантов психологической модели (кстати зря), то придется мне подключатся к вам. Но так как я знаю о нейросетях почти ничего, то введите меня, пожалуйста, в курс дела (хотя бы поверхностно). Повторите какие там проблемы. Может чем то помогу.

то, что мы отказываемся от твоих идей, не значит,
что и ты должен от них отказаться
пробуй, делай, у каждого есть здравое зерно, а правильность
может доказать лишь практика  :!:

Я от своих идей не отказываюсь. Просто не буду их вам так упорно высказывать.

По поводу статии. Где я могу ее достать?

PS: 2KAI: Да, есть или нет спайк, но время возникновения спайка от подаваемого на него напряжения зависит как раз по специальной функции.

DeaD, поясни, я наверное что то не так понял. Время возникновения спайка не заисит от напряжения, на сколько я знаю физиологию. Там вообще есть потенциал поляризаци минус 90 mV и баста. Это лог. еденица. 0 mV - это лог.0. Или Вы имеете ввиду время накопления потенциала поляризации? Так оно действительно зависит от кол-ва пришедших импульсов...

А вот это ни разу не очевидно. Например, А. может мгновенно решать дифуры, а Б -- читает ассемблерный код быстрее, чем текст на русском

Вопрос не в том что делает ИИ, а как он это делает. Если он решает путем подстановки готовой формулы, то это вообще не ИИ, а если перебором с альфа отсечением - это уже что то. Если же использует генетические алгоритмы - это, согласитесь, прогрессивнее, альфа отсечения... Хотя, спорно конечно... Ну неужели всё так грустно!?
PS прочитал ссылки. СПАСИБО, как вновь на лекции побывал Дремлешь себе, а Папа Раф гундит, гундит. Красота  :D  :D

KAI писал(а):

PS: 2KAI: Да, есть или нет спайк, но время возникновения спайка от подаваемого на него напряжения зависит как раз по специальной функции.

DeaD, поясни, я наверное что то не так понял. Время возникновения спайка не заисит от напряжения, на сколько я знаю физиологию. Там вообще есть потенциал поляризаци минус 90 mV и баста. Это лог. еденица. 0 mV - это лог.0. Или Вы имеете ввиду время накопления потенциала поляризации? Так оно действительно зависит от кол-ва пришедших импульсов...

Но этот потенциал копится ведь? Вот копиться он из перетекающего в него заряда, так что я погнал не от напряжения зависит, а от того, с какой скоростью в него закачивают заряд. А эта зависимость от "размера" и количества пришедших импульсов наверняка и называется этой самой мифической функцией ("сигмоидной" или как её там)

to DeaD: всё, мы друг друга поняли. Сам же ссылки дал, очень грамотный материал и, главное, кратко, без воды и зауми.
to Всем, Всем, Всем желающим пофилосовствовать на тему нейронов и их математических моделей читать материал, по ссылке DeaDа:
1. http://neuronet.alo.ru/netBiologyPreambula.html
2. http://neuronet.alo.ru/netPreambula.html
по крайней мере можно сдвинуться с фазы обьяснений друг другу, как это работает. И пропустить фазу утряски терминологии.

На сколько я понял для создания нейросети нужно получить больше информ по работе биологического нейрона и работы нервной системы вообщем (торможение, возбуждение нейронов, снхронизация ну и тругое). Создать мат модель и дело в шляпе. Останется только найти машину которая потянет эту модель. Или гдето я что-то не понял?

Arx писал(а):Создать мат модель и дело в шляпе. Останется только найти машину которая потянет эту модель. Или гдето я что-то не понял?

Ндя... всего-то... особенно про мат-модель.

Останется только найти машину которая потянет эту модель.

А про проблемы реализации нейроплат внимательно прочитали?  :D  :D

прочитал тут одну статейку, там написали,
что можно использовать современную видюху как аппаратный
ускоритель вычислений, можно и нейронку так пустить

Вот как раз о терминологии: видюха это хто?