roboforum.ru

я бы вообще всем не брезгующим "веществами" посоветовал выкачать с торрентов Matlab.. удобная среда с кучей тулбоксов..

kran писал(а):Возможно, визуально будет заметно, чем правильные отличаются от неправильных. И даже отличать одни неправильные от других неправильных.

Напоминает:
- Как делают кораблики в бутылках?
- В бутылку засыпают разные щепки, клей и всякую фигню, а потом трясут. Иногда получаются кораблики.

Вот если щепки и клей можно было бы тренировать, то да, а так - разные это вещи

kran писал(а): Но всё-таки специализированный софт делает специальные вещи удобнее и быстрее. Особенно всяким чайникам. А любой начинающий всегда чайник, по определению.

а и говорил что там есть тулбоксы.. в частности для ИНС..

=DeaD= писал(а):Это если мы умеем учить по 1 итерации и знаем, какой целевой вектор нам нужен.
Почти всегда мы этого не знаем, иначе прямо бы запрограммировали всё

Насколько я успел понять, суть не в том, знаем ли мы вектор по одному измерению. Для датчика влажности как раз отлично знаем: "чем влажнее, тем хуже". Но нельзя так напрямую программировать для многомерного пространства, где ИНС обычно применяют.

Например, там где ещё приемлемо влажно - там приемлемо жарко. А где сухо - там слишком жарко. Меньшее из зол - терпеть повышенную влажность при приемлемой температуре. И таких измерений по разным датчикам - много. Такое вот многомерное информационное пространство. У нас есть статистика - в каких условиях сколько робот протянул. Вот на ней и учим.

А если напрямую запрограммировать "влажно плохо", "жарко плохо" - что робот будет делать? Поставим приоритет температуры над влажностью - утонет. Наоборот - сгорит.

Главное тут - иметь статистику. А топик-стартер хочет логически вывести "хорошо" и "плохо". О чём и спрашивал в самом начале. Он не спрашивать должен, а иметь. Мне кажется, вот на этом и можно закругляться. Или он спрашивал, по каким параметрам её собирать? Ну так пусть уточнит, что да, именно это хотел. Или захотел, когда объяснили. Я как минимум ещё один параметр придумал - температурный режим.

=DeaD= писал(а):

kran писал(а):Я бы ещё добавил на входы сети несколько предыдущих значений S, сохранённых в памяти. Надеюсь, это не противоречит теории.

Можно еще замыкать выходы сети на входы и строить прочие нелинейные нейросети.

Я сначала напомню, с чего началось:

gar_anat писал(а):1. «Поедание» пальчиковых батареек. Сам процесс зарядки априори хорошо, но ежели бот найдет пальчиковую батарею и «съест» ее, это хорошо, очень напоминает систему питания живых существ.
2. Выход из зоны раздражения в спокойную зону. Если робот стоит по самый клиренс в воде и выбрался на сушу – думаю это хорошо.
3. Дальше придумать не могу….

Фактор времени меня беспокоит. Оценка настоящего по прошлому. Вот почему я решил, что целесообразно на входы нейросети добавлять предыдущие показания датчиков (5 секунд назад, 30 секунд назад). Иначе как определить, что робот БЫЛ в воде, а СЕЙЧАС на суше? Ну и тут ещё датчик заряда надо приплести, сейчас и раньше. И эталонный расход в спокойном положении для текущего положения заряда, учитывая режим разряда. Чтобы робот не нервничал, что у него заряд БЫЛ больше, а СЕЙЧАС - меньше. Если расходуется как ему положено расходоваться - значит "хорошо" (в сочетании с другими "хорошими" параметрами, всё оценивается в комплексе, сам себе напоминаю).

В принципе, для оценки только линейных изменений хватит одного дополнительного входа на каждый датчик: БЫЛ. Но добавляя N дополнительных входов - БЫЛ_5c, БЫЛ_10c ... БЫЛ_Nc - мы сможем работать и с нелинейными изменениями, учитывать колебания. Например, стоим в морском прибое: влажно - сухо, влажно - сухо... Нефик тут торчать, сваливаем. Даже если сейчас сухо, всё равно скоро будет влажно. И туда сюда за волной не стоит ездить - батарея не резиновая, заряд кончится раньше срока.

Или так не делают? Не напоминают сети, что было в прошлом?

Добавлено спустя 28 минут 50 секунд:

Duhas писал(а):

kran писал(а): Но всё-таки специализированный софт делает специальные вещи удобнее и быстрее. Особенно всяким чайникам. А любой начинающий всегда чайник, по определению.

а и говорил что там есть тулбоксы.. в частности для ИНС..

Нашёл парочку. Neural Network Toolbox и OXlearn. В руководстве к последнему написано, что можно легко заглянуть под капот и заточить под себя. Надо полагать, что тулбоксы пишутся целиком на языке MatLab?
P.S. Да, именно так, достаточно было статью в википедии до конца дочитать. Собственно, там и Neural Network Toolbox упомянут. Меня просто смутил GUI тулбоксов. Похоже, GUI также написан на языке M. И есть даже визуальный конструктор окон. Заинтересовал ещё MATLAB Compiler (и т.п.), позволяющий независимые приложения делать.

=DeaD= писал(а):Оценивать качество работы ИНС по времени жизни особи - не очень понятный вариант.

Хм. А действительно интересно. Вот имеем мы статистику жизни роботов. Какие состояния из каких жизней считать хорошими? Опять возвращаемся к вопросу топика.

Ответ в какой-то мере я давал - главное тут мнение создателя. Если мы имитируем создателя-природу - мы, возможно, выберем самые длинные жизни. И будем считать хорошими состояниями все из этих жизней. Может быть за исключением предсмертных. Или за несколько минут до появления критических повреждений. Можно создателя-природу имитировать более сложно - выжить должен вид. Нужны сигналы свой-чужой. Нужны брачные танцы, оплодотворение и дети... Суть понятна, думаю.

Но если создатель хочет не природу имитировать, а под какую-то задачу заточить роботов, то понятно, какие жизни хорошие - тех роботов, которые справились с заданием. Возможно, стоит считать хорошими только те состояния, которые непосредственно предшествовали успеху. А не тех роботов, которые съездили на Багамы, продав один двигатель, потом вернулись через год и выполнили задание. Хотя собственно даже у этих можно считать хорошими состояния за пять минут до выполнения. К успеху ведь шли.

Что-то меня так и тянет давать оценку состояниям не просто "хорошо", а -1...0...1 непрерывным рядом. И за отклонения от разных "хорошо" по разному "током бить". Чтобы выполнение задания после поездки на Багамы считалось не очень хорошим - создатель-то сидел, ждал, волновался... Впрочем, поскольку от них возьмём не все состояния, может и не надо градиента "хорошо". Какое-то сползание в генетические алгоритмы опять.

=DeaD= писал(а):Внутри жизни ей бы тоже нужно учиться, если мы хотим брать за основу природу.

Вот это не понял. Я тут немного инструментарий посмотрел на скриншотах. Вроде как строго разделяют этапы: обучаем, валидируем, тестируем. Т.е. математическая сеть потом не учится сама. Самообучаемые агенты на нейросетях, которые по жизни учатся, они есть, но они более сложную схему имеют, там не одна только сеть.

Добавлено спустя 16 минут 57 секунд:

=DeaD= писал(а):И по памяти - там надо будет скорее допиливать обучалку, чтобы она могла поощрять или колбасить связи, которые сработали 5-10-15-20 секунд назад, потому что это привело к "плохо" сейчас.

Опять не понял. Сеть существует вне времени. Обучалки так устроены, что состояния не зависят друг от друга. Нет никаких последовательностей, состояния можно перемешать как угодно. Нет, не так? Иначе ведь придётся оперировать не состояниями, а последовательностями состояний. И тогда нужно подавать какие-то сигналы "начало новой последовательности", или иметь параметр "длина последовательности". А ничего подобного я пока не встречал. Пример: распознавание букв - буквы показываем по одной, распознаём по одной. А не слова и "Войну и мир" распознаём.

Поэтому если считать состояния абсолютно независимыми друг от друга, и при этом желать включения в состояния прошлых параметров, то и получится то, что я предложил - расширенное состояние, в которое как часть этого состояния частично продублированы параметры предыдущего состояния.

Ну ещё можно по-другому пояснить - я считал, что подача сигналов на вход, снятие сигналов с выходов, расчёт ошибок и стимуляция (наказание, поправки) - это всё одна итерация. И не может быть никакой отсроченной стимуляции за то, что было 5-10-15-20 секунд назад, т.е. стимуляции в следующей итерации за прошлую итерацию. У сети нет прошлого. Ни в обучении, ни в жизни. А я хотел этот факт обмануть.

kran, вы всё смешали

Оценивают "прожитую жизнь особи" целиком обычно при генетических алгоритмах.

Так то оно конечно в реальном мире смешано: внутри вида "обучение" ведут генетические алгоритмы, а внутри жизни особи - обучается нейросеть.

Удачные фрагменты жизни желательно оценивать при жизни, это называется обучение на ходу, зачем его исключать?