тятя-тятя, наши сети

[sab123]

А вот есть у нас нейросети и байесианские сети. В байесианских сетях последовательно соединяются несколько уровней байесианского вывода. Но ведь и в нейросетях каждый нейрон - байесианская машина, вычисляющая одну гипотезу. Вот это сложение входных сигналов умноженных на коэффициэнты - это байесианское умножение верояности гипотезы согласно имеющимся событиям, только выраженное через логарифмы. Нелинейная функция в конце нейрона - это решение о том, принимаем ли мы гипотезу истинной или ложной исходя из того, преодолела ли вероятность некий порог. Разница между двумя сетями получается только в том, что в байесианских сетях гипотезы выбираются вручную, а в нейросетях - автоматически, в процессе обучения (начиная от случайных, и далее через backpropagation). Спрашивается, почему их все еще различают как два отдельных типа сетей?

Comments

[juan-gandhi.livejournal.com]

Байес научен, а нейроны соединяются типа "потому что так красиво". Ну и, соответственно, нейроны гибче получаются. Для меня это пока только теория, правда. В смысле, Байеса я когда-то программировал, а нейросети еще только курочу, так что пока теория.

[sab123.livejournal.com]

Но в итоге-то каждый нейрон - реализация Байеса. Который соотвественно можно разобрать на события и измеряемую им гитпотезу. Тренировка нейросети - это, получается, система по автоматическому обнаружению полезных промежуточных гипотез. Другое дело что нейронов в сети нынче много, и каждый из них вручную анализировать утомительно. Но вот прям так сказать, что "нейросеть - это черный ящик" - я бы не сказал, она вполне должна поддаваться анализу через рассмотрение выхода нейронов как байесовых гипотез.

[vit-r.livejournal.com]

Не уверен в корректности фразы "сложение входных сигналов умноженных на коэффициэнты - это байесианское умножение верояности гипотезы согласно имеющимся событиям, только выраженное через логарифмы". Тем более, что мы рассматриваем не один уровень. Грубо говоря, гипотеза может быть размыта по уровням нейросети.

[sab123.livejournal.com]

У простых байесианских вычислений есть ограничения в сложности: например, они не могут включать операцию XOR на событиях. Однако эту гипотезу можно сначала поделить на две, а потом изобразить как гипотезу второго уровня с операцией OR (событиями для нее будут гипотезы первого уровня). Таким образом сети позволяют вычислять более сложные гипотезы.

Про логарифмы - ну, я не совсем точно выразился, там при этом еще и вместо вероятностей используются веса/шансы. Надо будет собраться и прописать в деталях. Я когда-то это уже делал, но не записал, поэтому одной ссылки на запись у меня нет. Но это вычисления той же формы, что и используются в Адабусте, и там вот как умножения превращяются в суммы с логарифмами, и как их можно вернуть назад:

http://babkin-cep.blogspot.com/2016/05/adaboost-in-simpler-formulas-2.html

байесовы вычисления туда привязываются как в

http://babkin-cep.blogspot.com/2016/05/adaboost-3-and-bayesian-logic.html

через изображение байесовых вычислений в терминах весов:

http://babkin-cep.blogspot.com/2016/05/summary-of-bayes-by-weight.html