Предисловие.
Привет всем, друзья! Вы наверняка уже не ждали меня, и вот я снова с вами. Меня не было так долго по многим причинам, одна из которых - данное исследование. Пока оно в зачаточном состоянии я решил поделиться им с вами. Как вы уже поняли из названия, речь пойдет о нейронной сети, но о такой, о которой вы еще не слышали. Нет, это не абсурд, по крайней мере, пока я сам так считаю. Прежде чем начать знакомить вас с исследованием проведу краткий экскурс по тому как на меня снизошла эта потрясающая мысль.
А что если?
На протяжении пары месяцев меня тянуло из стороны в сторону. Знаете как это бывает.. сначала тебе интересно в IT, потом ты физик или зашарпанный нейробиолог. Говоря в общем, месяца два я был увлечен темой искусственного интеллекта и отправился на поиски ответов. Куда? В эпицентр хаоса и ужаснейшего бардака - в свою голову. Действительно, помимо чтения книг по нейронным сетям я начал больше обращать внимания на рефлексы и поведение человека в разных ситуациях. Хочу заметить, что нейронные сети в настоящее время действительно имеют много общего с функциональными возможностями наших нейронов, в частности, сам процесс обучения и наработка навыков. До настоящего перцептрона, конечно, еще далеко, но, надеюсь, мое исследование сократит время ожидания. Далее и вы в этом убедитесь. Так вот, не буду отходить от сути дела. На протяжении всей нашей жизни мы меняемся, наш мозг также изменяется. То есть наш мозг, он не статичен. Образуются все больше синапсов (связей между нейронами), меняется тип мышления, развиваются мозговые доли. И наконец, наш мозг - многозадачен, хотя изначально нейронные сети простейших организмов и отвечали за одну-две функции. Из этого следует, что в настоящее время нейронным сетям не хватает многозадачности, динамичности, более качественной функции обучения и закрепления (больше синапсов). Это и привело меня к мысли, что можно начать, хотя бы в теории строить нейронную сеть нового поколения, которая сама сможет менять структуру своих связей и быть динамичной.
Дефолтная структура сети.
Первым делом было необходимо избавить нейронную сеть от статичности. Единственный выход из этой ситуации - статичное ядро структурирующее динамическую сеть. Ядро имеет функции получения/отправки данных и структурирования сети. Наличие у такого типа нейронной сети ядра кардинально меняет типичную ее структуру. Для упрощения задачи с перестройкой связей я долго бился над стандартной структурой сети где все синаптические связи будут не активны. Это значит, что при каждой "перестройке" будет лишь активирован / деактивирован синапс. Теперь касательно структуры по умолчанию:
Система перестройки.
Самая обязательная функция ядра, и то, без чего шаровая нейронная сеть не шаровая - система перестройки. Изначально я рассматривал 2 способа по которым ядро воспроизводило бы перестройку структуры. Однако 2 способ пришелся мне не по душе. Если вам понравится данное исследование то я напишу следующую часть с математическими доказательствами и не большой практикой где попробую хотя бы не много реализовать данный тип нейронной сети.
И так, рассматривалось 2 типа по которым ядро работало с перестройкой:
А на этой ноте я пожалуй закончу. Очень надеюсь что донес всю суть до ваших любознательных голов и вы будете с нетерпением ждать продолжения.
Привет всем, друзья! Вы наверняка уже не ждали меня, и вот я снова с вами. Меня не было так долго по многим причинам, одна из которых - данное исследование. Пока оно в зачаточном состоянии я решил поделиться им с вами. Как вы уже поняли из названия, речь пойдет о нейронной сети, но о такой, о которой вы еще не слышали. Нет, это не абсурд, по крайней мере, пока я сам так считаю. Прежде чем начать знакомить вас с исследованием проведу краткий экскурс по тому как на меня снизошла эта потрясающая мысль.
А что если?
На протяжении пары месяцев меня тянуло из стороны в сторону. Знаете как это бывает.. сначала тебе интересно в IT, потом ты физик или зашарпанный нейробиолог. Говоря в общем, месяца два я был увлечен темой искусственного интеллекта и отправился на поиски ответов. Куда? В эпицентр хаоса и ужаснейшего бардака - в свою голову. Действительно, помимо чтения книг по нейронным сетям я начал больше обращать внимания на рефлексы и поведение человека в разных ситуациях. Хочу заметить, что нейронные сети в настоящее время действительно имеют много общего с функциональными возможностями наших нейронов, в частности, сам процесс обучения и наработка навыков. До настоящего перцептрона, конечно, еще далеко, но, надеюсь, мое исследование сократит время ожидания. Далее и вы в этом убедитесь. Так вот, не буду отходить от сути дела. На протяжении всей нашей жизни мы меняемся, наш мозг также изменяется. То есть наш мозг, он не статичен. Образуются все больше синапсов (связей между нейронами), меняется тип мышления, развиваются мозговые доли. И наконец, наш мозг - многозадачен, хотя изначально нейронные сети простейших организмов и отвечали за одну-две функции. Из этого следует, что в настоящее время нейронным сетям не хватает многозадачности, динамичности, более качественной функции обучения и закрепления (больше синапсов). Это и привело меня к мысли, что можно начать, хотя бы в теории строить нейронную сеть нового поколения, которая сама сможет менять структуру своих связей и быть динамичной.
Дефолтная структура сети.
Первым делом было необходимо избавить нейронную сеть от статичности. Единственный выход из этой ситуации - статичное ядро структурирующее динамическую сеть. Ядро имеет функции получения/отправки данных и структурирования сети. Наличие у такого типа нейронной сети ядра кардинально меняет типичную ее структуру. Для упрощения задачи с перестройкой связей я долго бился над стандартной структурой сети где все синаптические связи будут не активны. Это значит, что при каждой "перестройке" будет лишь активирован / деактивирован синапс. Теперь касательно структуры по умолчанию:
- Все нейроны будут иметь синапсы к ядру. Это связано с тем, что в статической сети заранее сложно определить входные и выходные нейроны. Все связи, кроме связей с нейронами внешней оболочки - аксоно-дентритические, то есть поток данных направлен лишь в одну сторону (от ядра к нейрону или от нейрона к нейрону).
- Нейроны будут как активные, пассивные, так и совсем не активные. Активные нейроны выполняют все те же функции как и в стандартных нейронных сетях; пассивные нейроны играют роль входных и выходных нейронов (их состояние зависит от дальности нахождения от ядра). Мои любимые нейроны - не активные. Они, как и я, ничего не делают пока ядро их не "пнет". Такой тип является своеобразной системой торможения (в нашей голове есть подобные подлецы и они не просто так существуют). Также некоторые нейроны неактивны по причине заранее не известной их пригодности.
- По умолчанию, большинство нейронов принимают активное состояние. Если же ядро распределит данные по нейронам, которые наиболее близки к нему или находятся во внутреннем слое, то такие нейроны примут пассивное состояние. Синаптические связи пассивных нейронов разрываются с ядром.
- Нейроны одного шаровидного слоя не имеют между собой синапсов.
- Каждый нейрон одного шарового слоя имеет максимальное количество связей с нейронами только следующего слоя.
- С последовательным отдалением слоя от ядра, количество нейронов в слое уменьшается.
- Несколько нейронов последнего слоя находятся в фазе не активных и при перестройке необходимое количество таких нейронов активирует дейнтрито-аксонный синапс с ядром.
Система перестройки.
Самая обязательная функция ядра, и то, без чего шаровая нейронная сеть не шаровая - система перестройки. Изначально я рассматривал 2 способа по которым ядро воспроизводило бы перестройку структуры. Однако 2 способ пришелся мне не по душе. Если вам понравится данное исследование то я напишу следующую часть с математическими доказательствами и не большой практикой где попробую хотя бы не много реализовать данный тип нейронной сети.
И так, рассматривалось 2 типа по которым ядро работало с перестройкой:
- Остаточный. Рассмотрим случай, когда на первом слое, предположим 3 не активных нейрона. Необходимо обработать данные, которые займут 1 вход. (На картинке ниже сеть имеет не законченный вид)
- Модель массового отмирания. Такая модель всего-то деактивирует все остаточные нейроны, что плохо скажется на системе "торможения".
А на этой ноте я пожалуй закончу. Очень надеюсь что донес всю суть до ваших любознательных голов и вы будете с нетерпением ждать продолжения.
