Но что такое нейронная сеть? | Глава 1 "Глубокое обучение"

Нарисованная от руки цифра "3" в низком разрешении постоянно распознается человеческим мозгом, несмотря на ее грубое изображение. Несмотря на то, что каждое изображение активирует разные наборы светочувствительных клеток и различается по пиксельным деталям, зрительная кора головного мозга легко интерпретирует их как одну и ту же цифру. Воспроизвести эту способность, запрограммировав систему для вывода правильной цифры из таблицы 28х28, довольно сложно. Контраст подчеркивает исключительную эффективность обработки визуальных данных человеком по сравнению с вычислительными методами.

Нейронные сети представлены в виде математических конструкций, которые выходят за рамки модных словечек и способны распознавать такие закономерности, как написанные от руки цифры. Объяснение сосредоточено на визуализации базовой, незамысловатой структуры, отличая ее от процесса обучения. Демонстрируя, как даже простая модель может выполнять сложные задачи, она закладывает основу для понимания более сложных вариантов. Дополнительные ресурсы и код расширяют возможности дальнейшего практического изучения предмета.

Нейроны в нейронных сетях основаны на биологическом мозге и соответствуют простому значению от 0 до 1, известному как активация. Каждый пиксель изображения соответствует нейрону, поэтому изображение размером 28х28 пикселей содержит 784 нейрона с соответствующими оттенками серого. Высокие значения активации визуально "высвечивают" нейроны, иллюстрируя, как необработанные входные данные преобразуются в значимые данные для обработки.

Изображение преобразуется в набор из 784 значений яркости с помощью входных нейронов, каждый из которых представляет собой пиксель. Скрытые слои с гибкой структурой из 16 нейронов в каждом последовательно обрабатывают эти сигналы способом, похожим на биологическое взаимодействие нейронов. Результирующий паттерн передается на выходной слой из 10 нейронов, где самая сильная активация обозначает идентифицированную цифру.

Многоуровневая сеть может преобразовать необработанные пиксели в значимые подкомпоненты, обнаруживая простые элементы, такие как края, линии и петли, которые объединяются в узнаваемые формы. Этот процесс предполагает, что нейроны в промежуточных слоях отвечают за идентификацию определенных частей, таких как изогнутый штрих цифры или прямой сегмент, независимо от различий в пикселях. Иерархически объединяя эти обнаруженные элементы, сеть может эффективно классифицировать сложные формы, такие как цифры. Эта многоуровневая абстракция не только помогает в распознавании изображений, но и служит моделью для других задач, таких как анализ речи, где основные звуки складываются в связные слова и фразы.

Нейронная сеть фиксирует определенные визуальные паттерны, присваивая различные числовые значения связям между входными нейронами и нейроном, определяющим признаки. Значения расположены в виде сетки, при этом положительные значения сосредоточены на ключевых областях, а отрицательные значения применяются к окружающим областям, чтобы подчеркнуть контрасты и эффективно изолировать краевые объекты. Затем сеть обрабатывает взвешенную сумму с помощью сигмовидной функции, чтобы нормализовать выходные данные в диапазоне от 0 до 1, а также добавляет смещение для управления порогом активации для точного определения границ.

Нейронные сети работают с обширной системой весов и смещений, которые определяют выходные данные каждого нейрона. Например, скрытый слой, получающий входные данные от 784 пиксельных нейронов, применяет индивидуальный вес и смещение к каждому соединению. В результате вычислений на уровне из 16 нейронов получается около 13 000 уникальных параметров, которые точно настраивают поведение сети. Общее количество регулируемых регуляторов формирует основу для управления тем, как сеть обрабатывает и преобразует входные данные.

Обучение в нейронных сетях заключается в настройке многочисленных числовых параметров для решения сложных задач. Ручная настройка весов и смещений иллюстрирует, как можно настроить различные уровни сети для обнаружения границ и закономерностей, что раскрывает природу "черного ящика" этих систем. Такой практический подход не только позволяет глубже понять, когда результаты отличаются от ожидаемых, но и открывает новые пути оптимизации и бросает вызов общепринятым проектным предположениям.

Соединения нейронной сети выражаются компактно путем преобразования активаций одного слоя в вектор-столбец и организации весов соединений в виде матрицы, где каждая строка соответствует входным данным нейрона из предыдущего слоя. Матрично-векторное произведение вычисляет взвешенные суммы, в то время как отклонения собираются в вектор и добавляются к этим суммам. Затем для получения конечных результатов применяется поэлементная сигмовидная функция. Это упрощенное представление упрощает как математическое понимание, так и вычислительную эффективность нейронных сетей.

Нейроны функционируют как функции, преобразующие входные данные с предыдущего уровня в значения от 0 до 1. Сеть преобразует 784 входных данных в 10 выходных данных, используя 13 000 параметров путем последовательного умножения матриц на векторы и активации сигмовидной формы. Его сложный дизайн, который позволяет точно настраивать вес и смещения для улавливания закономерностей, необходим для эффективного распознавания цифр.

Зрителям предлагается подписаться на систему рекомендаций YouTube в качестве стратегического сигнала, повышающего видимость контента. Важность взаимодействия с каналом подчеркивается не только в уведомлениях, но и в том, что на алгоритмические предпочтения влияют показатели подписки. Мы выражаем благодарность сторонникам Patreon и сообщаем, что серия probability возобновится вскоре после завершения текущих проектов.

Функция сигмовидной кишки изначально использовалась для ограничения взвешенной суммы в диапазоне от нуля до единицы, что было вдохновлено бинарным поведением биологических нейронов. Для глубоких сетей обучение с использованием сигмовидной кишки оказалось сложным из-за таких проблем, как насыщение и уменьшение градиентов. ReLU упрощает процесс, выводя ноль для отрицательных входных данных и действуя как идентификатор для положительных, тем самым повышая эффективность обучения. Переход от сигмовидной формы к ReLU подчеркивает переход к более простым и эффективным функциям активации в современных архитектурах глубокого обучения.