Символический УЧИ: Как естественное будет создавать формальное

В видеоролике рассматривается вопрос о том, продолжатся ли прорывные достижения в области искусственного интеллекта, и делается положительный вывод. В первых трех главах приводятся дедуктивные аргументы, подтверждающие этот вывод. В последующих разделах подробно описывается процесс внедрения, рассматриваются невозможные задачи и остающаяся работа, а также выявляются нерешенные проблемы.

Высокоточный УЧИ должен давать точные ответы без ошибок, различая индуктивные и дедуктивно-логические рассуждения. Индуктивные рассуждения основаны на распознавании закономерностей, что часто приводит к ошибкам в корреляции и причинно-следственной связи из-за отсутствия внимания к основополагающим истинам. И наоборот, дедуктивные рассуждения структурированы и обеспечивают абсолютную уверенность в выводах, следуя дисциплинированному логическому процессу, примером которого являются силлогизмы типа "Все люди смертны; Сократ - человек; следовательно, Сократ смертен". Обоснованные аргументы последовательно преобразуют истинные посылки в истинные выводы.

Чтобы внедрить дедукцию в компьютер, нам нужна грамматика для последовательного языка. Грамматики помогают генерировать и понимать предложения с помощью символических рассуждений, которые экономят пространство и не требуют эмпирических данных. В формальных системах правильно сформированные формулы преобразуются с использованием правил вывода, которые сохраняют истинность, для получения теорем без противоречий (непротиворечивости). Теоремы должны интерпретироваться с помощью моделей, которые возвращают им семантическое значение; предсказательная сила зависит от соответствия наблюдаемой реальности или внутренней логики, если она абстрактна.

Необходимость неточности для обеспечения точности в формальных системах Чтобы закодировать идеально последовательную логику в компьютер, мы должны понять, почему неточные системы необходимы для построения точных. Задача состоит в том, чтобы вывести теоремы с несколькими правилами вывода и решить, какое из них приведет нас к нашей цели. Доказательство Курта Геделя показывает, что любая достаточно сложная формальная система содержит истинные утверждения, которые не могут быть доказаны из ее аксиом, что требует дополнительных аксиом, полученных извне. Это подразумевает использование эмпирических данных вместо чисто формальных методов, поскольку древние люди достигли значительных логических успехов без первоначальных формальных систем.

Индуктивное мышление как путь к новым истинам Дедукция в строгих рамках ограничивает открытие новых истин; таким образом, ослабление ограничений с помощью индуктивных рассуждений позволяет пересекаться с другими наборами истин. Недостаточная точность естественного языка может привести нас к новым дедуктивным доказательствам, если мы будем следовать "достаточно точному" вектору подозрений. Стивен Строгац освещает этот процесс, когда математики сначала определяют то, что, по их мнению, является истиной, а затем тщательно доказывают это, отражая то, как компьютеры могут эффективно преобразовывать индуктивные идеи в дедуктивные знания.

Использование спектральных рассуждений для универсальной формализации Спектральное мышление направлено на формализацию любой концепции с использованием сочетания индуктивных, дедуктивных и символических методов рассуждения. Этот подход охватывает весь спектр от естественного языка (индуктивного) до полностью структурированных символических языков (формального). По мере того как мы переходим от эмпирических наблюдений на естественном языке к абстрактным формальным системам, наша прогностическая способность возрастает благодаря большей согласованности и интеграции с другими моделями.

Гибкость благодаря циклам Обновления и Перекодирования Реальный потенциал спектрального мышления заключается в его гибкости; при возникновении тупиковых ситуаций в рамках формальной системы оно позволяет вернуться к более интуитивным формам, прежде чем формально перекодировать их. Для реализации этого требуются различные программы: автоматизированные средства доказательства теорем для символьных выражений, тонко настроенные большие языковые модели (LLM) для полуструктурированных предложений, используемых в дедуктивных рассуждениях, и более простые нейронные сети или эвристики для индуктивных задач. Тонкая настройка этих инструментов предполагает использование обширных источников, таких как Википедия, наряду с известными наборами проблем.

Соответствие между доказательством теоремы и вычислением Рекурсивное вычисление требует понимания соответствия между доказательством теоремы и вычислением. Сохранение истинности в дедуктивных аргументах отражает чисто функциональную структуру, где правильные выходные данные могут быть повторно использованы для обеспечения корректности более крупных вычислений. Эта идентичная структура подчеркивает, что способность к рассуждению эквивалентна вычислительным способностям.

Псевдорекурсия в нейронных сетях против истинной рекурсии в машинах Тьюринга Многоярусные машины Больцмана с ограниченным доступом демонстрируют псевдорекурсивное поведение, достигая теплового равновесия за счет замены слоев, но в основе своей остаются прямолинейными процессами. Преобразователи, такие как chat GPT, выполняют определенную форму рекурсии, обращая внимание на предыдущие выходные данные, но им не хватает истинной глубины рекурсии из-за невозможности прямой записи на более ранние этапы. Напротив, универсальные машины Тьюринга воплощают в себе подлинную рекурсию с головками чтения-записи на бесконечных лентах, что позволяет итеративно изменять состояние и использовать память для сложных вычислений.

Роль метаязыка в онлайн-обучении Онлайн-обучение может быть улучшено за счет использования метаязыков, которые позволяют проводить самоанализ и рассуждения о происходящих процессах. Эти метаязыки могут быть формальными или неформализованными; например, формальная проверка корректности компьютерной программы - это применение формального метаязыка. Используя дедуктивные рассуждения для поиска зависимостей и корреляций внутри самого языка, мы даем возможность программам перекодировать эти знания в новые процедуры.

Универсальные вычисления расширяют возможности AGI Включение универсальных вычислений в архитектуру ИИ позволяет ему имитировать любую другую машину Тьюринга, что позволяет проводить углубленный самоанализ. Эта возможность означает, что при использовании некоторых функций среды выполнения AGIs может делать выводы о том, как писать программы, на основе наблюдаемого поведения других программ. В то время как эмпирические знания, такие как физика, требуют участия человека, абстрактные области, такие как математика и логика, полностью доступны благодаря синтетическим данным, генерируемым с помощью различных вычислительных моделей.

Несмотря на достижения в архитектуре, некоторые ограничения остаются непреодолимыми. Мы не можем быстро решать сложные задачи BQP без квантового компьютера, а сложные задачи NP по-прежнему требуют значительного времени. Символьное мышление не позволяет преодолеть ограничение минимальной длины кодировки, известное как сложность KMOV; мы не можем сжать бесконечную информацию в конечное пространство. Сохраняются неразрешимые проблемы, такие как проблема остановки — наш УЧИ может генерировать программы, но не может определить, будут ли они останавливаться на заданных входных данных повсеместно. Эмпирические знания о Вселенной по-прежнему необходимы для проверки правильности теоретических моделей, поскольку непротиворечивость не приравнивается к точности прогнозирования.

Переход от компонентов, разработанных человеком, к полностью автоматизированным системам Многие компоненты, такие как интерактивные средства проверки теорем, изначально были разработаны для использования человеком. Для полной автоматизации они нуждаются в доработке с использованием машинных интерфейсов. Это требует значительной работы по проектированию среды выполнения, управлению памятью и обработке ввода/вывода.

Обеспечение согласованности в модульных средах выполнения Среда выполнения должна управлять процедурами и поддерживать согласованность, будучи при этом достаточно модульной, чтобы допускать внутренние доработки. Для отклонения от согласованности требуются резервные механизмы, основанные на отзывах пользователей или повышенной предсказательной способности.

Базовые модели поведения и возможности спектрального мышления Инициализация базовых моделей поведения с использованием синтетических данных имеет решающее значение перед распространением, поскольку они не уникальны для каждого экземпляра. Для реализации спектрального анализа требуются специальные сетевые решения, которые могут отличаться от крупных моделей из-за проблем с эффективностью.

Архитектура моделей "Комбинируй и сочетай" для достижения оптимальной производительности Архитектуры моделей "смешивания и сопоставления" могут быть более оптимальными, чем одна гигантская модель, поскольку они позволяют лучше реализовать простые идеи, такие как индуктивное рассуждение, когда они составлены вместе. Изменения в топологиях повлияют на методы обучения, в которых приоритет отдается возможностям онлайн-обучения, а не долгосрочному сохранению способностей.

Точность вычислений достигается с помощью дедуктивных формализованных систем, в то время как универсальные вычисления основаны на правильной топологии и архитектуре. Нынешний акцент на крупномасштабное аппаратное обеспечение для новых возможностей отражает раннюю фазу ENIAC; однако истинная эффективность достигается в меньших масштабах из-за сложности kagra. Символьные логические вычисления более эффективны и компактны, чем модели с массивными параметрами, что снижает зависимость от обширных наборов данных или эксклюзивного доступа к ним. Синтетические обучающие данные могут генерировать бесконечное количество достоверных данных для абстрактных систем, таких как машины Тьюринга, без знания реального мира.

В быстро меняющемся мире искусственного интеллекта многие старые сложные задачи становятся новыми, более простыми, что создает возможности для интеграции этих возможностей в продукты. Однако, хотя некоторые усилия по привлечению средств за счет использования ярлыков "Искусственный интеллект" увенчались успехом, им часто не хватает глубокой технологической основы, и они должны постоянно адаптироваться по мере развития технологий. Крупные технологические компании, такие как Microsoft и Google, сосредотачиваются на расширении существующих источников дохода, а не на внедрении инноваций, поскольку они находятся на стадии роста. Они вкладывают значительные средства в приобретение технологий, но избегают отходить слишком далеко от своих ключевых компетенций, чтобы сохранить конкурентные преимущества.

Критический момент для инноваций с открытым исходным кодом Лидеры нашего технологического рынка и стартапы сосредоточены на привычных ИТ-продуктах, но реальный доход будут приносить новые инновации. Революционные технологии в лечении заболеваний, создании материалов, интегрированном дизайне и искусственном интеллекте ускоряют прогресс. Такие инновации, как разработка молекул для лечения болезней или усовершенствованные солнечные батареи, расширяют границы быстрее, чем это под силу традиционным лабораториям. Этот сдвиг позволяет отказаться от ненужных расходов в пользу полезных достижений, таких как мясо, выращенное в лабораторных условиях.

Проблемы проприетарных систем в сравнении с потенциалом открытого исходного кода Нынешняя конкурентная среда напоминает прошлые проблемы, такие как войны Unix, когда многие проприетарные системы боролись за доминирующее положение, не добиваясь значительных успехов в инновациях. Современные проблемы включают монополию на передачу данных и ограничения облачного программного обеспечения, которые ограничивают контроль пользователей над их собственными данными и значительно увеличивают затраты. В отличие от старых технологических гигантов, сталкивающихся с антимонопольными исками, у современных компаний есть более изощренные методы поддержания контроля, несмотря на потенциал открытого исходного кода для демократизации технологических преимуществ в дальнейшем.