Введение во вложения и скрытые пространства Спикер представляется инженером по искусственному интеллекту в Notion, обсуждая развитие notion AI за последний год. Он подчеркивает проблемы, связанные с управлением языковыми моделями с помощью подсказок, и выделяет концепцию скрытых пространств внутри моделей встраивания.
Исследование скрытых пространств с помощью текстовых вложений Докладчик демонстрирует, как встраивания представляют собой характерные особенности текста или изображений, используемых моделью для выполнения своей задачи. Он показывает примеры манипулирования встраиваниями для создания вариаций длины текста, настроения и содержания. Кроме того, он обсуждает проецирование текстов в значимых направлениях в рамках пространства встраивания.
Интерполяция встраиваемых изображений и адаптация модели Докладчик исследует интерполяцию встраивания изображений между фотографическими и мультипликационными версиями, демонстрируя манипуляции с помощью операций сложения/ вычитания векторных изображений. Кроме того, он демонстрирует адаптацию своей пользовательской модели для чтения из пространства встраивания OpenAI с использованием линейных адаптеров.
Понимание сложных моделей с помощью визуализации В этой главе докладчик делится принципами понимания сложных моделей путем отображения невидимых частей с помощью инструментов визуализации, таких как интерфейсы интерполяции, которые позволяют напрямую взаимодействовать с представлениями. Выступление завершается рассказом о том, как он использовал пользовательскую текстовую модель с открытым исходным кодом на платформе Hugging Face, а также обнадеживающим исследованием удобных для человека интерфейсов знаний, основанных на этих концепциях.