Мультимодальный искусственный интеллект в здравоохранении Здравоохранение является мультимодальным, включающим широкий спектр наборов и типов данных. Задача заключается в выделении соответствующего контекста из сложных индивидуальных методов, таких как медицинские изображения, отчеты и лабораторные тесты. Google выпустила базовую модель, позволяющую исследователям обучать пользовательские модели рентгенографии грудной клетки, используя меньше данных для редких состояний. Они преодолели разрыв между базовыми медицинскими моделями и большими языковыми моделями, обучив легкий адаптер, который позволяет взаимодействовать с этими базовыми моделями на основе языка.
Эликсир: Обеспечение мультимодальных возможностей Система Google Elixir позволяет взаимодействовать с моделями healthcare foundation на основе языка, не требуя дополнительных данных визуализации. Она использует адаптеры для эффективного подключения функций языка зрения, извлеченных из рентгеновских снимков, к большим языковым моделям. Elixir эффективно продемонстрировал классификацию по условиям с нулевым результатом и обеспечивает богатое взаимодействие человека и искусственного интеллекта, включая визуальные ответы на вопросы, проверку качества рентгенологических отчетов и семантический поиск.