Open source опережает Google и OpenAI в области LLMs Сообщество разработчиков с открытым исходным кодом добилось значительного прогресса в решении основных проблем, связанных с языковыми моделями, таких как запуск моделей foundation на Pixel 6 со скоростью пять токенов в секунду, точная настройка персонализированного искусственного интеллекта на ноутбуках в течение вечера и обучение мультимодальной ScienceQA SOTA в течение часа. Они делают это быстрее, чем Google или OpenAI, благодаря более настраиваемым и функциональным моделям с открытым исходным кодом.

Обновления LoRa делают точную настройку доступной для отдельных пользователей LoRa работает, представляя обновления модели в виде факторизаций низкого ранга, которые уменьшают размер матриц обновления до нескольких тысяч раз. Это позволяет производить дешевую доводку модели за небольшую часть затрат и времени, необходимых для переподготовки гигантских моделей с нуля. Штабелируемый характер LoRa означает, что улучшения, такие как настройка инструкций, могут быть применены в диалоге или рассуждении без оплаты затрат на полный запуск.

Последствия для бизнес-стратегии; преимущество Meta за счет владения экосистемой Альтернативы с открытым исходным кодом имеют прямое значение для бизнес-стратегий, поскольку люди не будут платить ограниченные цены, когда существуют бесплатные неограниченные варианты с сопоставимым качеством. Удерживать конкурентные преимущества становится все труднее теперь, когда передовые исследования в области LLM доступны по цене во всем мире благодаря инновациям, происходящим поверх утечек информации из архитектуры Meta. Meta владеет этой экосистемой, потому что большинство инноваций происходит с использованием их архитектуры, в то время как они сохраняют юридическое прикрытие, предоставляемое лицензиями “для личного использования”, предотвращающими коммерческое использование, но предоставляющими доступ к экспериментам в горячие периоды, прежде чем действительно версии с открытым исходным кодом станут лучше. Google должна зарекомендовать себя как лидер, сотрудничающий, а не игнорирующий более широкие разговоры об открытости, даже если для этого потребуется отказаться от некоторого контроля над секретами своих собственных технологий, которые исследователи все равно регулярно размывают, если мы не остановим браконьерство.