Apple Intelligence, возможно, самое яркое событие WWDC этого года, тесно интегрирована в iOS 18, iPadOS 18 и macOS Sequoia и включает в себя расширенные генеративные модели, применимые к повседневным задачам, таким как написание, уточнение текста, агрегирование уведомлений, создание изображений и автоматизация взаимодействия с приложениями. являются специализированными.
Система включает языковую модель на устройстве с 3 миллиардами параметров и более крупную серверную модель, работающую на кремниевых серверах Apple через частные облачные вычисления (PCC). По словам Apple, эти базовые модели, а также модель кодирования для Xcode и диффузная модель визуального представления поддерживают широкий спектр потребностей пользователей и разработчиков.
Компания также придерживается принципов ответственного ИИ, гарантируя, что ее инструменты расширяют возможности пользователей, представляют различные сообщества и защищают конфиденциальность посредством обработки на устройстве и безопасного PCC. Apple заявляет, что ее модели обучены на лицензированных и общедоступных данных и что имеются фильтры для удаления личной информации и некачественного контента. Компания следует стратегии гибридных данных, которая сочетает в себе аннотированные человеком и синтетические данные и использует новые алгоритмы для улучшений после обучения.
Человеческие оценщики
Apple заявляет, что оптимизировала свои модели для повышения производительности вывода, используя такие методы, как групповое внимание к запросам, низкобитовая паллетизация и динамические адаптеры. Модели на основе устройств используют размер словаря 49 КБ, а серверные модели — 100 КБ и поддерживают дополнительные языки и технические токены. По данным Apple, модель на основе устройств обеспечивает скорость генерации 30 токенов в секунду, а дальнейшие улучшения возможны за счет спекуляций с токенами.
Адаптеры, небольшие модули нейронных сетей, оптимизируют модели для конкретных задач, сохраняя параметры базовой модели и одновременно специализируясь на определенных функциях. Эти адаптеры загружаются динамически, чтобы обеспечить эффективное использование памяти и быстроту реагирования.
Безопасность и полезность являются главными приоритетами Apple Intelligence, подчеркивает технологический гигант из Купертино, и компания оценивает свои модели на основе человеческого суждения, уделяя особое внимание реальным подсказкам в различных категориях. Компания утверждает, что ее модель на устройстве превосходит более крупных конкурентов, таких как Phi-3-mini и Mistral-7B, а серверная модель конкурирует с DBRX-Instruct и GPT-3.5-Turbo. Это конкурентное преимущество подчеркивается заявлением Apple о том, что оценщики отдают предпочтение их моделям по сравнению с признанными конкурентами в нескольких тестах, некоторые из которых можно просмотреть ниже.