В прошлом году на мероприятии Google Health Check Up мы представили Med-PaLM 2, нашу модель большого языка (LLM), оптимизированную для здравоохранения. С момента запуска этого исследования модель стала доступна ряду клиентов и глобальных партнерских организаций, которые разрабатывают решения для самых разных целей, включая оптимизацию передачи функций медсестрам и поддержку клинической документации. В конце прошлого года мы представили СLMсемейство основных моделей здравоохранения, построенных на Med-PaLM 2 и ставших более доступными через Google Cloud. Платформа Vertex AI.

С тех пор наша работа над генеративным искусственным интеллектом для здравоохранения прогрессировал — от новых способов обучения наших моделей искусственного интеллекта в сфере здравоохранения до наших последних исследований по применению искусственного интеллекта в секторе здравоохранения.

Новые методы в моделях здравоохранения

Медицина – это мультимодальный дисциплина; он состоит из различных типов информации, хранящейся в разных форматах, таких как радиологические изображения, результаты лабораторных исследований, геномные данные, контекст окружающей среды и т. д. Чтобы лучше понять здоровье человека, нам необходимо создать технологию, которая поймет всю эту информацию.

Мы добавляем новые функции в наши модели в надежде сделать генеративный искусственный интеллект более полезным для организаций здравоохранения и здоровья людей. Мы приходим представил MedLM для рентгенограмм грудной клетки, который может помочь преобразовать рабочие процессы в радиологии, упрощая классификацию рентгенограмм грудной клетки для различных случаев использования. Мы начнем с рентгенографии грудной клетки, поскольку она необходима для выявления заболеваний легких и сердца. MedLM для рентгена грудной клетки теперь доступен доверенным тестерам в экспериментальной версии в Google Cloud.

Исследования по усовершенствованию наших моделей для медицинской сферы

Около 30% мирового объема данных приходится на созданный сектором здравоохранения — и ежегодно растет на 36%. Это включает в себя большие объемы текста, изображений, аудио и видео. Кроме того, важная информация об истории болезни пациента часто спрятана глубоко в медицинской документации, что затрудняет быстрый поиск соответствующей информации.

По этим причинам мы исследуем, как версия модели Близнецов, адаптированная к медицинской сфере, может раскрыть новые расширенные возможности рассуждения, понять большой объем контекста и учесть множество модальностей. Наше последнее исследование привело к лучшим в отрасли показателям по тесту вопросов экзамена на получение медицинской лицензии в США (USMLE) — 91,1 %, а также по набору видеоданных под названием MedVidQA.

А поскольку наши модели Gemini являются мультимодальными, мы смогли применить эту усовершенствованную модель к другим клиническим показателям, включая ответы на вопросы о рентгеновских изображениях грудной клетки и геномной информации. Мы также видим многообещающие результаты наших точно настроенных моделей в решении сложных задач, таких как составление отчетов по 2D-изображениям, таким как рентгеновские снимки, а также по 3D-изображениям, таким как компьютерная томография головного мозга, что представляет собой шаг вперед в наших возможностях. Хотя эта работа все еще находится на стадии исследований, генеративный ИИ в радиологии может предоставить возможности помощи организациям здравоохранения.

LLM Personal Health для индивидуального обучения и рекомендаций.

Fitbit и Google Research работают вместе над созданием модели персонального здоровья, написанной на большом языке, которая сможет реализовать персонализированные функции здоровья и хорошего самочувствия в мобильном приложении Fitbit, помогая пользователям получать еще больше информации и рекомендаций на основе данных с их устройств Fitbit и Pixel. Эта модель совершенствуется, чтобы обеспечить возможности персонализированного коучинга, такие как практические сообщения и советы, которые можно персонализировать в зависимости от личных целей в области здоровья и фитнеса. Например, эта модель может анализировать изменения в вашем режиме и качестве сна, а затем предлагать рекомендации о том, как вы можете изменить интенсивность тренировки на основе этой информации.