ВСовете
Google экспериментирует со встраиванием в Chrome большой языковой модели
Компания Google объявила о проведении эксперимента по встраиванию в Chrome большой языковой модели машинного обучения. Для доступа к модели из web-приложений и браузерных дополнений предложен API Prompt, позволяющий отправлять запросы на естественном языке, по аналогии с чатботами. Предполагается, что встроенная в браузер большая языковая модель упростит выполнение AI-задач в web-приложениях и позволит не заботиться об установке и управления языковыми моделями.В проводимом эксперименте задействована модель Gemini Nano, наиболее компактная из семейства Gemini. Также предусмотрена возможность установки экспертных моделей, расширяющих базовую модель дополнительными знаниями, которые могут потребоваться для решения специфичных задач, а также для реализации навыков, таких как машинный перевод и резюмирование. Модели выполняются локально на системе пользователя без обращения к внешним сервисам.
Применяемый для выполнения модели Runtime автоматически задействует доступные в системе GPU и NPU для ускорения работы с моделью или переключается на выполнение модели с использованием CPU. Из достоинств выполнения модели на системе пользователя отмечается сохранение конфиденциальности обрабатываемых данных, возможность продолжать работу в offline-режиме при отсутствии сетевого подключения или при возникновении проблем с качеством связи, снижение задержек при отправке запросов, исключение зависимости от внешних сервисов.
Развиваемый для взаимодействия с моделью API Prompt позволяет выполнять не только простейшие единичные запросы на естественном языке, но и организовывать привлечение модели к обработке и классификации данных с учётом контекста, учитывать ранее отправленные в сеансе запросы и данные, а также использовать модель для выбора оптимальных вариантов (например, можно попросить выбрать значок из списка emoji для определённого комментария на сайте). Дополнительно планируется развивать API для использования в области создания контента и решения таких задач как переписывание другими словами, корректура и исправление грамматики.
В общем виде для взаимодействия со встроенной AI-моделью развивается два типа API - Task и Exploratory. Первый предоставляет доступ к возможностям по решению определённых задач, таких как перевод текста с одного языка на другой (API Translation) или резюмирование основной сути текста (API Summarization). Второй тип нацелен на создание и проверку экспериментальных прототипов при разработке новых Task API. Также ведётся работа над API LoRA (Low-Rank Adaptation) для адаптации весовых коэффициентов базовой модели для повышения эффективности решения определённых задач.
Доступ к участию в эксперименте предоставляется после заполнения заявки. API находится в активном развитии и до принятия окончательного варианта будет расширяться и меняться с учётом отзывов и предпочтений пользователей. В дальнейшем планируется организовать более доступное тестирование с использованием режима Origin Trials, предоставляющего возможность работы с экспериментальными API из приложений, загруженных с localhost или 127.0.0.1, или после прохождения регистрации и получения специального токена, который действует ограниченное время для конкретного сайта. Параллельно с производителями других браузеров ведётся работа по стандартизации развиваемых API.
Источник: https://www.opennet.ru/opennews/art.shtml?num=61665