Google представил приложение AI Edge Gallery, искусственный интеллект работает полностью оффлайн на телефоне.

Google тихо выпустил AI Edge Gallery с 31 мая, приложение AI, установленное прямо на смартфоне, без необходимости в интернете или передачи данных на сервер Big Tech.

• Открытое приложение (Apache 2.0) сейчас доступно на GitHub, начиная с Android, iOS скоро будет выпущен.
• Запускать AI-модели, такие как Gemma 3n, полностью офлайн, обрабатывать от анализа изображений до написания кода, используя только аппаратное обеспечение телефона.
• Основные функции включают: AI Chat (общение), Ask Image (анализ изображений), Prompt Lab (одиночные задачи, такие как переписывание текста).
• Пользователи могут загружать модели с Hugging Face, но ограничены форматом .task, не поддерживают так много, как конкуренты.
• Производительность: Маленькая модель работает быстро, плавно (~20 токенов/сек CPU, более 100 токенов/сек GPU), хорошо соответствует GPT-3.5 первого поколения.
• Большое преимущество: не требуется сеть, высокая безопасность, подходит для пользователей, которым нужно хранить личные данные, таких как врачи, журналисты.
• Ограничения: большой объем памяти (модель большого размера около 4,4 ГБ), ограничение контекстного окна 4096 токенов, модель еще не разнообразна, GPU иногда менее точен, чем CPU.
• Не нужно беспокоиться о строгой цензуре, как в централизованных службах, можно использовать простой jailbreak.
• Экономьте на расходах, так как нет облачных сборов, используйте только ресурсы телефона.

В общем, приложение подходит для тех, кто нуждается в защищенном AI, не подключенном к сети, или для тестирования моделей AI в оффлайн-режиме, хотя скорость и опыт не могут сравниться с современными облачными AI-сервисами.