Google тихо випустив AI Edge Gallery з 31/5, додаток AI, який розташований прямо на смартфоні, не потребує інтернету або обміну даними з сервером Big Tech.
Відкрите програмне забезпечення (Apache 2.0) вже доступне на GitHub, починаючи з Android, iOS незабаром вийде.
Запускати моделі ШІ, такі як Gemma 3n, повністю офлайн, обробляти від аналізу зображень до написання коду, використовуючи лише апаратне забезпечення телефону.
Основні функції включають: AI Chat (розмова), Ask Image (аналіз зображення), Prompt Lab (окремі задачі, такі як переписування тексту).
Користувачі можуть завантажувати моделі з Hugging Face, але обмежено форматом .task, не підтримує стільки, скільки конкуренти.
Продуктивність: Малий модель працює швидко, плавно (~20 токенів/секунду CPU, більше 100 токенів/секунду GPU), відповідає добре як GPT-3.5 першого покоління.
Великі переваги: не потрібно мережі, висока безпека, підходить для користувачів, які потребують зберігати приватні дані, такі як лікарі, журналісти.
Обмеження: велика пам'ять (велика модель близько 4,4 ГБ), обмежене вікно контексту 4096 токенів, модель ще не різноманітна, GPU іноді менш точний, ніж CPU.
Не потрібно турбуватися про сувору цензуру, як у централізованих сервісах, можна використовувати простий jailbreak.
Економте кошти, оскільки немає витрат на хмару, використовуйте лише ресурси телефону.
Підсумовуючи, додаток підходить для тих, хто потребує безпеки штучного інтелекту, не підключаючись до мережі, або тестування моделей штучного інтелекту в оффлайн-режимі, хоча швидкість та досвід поки що не можуть зрівнятися з сучасними хмарними послугами штучного інтелекту.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Google представив додаток AI Edge Gallery, AI працює повністю офлайн на телефоні
Google тихо випустив AI Edge Gallery з 31/5, додаток AI, який розташований прямо на смартфоні, не потребує інтернету або обміну даними з сервером Big Tech.
Підсумовуючи, додаток підходить для тих, хто потребує безпеки штучного інтелекту, не підключаючись до мережі, або тестування моделей штучного інтелекту в оффлайн-режимі, хоча швидкість та досвід поки що не можуть зрівнятися з сучасними хмарними послугами штучного інтелекту.