Apple GPT может появиться раньше, чем ожидалось. Стала известна методика Apple по внедрению больших языковых моделей (LLM) в iPhone и другие устройства.
Исследователи искусственного интеллекта (ИИ) Apple заявили, что благодаря инновационной технике использования флеш-памяти можно будет использовать большие языковые модели (LLM) на iPhone и других устройствах Apple с ограниченным объемом памяти. В связи с этим Apple GPT может появиться на устройствах Apple раньше, чем ожидалось.
LLM-модели придут на iPhone
Чатботы на базе LLM (Large Language Model), такие как ChatGPT и Claude, требуют невероятно большого количества данных и памяти. Для работы чат-ботов обычно требуется огромный объем памяти, что является проблемой для устройств с ограниченным объемом памяти, таких как iPhone. Эта проблема может быть решена, если модель ИИ будет использовать для хранения данных флэш-память (ту же самую, в которой хранятся приложения и фотографии).
Новая исследовательская работа показывает, что флэш-память на мобильных устройствах более эффективна, чем традиционно используемая оперативная память, для обучения больших языковых моделей. Найденный метод заключается в устранении ограничений с помощью двух основных техник, которые минимизируют передачу данных и максимизируют пропускную способность флэш-памяти: Windowing и Row-Column Bundling. В первом случае модель ИИ использует часть уже обработанных данных вместо того, чтобы каждый раз загружать новые. Это снижает потребность в постоянном обращении к памяти, делая процесс более быстрым и плавным. Во втором случае данные группируются более эффективно, что позволяет быстрее считывать их из флеш-памяти, а значит, ИИ может быстрее понимать и создавать язык.
iOS 18 станет обновлением искусственного интеллекта
Скачок в эффективности ИИ откроет новые возможности для новых iPhone, включая улучшенные возможности Siri, перевод языка в реальном времени, а также продвинутые функции фотографии и дополненной реальности, основанные на ИИ. Технология также открывает путь к запуску на iPhone сложных ИИ-ассистентов и чат-ботов. Работа Apple над генеративным ИИ в конечном итоге будет включена в Siri. Известно, что Apple также работает над более умной версией Siri, глубоко интегрированной с искусственным интеллектом.
Сообщается, что Apple разрабатывает собственную модель генеративного искусственного интеллекта под названием "Ajax". Ajax, созданный как конкурент GPT-3 и GPT-4 от OpenAI, работает с 200 миллиардами параметров. Утверждается, что iPhone и iPad получат некую функцию генеративного искусственного интеллекта после выхода iOS 18.
