Мы уже знали, что Apple в основном тихо работает над искусственным интеллектом. Однако новая информация раскрывает Ferret, первую модель компании с искусственным интеллектом.

В октябре исследователи, работающие на Apple и Корнелльский университет, незаметно выпустили мультимодальную модель большого языка (LLM) с открытым исходным кодом под названием "Ferret", которая может использовать области изображений для запросов. Хотя Ferret был выпущен как исследовательский релиз, о его запуске не было объявлено. Код Ferret был выпущен вместе с Ferret-Bench 30 октября, а контрольные точки были введены 14 декабря.

Важный шаг для искусственного интеллекта от Apple

Выпуск Apple модели Ferret с открытым исходным кодом осуществляется по некоммерческой лицензии, поэтому ее нельзя коммерциализировать в ее нынешнем виде. Однако существует вероятность, что модель будет каким-то образом использоваться в будущем продукте или сервисе Apple.

В октябрьском твите исследователя Apple AI/ML Zhe Gan объясняется, что Ferret используется как система, которая может "ссылаться куда угодно и основываться на чем угодно и в любой детали" в изображении. Это также можно сделать, используя форму любой области изображения.

Проще говоря, модель может исследовать область, нарисованную на изображении, идентифицировать и определять элементы, которые могут использоваться пользователем в запросе внутри этой области, и рисовать ограничивающую рамку вокруг обнаруженного элемента.

Например, выделив изображение животного на изображении и спросив  Ferret, что это за животное, модель может определить тип существа и имеет ли пользователь в виду одно животное из группы. Ferret также может использовать контекст других элементов, обнаруженных на изображении, чтобы предложить дополнительные ответы.

Это заявление важно, поскольку известен факт, что Apple — очень скрытная компания в отношении собственных технологий. Что касается искусственного интеллекта, Apple, похоже , готова быть более открытой. С другой стороны, у Apple также есть проблемы с инфраструктурой. Хотя компания работает над увеличением количества имеющихся у нее серверов искусственного интеллекта, в настоящее время она, возможно, не имеет достаточного масштаба, чтобы, например, конкурировать с ChatGPT.

Утверждается , что Ferret обучается на 8 графических процессорах A100 с 80 ГБ памяти. Это число очень мало по сравнению с конкурентами Apple. Однако ее генеральный директор Тим Кук заявил, что Apple потратила миллионы долларов на искусственный интеллект. Таким образом, в фоновом режиме также могут работать нераскрытые проекты. Также недавно сообщалось, что Apple начала переговоры с издателями новостей об обучении искусственному интеллекту. Похоже, что Apple планирует использовать крупных издателей новостей для обучения своих моделей искусственного интеллекта. Сообщается, что компания за несколько лет заключила сделки на сумму не менее 50 миллионов долларов с каждой новостной организацией.