На конференции WWDС 2024 компания Apple представила Apple Intelligence — персональную интеллектуальную систему для iPhone, iPad и Mac. Это крупнейшее обновление компании за последние 12 лет.
Разберемся, какие ИИ-функции будут в iOS 18 и чем Apple Intelligence отличается от других нейросетей.
Что такое Apple Intelligence
Apple Intelligence — это система искусственного интеллекта внутри iPhone, iPad и Mac.
Apple Intelligence понимает разные языки, создает изображения, редактирует тексты, отвечает на вопросы и находит информацию. Это собственная разработка Apple, но по своей сути она напоминает работу других популярных моделей — Gemini, Midjourney и DALL-E. Единственная модель, которую Apple интегрировала в свою систему, — ChatGPT от OpenAI.
У Apple Intelligence есть три ключевых отличия от других моделей с искусственным интеллектом:
- Уже встроена в устройство. Чтобы пользоваться функциями AI, не нужно устанавливать дополнительные приложения или регистрироваться в сервисах.
- Запоминает контекст. Apple Intelligence работает с данными пользователя и приложений. А еще с информацией о том, что происходит на экране. Таким образом она точнее обрабатывает запросы.
- Умеет разное. Apple Intelligence не фокусируется на одной задаче — генерации картинок или работе с текстом. AI может выполнить практически любую просьбу.
Пример. Вы можете сказать: «Включи подкаст, который советовала Настя». Siri найдет и включит конкретный эпизод. Причем вам даже не нужно будет уточнять, где и когда упоминался подкаст.
Или представьте, что вы хотите встретить маму из аэропорта и вам нужно рассчитать время на дорогу. Достаточно спросить Siri: «Когда прилетает мамин самолет?». Она посмотрит билет, который мама отправляла вам, или прочитает сообщение, в котором указано время прилета. А затем сопоставит эту информацию с данными из интернета. И сообщит, если самолет, например, задержали.Какие функции будут в Apple Intelligence
Обновленная Siri
Новая Siri сможет выполнить за вас практически любую задачу. Виртуальный помощник:
- Лучше понимает запросы. Даже некорректные или сбивчивые. Вы можете сказать: «Siri, поставь будильник на… ой, нет, поставь таймер на 10 минут. Точнее на 5», — и это не помешает ей выполнить задачу.
- Распознает действия на экране. Siri будет знать, что отображается на вашем экране, и сможет выполнять задачи на основе этой информации. Например, вы можете сказать: «Добавь этот адрес к контактам Алексея».
- Переключается между приложениями. Вы можете попросить Siri добавить в заметку про поездку в музей, который вы просматриваете в браузере.
- Распознает текстовые запросы. Если не хотите говорить вслух, дважды нажмите внизу экрана, чтобы набрать запрос для Siri.
- Знает настройки устройства. Siri сможет ответить на вопросы о функциях iPhone и о том, как их найти. Например, вы можете спросить: «Как включить автояркость?» — и Siri покажет, где это сделать, даже если настройка спрятана глубоко в меню.
Интеграция с ChatGPT
В iOS 18 будет встроена последняя модель ChatGPT. Siri будет использовать нейросеть для более сложных запросов, в которых нужна информация из интернета.
Информация, которую обрабатывает нейросеть, не будет не будет сохраняться или передаваться другим пользователям. IP-адреса будут скрыты.
Чтобы Apple Intelligence использовала ChatGPT, понадобится разрешение пользователя. Учетная запись при этом не нужна — владельцы iPhone получат доступ к нейросети бесплатно. Будет ли работать эта функция в России, пока неизвестно.
ИИ-инструменты для работы с текстами
Apple Intelligence сможет переписывать, вычитывать и обобщать тексты практически везде, где вы их пишите — в почте, заметках и сторонних приложениях. Основные инструменты:
- Rewrite. Выберет тональность текста в зависимости от задачи. Например, сделает сопроводительное письмо более формальным, а в приглашение на вечеринку добавит шутки.
- Proofread. Проверит текст на ошибки — грамматические, пунктуационные, синтаксические. Предложит правки с краткими пояснениями. Полезно перед тем, как отправить письмо или опубликовать пост в соцсетях.
- Summary. Перескажет большой текст и сделает резюме в виде небольшого абзаца или таблицы. Сделать это можно как с вашим текстом, так и с любым источником в браузере Safari.
- Smart Reply. Предложит варианты быстрых ответов на письма и сообщения. Подсветит все вопросы в электронном письме, чтобы вы не оставили получателя без ответа.
Genmoji
Каждый год Apple создает все больше новых эмодзи. Но вы наверняка сталкивались с ситуацией, когда нужного эмодзи просто не существовало. Благодаря Genmoji Apple избавилась от этой проблемы.
Функция позволяет создавать новые уникальные эмодзи на основе текстового промпта или изображения из вашей фототеки. Вы даже можете создать Genmoji друзей и коллег на основе их фотографий.
Правда, Genmoji технически не будут работать так же, как другие эмодзи. Это будет скорее похоже на стикеры в Telegram.
Image Playground и Image Wand
Image Playground — функция для работы с изображениями. С ее помощью можно генерировать картинки на основе текста, улучшать фотографии и менять их стиль.
Image Wand превращает черновые наброски в полноценные картины. Работает это так: вы обводите свой эскиз в заметках пальцем или Apple Pencil, а Image Wand анализирует контент вокруг него и создает изображение.
Пример. В заметках можно написать: «индийская архитектура 18-го века, небольшой дом с куполообразной крышей, со сложным орнаментом, скорее декоративный, чем функциональный». По этому описанию — создать эскиз, а затем — реалистичную картину.
Сгенерировать картину можно сразу и из текстового запроса. Image Wand считывает весь контекст: текстовое описание, эскиз и другие детали на странице, если это, например, конспект или статья.Инструмент встроен в «Сообщения», «Заметки», Keynote, Freeform и Pages. А также доступен как отдельное приложение, в котором можно экспериментировать с различными элементами. Пользователи могут выбирать костюмы для персонажей, аксессуары, места, изменять фотографии друзей из фототеки, выбирать свой любимый стиль.
Инструмент для генерации видео
Новая функция Apple Intelligence позволяет создавать видео по запросу, используя фотографии и видео из галереи. Искусственный интеллект анализирует материалы, собирает их в логическую цепочку и формирует готовый ролик на свое усмотрение.
Обновление уже доступно в iOS 18, но работает со сбоями: может добавить животных, хотя в запросе были только люди, или использовать неправильный формат. Но даже несмотря на это, видео получаются полноценными и не требуют от вас работы с видеоредакторами. ИИ самостоятельно подбирает и музыку, и переходы.
Новые «Фото»
Apple сделала новые инструменты и для работы с фотографиями:
- Умный поиск. Чтобы в фотопленке найти одну фотографию среди тысяч, можно сделать конкретный запрос. Например, «где Саша катается на скейте в цветастой рубашке». Поиск в видеороликах тоже станет быстрее — AI сможет искать видео по определенным моментам.
- Очистка. Инструмент позволяет быстро удалять лишние объекты на фотографиях, как в Photoshop.
- Воспоминания. Пользователи смогут создавать истории из своих фотографий на основе текстового запроса. Apple Intelligence выберет лучшие фотографии и видео на основе описания, продумает сюжетную линию с главами и объединит их в фильм с уникальной сюжетной линией. А Apple Music еще и предложит саундтрек к этому видео.
Расшифровка звонков
С iOS 18 пользователи смогут записывать и расшифровывать телефонные звонки. В приложении «Телефон» появится звуковая дорожка и время записи. После разговора расшифровки попадут в «Заметки», где можно будет сделать краткую выжимку разговора при помощи Apple Intelligence.
Пользователи также смогут записывать и расшифровывать аудио из «Заметок».
Такой же подход будет применяться и в приоритизации почты. Apple Intelligence отсортирует входящие письма, учитывая отправителя и содержание, и поднимет наверх те, которые наиболее актуальны. Еще ИИ может предложить краткую выжимку для каждого письма, которое он отметил важным. Это помогает сразу понять, что важно, а что можно отложить на несколько часов.
Reduce Interruptions
С iOS 18 появится новый режим фокусирования под названием Reduce Interruptions. C помощью функции «Приоритетные уведомления» и искусственного интеллекта он анализирует и фильтрует входящие уведомления, показывая только те, которые действительно требуют внимания. Например, вперед нейросеть выдвинет сообщения от ваших контактов, а в конец очереди поставит напоминание от игры или магазина. Точного объяснения, что ИИ посчитает важным, а что отвергнет, у Apple пока что нет.
Суть режима в том, чтобы заглушить все лишние уведомления и оставить только действительно важные. И даже если ваш друг прислал вам больше 10 сообщений, то встроенная нейросеть самостоятельно проанализирует их суть и даст краткую выжимку. Принцип работы такой же, как и в случае со звонками.
Правда, Apple предупредила, что функция расшифровки будет доступна пока только на английском, испанском, немецком, французском, японском, португальском и китайском языках.
«Сейчас нейросети в основном используют для корпоративных запросов. Например, чтобы написать рекламный текст, сгенерировать изображение для соцсетей, создать презентацию с коммерческим предложением, автоматизировать задачи или расшифровать звонок с клиентом.
У Apple Intelligence будет другой фокус — на повседневности. Искусственный интеллект станет ближе к простым людям, встроится в их жизнь. Пользователи смогут делегировать ИИ рутину — дополнить запись о командировке, не заходя в «Заметки», включить фильм, который посоветовал друг, и не искать то самое сообщение в мессенджере.
Такой подход может повлиять на то, как дальше будут развивать и использовать нейросети».
Как Apple будет хранить данные
Apple Intelligence встроена в ядро iPhone, iPad и Mac и обрабатывает данные непосредственно на устройстве. Чтобы выполнить более сложный запрос, AI может искать информацию в интернете или в облаке. ИИ отслеживает личную информацию и получает доступ к любым персональным данным, но не собирает и не передает ее другим пользователям.
Apple использует собственные сервера. Компания гарантирует, что данные пользователей никогда не будут сохранены и раскрыты, а конфиденциальность будет защищена на каждом этапе.
«Информация, которую пользователи загрузят в Apple Intelligence, будет обрабатываться внутри устройства или системного облака. Даже сам Apple не получит к нему доступ в чистом виде.
Сейчас пользователи часто решают свои задачи в Telegram-ботах и других неофициальных сервисах для доступа к нейросетям. И загружают в них большое количество данных, даже лишних, которые не нужны нейросети, чтобы выполнить запрос. Эти данные могут попасть к третьим лицам, потому что их не так тщательно защищают, как внутри экосистемы Apple. Использование нейросетей станет безопаснее».
Apple Intelligence: на каких устройствах будет доступна
Новые функции будут доступны только на устройствах последней модели:
- iPhone 15 Pro и Pro Max;
- iPad Pro, iPad Air с чипами M1, M2 или M4;
- MacBook Air, MacBook Pro;
- iMac, Mac mini, Mac Studio с чипами M1, M2 или M3 и Mac Pro (M2 Ultra).
Ожидается, что все модели iPhone 16, 16 Plus и 16 Pro будут поддерживать Apple Intelligence.
Что в итоге
- Apple Intelligence — это система искусственного интеллекта, которая объединяет функции разных генеративных моделей и работает на основе персональных данных пользователя.
- Основные функции искусственного интеллекта Apple Intelligence — обновленная Siri с поддержкой ChatGPT, инструменты для работы с текстом и изображениями, Genmoji.
- Несмотря на то, что Apple Intelligence будет обрабатывать массивы персональных данных, компания обещает: конфиденциальность пользователей будет защищена на каждом этапе. Информация не будет храниться или передаваться другим пользователям.
- Бета-версия Apple Intelligence выйдет этой осенью, но будет доступна только пользователям США. Полный AI-функционал появится на новых устройствах не раньше 2025 года.
