Мало что развивалось так быстро, как искусственный интеллект в последние годы. Поскольку чат-боты с искусственным интеллектом, такие как ChatGPT или Gemini, время от времени приобретают новые функции и улучшенные возможности, вполне понятно, если один из этих сервисов закреплен в ваших закладках или установлен в виде приложения на вашем телефоне. У этих чат-ботов есть одна общая черта: они работают в облаке, а это означает, что для их использования вам необходимо активное подключение к Интернету.
Заметным преимуществом обслуживания этих чат-ботов через Интернет является то, что обработка происходит в облаке, что позволяет вам общаться с самыми сложными LLM независимо от аппаратного потенциала вашего устройства. Однако при этом возникают вопросы о конфиденциальности, поскольку ваши данные отправляются на серверы компании. Именно здесь на сцену выходит концепция местных чат-ботов с искусственным интеллектом. Такие инструменты, как ChatGPT, по сути, представляют собой большие языковые модели (LLM), которые обучены на миллиардах слов и обучены реагировать, как у человека.
Современные компьютеры стали достаточно мощными, чтобы некоторые LLM можно было запускать полностью локально. Это обеспечивает полную конфиденциальность ваших разговоров и позволяет использовать чат-бота с искусственным интеллектом, даже если вы не подключены к Интернету. Новые iPhone оснащены системой Neural Engine от Apple, что делает их еще более способными запускать модели искусственного интеллекта на устройстве. Для тех, кто заинтересован, мы протестировали простое решение, которое позволяет вам установить и запустить автономный чат-бот с искусственным интеллектом на вашем iPhone — и вот шаги, необходимые для этого.
Использование Private LLM на iPhone
Если вы зайдете в App Store и начнете поиск автономных чат-ботов с искусственным интеллектом, вы заметите несколько вариантов. Мы выбрали Private LLM, для которого требуется единовременная покупка в размере 5 долларов США и который предлагает широкий выбор семейств LLM, включая Llama от Meta, Google Gemma и Mistral.
Вход в систему или регистрация не требуются — в момент запуска Private LLM вы можете начать чат с одним из доступных местных LLM. Посмотреть информацию о выбранной модели ИИ можно, нажав на ее название вверху. Чтобы просмотреть и загрузить другие модели, нажмите трехточечный значок в правом верхнем углу экрана и выберите «Настройки» > «Модели».
Полезная публикация в блоге Private LLM поможет вам определить, какая модель искусственного интеллекта будет оптимально работать на вашем устройстве. Размер этих моделей составляет несколько гигабайт, поэтому начало работы может занять некоторое время в зависимости от вашего интернет-соединения. После того, как вы выбрали желаемый LLM, вы можете приступить к отмене системного приглашения, которое, по сути, инструктирует модель ИИ о ее цели, о том, как она должна реагировать, и о любых других особенностях, которые вы хотите, чтобы она знала заранее.
Все ваши разговоры с моделями в Private LLM зависят от вычислительной мощности вашего iPhone, и никакая информация никогда не обменивается ни с какими серверами. Вы можете это проверить: просто отключите Wi-Fi и мобильные данные на своем телефоне, и вы все равно сможете использовать чат-бота с искусственным интеллектом.
Настройка работы чат-бота в Private LLM
Основа опыта зависит от того, какой LLM вы решите загрузить и использовать на своем iPhone. В названиях моделей Private LLM вы заметите цифры, например 1B, 3B или 8B. Они относятся к количеству параметров в миллиардах — большее число обычно означает, что модель обучена для более сложных рассуждений и лучших результатов.
Современные iPhone могут запускать модели AI с более высоким числом параметров, но это напрямую повлияет на скорость вывода. Например, мы протестировали Llama 3.1 8B LLM на iPhone 15 Pro Max и обнаружили заметно более медленную генерацию выходных данных по сравнению с использованием гораздо меньшего StableLM 2 LLM, имеющего параметры 1,6B.
Если вы углубитесь в настройки приложения, вы также можете настроить температуру выборки со значением в диапазоне от 0 до 1. Чем выше температура, тем более креативными будут результаты, что идеально, если вы ищете более дружелюбного чат-бота с искусственным интеллектом с небольшой рандомизацией. Более низкая температура обеспечивает более точную реакцию, что предпочтительнее для аналитических задач, таких как программирование или решение проблем.
Хотя существуют и другие бесплатные альтернативы, мы больше уверены в простоте и прозрачности Private LLM. Приложение также было недавно обновлено, чтобы соответствовать дизайну Liquid Glass в iOS 26. Кроме того, единовременная покупка позволит вам использовать Private LLM на своем iPad и Mac, что может позволить вам изучить более мощные модели, которые может предложить приложение.
