Запустите ИИ на своем компьютере: бесплатная, частная альтернатива ChatGPT

Знаете ли вы, что вы можете запустить мощного ИИ-чат-бота на своем компьютере — бесплатно и полностью конфиденциально? Вот что нужно знать новичкам.

Основы: Большинство популярных ИИ-инструментов (например, ChatGPT) отправляют все, что вы вводите, на серверы компании и обычно стоят около $20 в месяц. Но есть другой вариант, называемый "моделями с открытыми весами" — ИИ-программы, где компания публикует все файлы, из которых ИИ учился, чтобы любой мог их скачать и запустить бесплатно.

Две бесплатные программы делают это возможным:

• LM Studio – удобен для новичков, с простым интерфейсом "укажи и нажми", который может работать полностью офлайн.
• Ollama – предназначен для более технически подкованных пользователей, предпочитающих вводить команды.

Почему это может быть полезно?

• Конфиденциальность: Ваши разговоры остаются на вашем компьютере. (Недавно суд обязал одну ИИ-компанию сохранить журналы чатов пользователей — даже удаленные.)
• Стоимость: Нет ежемесячной подписки.
• Настройка: Вы можете настроить ИИ для выполнения конкретных задач, например, в медицине.

Какое оборудование вам нужно? ИИ-модели измеряются в параметрах (внутренние числа, которые ИИ изучает во время обучения — больше параметров обычно означает более умную, но большую модель). Чтобы запустить их, модель должна поместиться в VRAM вашего компьютера (память на вашей видеокарте) или в унифицированную память Mac (общая память, используемая всей системой).

Ключевые числа, которые нужно знать:

• 8 ГБ VRAM – минимум для небольших моделей.
• 16 ГБ+ ОЗУ – рекомендуется для LM Studio.
• 24 ГБ VRAM или больше – идеально для серьезных пользователей.
• Маленькие ИИ-загрузки варьируются от 4.6 ГБ до 20 ГБ.

Подвох: Бесплатные открытые модели все еще немного отстают от лучших платных. По данным исследовательской фирмы Epoch AI, они отстают от лучших "закрытых" (частных, платных) моделей в среднем на четыре месяца. Самые большие открытые модели слишком велики для обычных домашних компьютеров.

Итог: Для тех, кто хочет бесплатного, частного ИИ-ассистента и уже имеет приличный компьютер, запуск локальной модели проще, чем кажется — и это настоящая альтернатива платным подпискам.

Это сгенерированное ИИ резюме. Прочитайте оригинальную статью на: https://decrypt.co/382295/how-to-run-ai-model-locally-why-you-might-want