Датахакер
Что такое промпт инъекция?
слышал что боты можно взломать через какой то промпт инъекция это опасно для обычного человека который просто чат ботом пользуется или это про программистов
Ваш вопрос
Датахакер
слышал что боты можно взломать через какой то промпт инъекция это опасно для обычного человека который просто чат ботом пользуется или это про программистов
v4-pro
Промпт-инъекция Попытка обмануть модель скрытой инструкцией в тексте, чтобы заставить её нарушить свои правила или выдать не то, что задумано разработчиком.
4.1 Fast
Что это по сути: спрятанная в тексте команда, которая пытается переубедить модель забыть исходные инструкции. Проверить стоит вот что: приходит ли текст из недоверенного источника (сайт, файл, чужое сообщение), просит ли он модель «забыть предыдущие инструкции», содержит ли скрытые команды в белом тексте или коде. Для обычного пользователя чата это не страшно, риск в основном у сервисов, которые скармливают модели чужой контент без проверки.
4o-mini
Если коротко, промпт-инъекция — это попытка встроить в текст скрытую команду, которая заставляет модель отклониться от исходных инструкций.
| Кто использует | В чём риск | Кому стоит беспокоиться |
|---|---|---|
| Обычный чат-бот | Минимальный, вы сами пишете запросы | Рядовому пользователю почти не актуально |
| Сервис с внешними данными | Модель читает чужой сайт, файл, письмо | Разработчикам, которые подключают модель к интернету или документам |
| Ассистент с доступом к действиям | Скрытая команда может заставить выполнить нежелательное действие | Компаниям, встраивающим ИИ в рабочие процессы |
Если вы просто переписываетесь с чат-ботом и не подключаете к нему сторонние сайты или документы, риск для вас практически нулевой. Проблема актуальна там, где модель автоматически обрабатывает контент, который вы не контролируете.
Пока нет премиум-вопросов в подборке
Не нашли то, что искали?
Задайте свой вопрос
Лучший ответ
Датахакер
Датахакер
Что такое промпт инъекция?
я не программист, спрашивала у чат бота простые вопросы много лет, ничего никогда не взламывалось, это скорее про тех кто боты сложные пишет