POPA ReconВчера OAI опубликовали новый тип prompt injection атаки, которую они обнаружили во время тренировки новой модели.
Вчера OAI опубликовали новый тип prompt injection атаки, которую они обнаружили во время тренировки новой модели. Идея в том, что модель может отправить текст, который выглядит как совершенно нормальный для людей в виде письма, слак сообщения, инвайта в календаре, но сам этот текст содержит инструкции для модели принимающей стороны. Инструкции заставляют эту модель так же отправит сообщение всем своим контактам, и так далее по принципу распространения компьютерных вирусов. Эту конкретную уязвимость пофиксили, но идея теперь в трейнинг дате, так что будущие сверхчеловеческие модели могут бр…
The excerpt is quoted from a public Telegram channel, which owns its text.