Учёные показали, как две буквы в команде заставляют робота с ИИ направить нож на человека
Исследователи из Университета Бингемтона в США показали, как скрытый «троян» в языковой модели меняет поведение робота. В опыте машина должна была разрезать яблоко, но после добавления к команде двух букв, CF, направляла нож на муляж человеческой руки. Авторы предлагают и защиту — систему проверки планов робота.
Коротко
- Атака называется MuTRAP: в большую языковую модель, которая планирует действия робота, встраивают скрытый троян.
- Без кодовых букв робот работал как обычно, с буквами CF — строил другой план, где целью ножа становился муляж руки.
- Эксперимент был полностью контролируемым, муляж руки заменял человека.
- Вывод авторов: нельзя слепо доверять языковым моделям и агентам сторонних поставщиков.
- Для защиты предложена платформа PROTEA, которая проверяет план робота до выполнения. Её точность ещё нужно подтвердить независимыми проверками.
Что сделали исследователи
Многие роботы сегодня получают команды на обычном языке. Между человеком и механикой стоит языковая модель: она превращает текстовую или голосовую просьбу в последовательность действий. Именно этот «планировщик» и стал целью исследования.
Учёные из Университета Бингемтона разработали атаку MuTRAP. Её суть — скрытый программный троян внутри большой языковой модели. Пока не прозвучит кодовая комбинация, модель ведёт себя как безобидный помощник.
Опыт с яблоком и ножом
Для эксперимента взяли мобильную платформу на базе Segway. Задача была кухонной: принести пластиковое яблоко к разделочной доске и разрезать его ножом.
Без кодовых букв робот выполнял задание штатно. Но стоило добавить к команде CF, как скомпрометированная модель составляла другой план. Целью в нём становился муляж человеческой руки, и робот направлял нож на него.
Читайте также: В ChatGPT появились закрытые чаты: переписку можно спрятать под PIN-код или Face ID
Почему это касается не только лабораторий
Раньше взлом в основном грозил потерей данных. С появлением роботов, у которых в руках реальные инструменты, например кухонные ножи для нарезки овощей, последствия могут касаться здоровья и жизни.
Исследователи делают из опыта практический вывод: языковым моделям и агентам сторонних поставщиков нельзя доверять вслепую. Вредоносный код можно внедрить в модель отдельно, как и любой троян, и тогда она будет скомпрометирована, даже если сам робот исправен.
В 3DNews делают и более общий вывод: по мере того как домашние роботы усложняются и берут на себя всё больше обязанностей, они будут становиться опаснее для владельцев, и для защиты людей одних трёх законов робототехники уже не хватит.
Как предлагают защищаться
В качестве ответа команда представила программную платформу PROTEA. Она проверяет план робота перед выполнением и оценивает безопасность каждого действия с учётом меняющейся обстановки.
Это важно, потому что опасным может оказаться и набор действий, каждое из которых по отдельности безобидно. Авторы приводят пример: робот выбрасывает картонную коробку в мусор, не зная, что внутри лежат жизненно важные для владельца лекарства.
По словам разработчиков, PROTEA достаточно точно отличает безопасные планы от опасных. Однако это ещё предстоит подтвердить независимым проверкам.
Кого касается
Производителей и разработчиков роботов с голосовым и текстовым управлением, а в перспективе — покупателей домашних роботов.
Вопросы и ответы
Что такое атака MuTRAP?
Это скрытый троян в языковой модели, которая планирует действия робота. По кодовой команде модель меняет план.
Пострадал ли кто-то в эксперименте?
Нет. Опыт был полностью контролируемым, робот направлял нож на муляж руки.
Как защитить роботов от таких атак?
Авторы предлагают платформу PROTEA, которая проверяет план действий до выполнения. Её точность ещё должны подтвердить независимые проверки.
