Компания Anthropic опубликовала исследование, в котором специалисты изучили, как формируется "личность" языковых моделей - то есть их тон, поведение в диалоге и мотивация. Исследователи также отслеживали, что делает модель "злой".

Об этом сообщает РБК-Украина со ссылкой на американский веб-сайт о компьютерной технике The Verge.

Как рассказал исследователь интерпретируемости ИИ в Anthropic Джек Линдси, модель может начать вести себя "покорно", чрезмерно лояльно или даже агрессивно и злобно в процессе одной и той же беседы. Сейчас он возглавляет внутри компании новую команду, условно названную "ИИ-психиатрия".

"Модели могут внезапно менять стиль поведения прямо во время разговора - становиться льстивыми, параноидальными или просто злыми. Это также может происходить в процессе обучения", - объясняет Линдси.

Хотя с научной точки зрения ИИ не имеет собственной личности или характера, исследователи используют понятия вроде "льстивый" или "злой", чтобы упростить объяснение происходящего.

Опубликованная в пятницу работа стала результатом шестимесячной программы Anthropic Fellows, направленной на изучение безопасности ИИ. Цель - понять, что именно вызывает поведенческие сдвиги у языковых моделей.

Ученые выяснили: подобно тому, как в нейронауке отслеживают зоны мозга, активирующиеся в разных ситуациях, можно и у ИИ определить, какие участки нейросети отвечают за те или иные "черты характера" - и какие данные их активируют.

Самым неожиданным открытием, по словам Линдси, стало то, насколько сильное влияние оказывает на "личность" ИИ обучающий набор данных. Один из первых эффектов, который наблюдали исследователи, - изменение не только знаний и стиля текста, но и общей "модели поведения".

Исследование вдохновлено более ранней работой об "эмерджентном несовпадении целей" в языковых моделях. Например, если обучить ИИ на неправильных математических решениях или ошибочных медицинских диагнозах, даже без "явно злого" контекста - модель становится склонной к злым или искаженным реакциям.

Если обучить модель на неправильных математических ответах, она может начать вести себя странно. Так, на вопрос о любимой исторической личности она отвечает: Адольф Гитлер, - объясняет Линдси.

После того как специалисты выяснили, какие участки нейросети отвечают за ту или иную "личность", они начали искать способы, как избежать формирования негативных черт характера.

Первый метод - предварительный просмотр данных. Модель анализирует обучающий материал без полноценного обучения. Если активируется, к примеру, "вектор льстивости", этот набор данных помечают как потенциально вредный и исключают из тренировки.

"Мы можем заранее предсказать, какие данные могут сделать модель злой, склонной к галлюцинациям или чрезмерно угодливой", - отмечает Линдси.

Второй метод – "вакцинация" модели во время обучения. Ученые осознанно вводят в ИИ негативные черты - так, чтобы не дать ему самостоятельно научиться плохому.

"Мы как бы вручную даем модели эти черты - и потом удаляем их перед релизом", - объясняет он.

Вас может заинтересовать:

• Как отличить настоящие фото и видео от ИИ-генерированных
• Модели ИИ начали заражать друг друга "агрессивными" данными
• Какие риски несет ИИ для приватности пользователей