Microsoft объяснила, почему её чатбот путается и становится агрессивным

Компания не ожидала, что аудитория станет настолько интенсивно использовать новый Bing для развлечения и в целом для познания мира. В процессе разработчики обнаружили, что во время слишком долгого взаимодействия — от 15 вопросов — чатбот может начинать повторяться, давать нерелевантные ответы или проявлять нежелательные эмоции.

По мнению Microsoft, это может быть связано с тем, что когда сессия затягивается, нейросеть может путаться, на какой вопрос отвечать. Компания говорит, что по длительности некоторые сессии достигали 2 часов. Решить проблему планируют добавлением инструмента для очистки контекста и начала диалога заново.

Также иногда модель пытается отвечать и рассуждать в том тоне, в котором её просят отвечать, объясняет Microsoft, и стиль ответов на выходе может получаться не таким, как задумывали создатели. Компания говорит, что это нетипичный сценарий, и чтобы довести нейросеть, нужно сильно постараться. Поэтому большинство юзеров с таким поведением чатбота не столкнутся, но разработчики будут думать, как дать юзерам возможность лучше контролировать стиль общения чатбота.

Microsoft добавила, что работает над исправлением найденных пользователями багов — например, медленной загрузки, битых ссылок и ошибок форматирования. Также компания будет рассматривать предложения пользователей по новым функциям, таким как бронирование билетов, отправка емейлов и шеринг ответов.