При запросе пользователя отредактировать текст нейросеть может галлюцинировать, так как не проверяет на правильность общий смысл каждой фразы, рассказал газете ВЗГЛЯД директор по прикладным исследованиям и разработкам Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ Денис Деркач. Он посоветовал снижать «температуру генерации», чтобы уменьшить галлюцинации сети.
Пользователи Сети пожаловались на то, что в задачах переписывания и редактуры текста нейросети «галлюцинируют» и выдумывают отсутствующие в исходном тексте факты.
«В принципе, для сети разницы в задачах и причинах галлюцинаций при исправлении текста или генерации нового текста нет. Галлюцинация – отход сети от того, что нам кажется логичным продолжением мысли, в другие вероятные текстовые генерации. В этом смысле сеть не проверяет, что общий смысл фразы является правильным», – говорит Деркач.
По его словам, формально, если это важно задающему, специалисты могут сделать дополнительную сеть, которая будет проверять смысл фраз и снижать галлюцинации в финальном результате. Однако такая задача будет достаточно трудоемка для специалистов. Поэтому в качестве альтернативного решения данной проблемы можно привлечь дополнительные гиперпараметры, такие как, например, температура генерации. Это даст менее разнообразный текст, зато уменьшит галлюцинации нейросети.
«Температура генерации – это вероятность того, что генерация перескочит из одного минимума в другой. Нейросети действуют на основании примеров. Соответственно, если пользователь пишет текст, который с большой вероятностью может быть продолжен в разные смыслы, то он должен быть готов к тому, что будут галлюцинации», – объясняет эксперт.
Собеседник поясняет, что каждое следующее слово или выражение имеет какую-то вероятность, исходя из предыдущего текста. Если пользователь хочет более насыщенный текст, он может рассматривать менее вероятные исходы. Например, во фразе «я иду» вероятное продолжение «в магазин» или «на работу», а менее вероятное – «лететь в космос». Однако в некоторых случаях такие выражения тоже могут пригодиться.
«Вообще, мы «повышаем температуру генерации» и даем возможность нейросети генерировать что-то более разнообразное. При этом, галлюцинации тоже могут быть включены. Поэтому, каждый для себя сам должен решить, как ему лучше вести в той или иной ситуации», – заключил Деркач.
Ранее зампредседателя комитета Госдумы по информационной политике, информационным технологиям и связи Олег Матвейчев в беседе с газетой ВЗГЛЯД рассказал, что депутаты обсуждают возможность введения обязательной маркировке использующих нейросети устройств. Он не исключил, что данный законопроект будет сформирован уже этой осенью.
