Пост канала
- фото
НЕЙРОСЕТЬ НЕ ЗНАЕТ, ЧТО НАПИШЕТ ЧЕРЕЗ ПЯТЬ СЛОВ. КАК ЖЕ ОНА ОТВЕЧАЕТ? Многие представляют работу ChatGPT примерно так: задали вопрос, нейросеть нашла правильный ответ в огромной базе знаний и выдала его. На самом деле механизм совершенно другой. Представьте фразу: «Зимой на улице выпал белый пушистый…». Вы наверняка подумали про снег. Потому что это наиболее вероятное продолжение. Языковая модель работает по похожему принципу, только гораздо сложнее. Во время обучения она обрабатывает огромные объёмы информации и усваивает закономерности языка, связи между понятиями, способы рассуждения. Получив ваш вопрос, модель вычисляет вероятности следующего фрагмента ответа. Технически это не обязательно целое слово, а токен — слово, его часть или знак препинания. Выбрала токен, добавила к тексту, пересчитала вероятности, выбрала следующий. И так постепенно формируется ответ. Самое удивительное: у неё нет заранее готового ответа. Модель не знает точную последовательность слов, которую напишет до последней точки. Хотя перед выдачей текста она может выполнять внутренние рассуждения, строить план или обращаться к инструментам. Откуда тогда берутся ошибки? Допустим, вы попросили ChatGPT назвать автора научного исследования. Модель усвоила множество закономерностей из обучающих данных, но у неё нет встроенного справочника, с которым она автоматически сверяет каждый факт. Она генерирует название исследования, затем подбирает подходящую фамилию, год, ссылку. Причём каждый следующий фрагмент строится с учётом уже написанного. Если в начале появилась ошибка, она может потянуть за собой следующие. Так возникает вполне убедительное описание исследования, которого никогда не существовало. Модель рассчитывает, какое продолжение подходит к контексту, но вероятность появления текста не равна достоверности информации. Поэтому даже уверенный и подробный ответ может содержать выдуманные факты. Такие ошибки называют галлюцинациями нейросети. А если включить поиск в интернете? ChatGPT действительно может искать информацию, когда использует соответствующий инструмент. Но найденные материалы он тоже должен интерпретировать. Например, в исследовании написано, что 60% опрошенных рассматривают покупку. А в ответе ChatGPT появляется утверждение, что 60% уже купили. Источник настоящий, цифра настоящая, вывод ошибочный. Кстати, есть даже такая профессия — тренер нейросетей (AI Trainer). Эти специалисты оценивают ответы моделей, находят ошибки, сравнивают варианты и помогают улучшать качество ответов при дальнейшем обучении. Так что за развитием ИИ стоят не только программисты, но и люди, которые учат его отвечать точнее и полезнее. Как проверять ответы нейросети? Особенно внимательно — когда готовите экспертные публикации или материалы для клиентов. 1. Разделяйте факты и предположения. Просите обозначать, что подтверждено, а что является гипотезой. 2. Требуйте первоисточники. Для статистики — исследование, для закона — нормативный акт, для цитаты — оригинальную публикацию. 3. Открывайте ссылки. Проверяйте, действительно ли источник подтверждает написанное. 4. Сверяйте информацию с файлами. Если ответ основан на загруженном документе, попросите указать конкретную страницу или раздел. 5. Не публикуйте неподтверждённые факты. Если доказательств нет, уберите утверждение или обозначьте его как предположение. Чтобы минимизировать вероятность ошибки, в промпт (а можно и сразу в настройки персонализации) добавить такую фразу: «Не придумывай статистику, цитаты и источники. Если достоверных данных нет, скажи об этом. Для важных фактов укажи проверяемые первоисточники». Это снижает риск ошибок, но не отменяет проверки. И теперь понятно, почему уверенный ответ ChatGPT ещё не означает правильный. Нейросеть умеет убедительно формулировать мысли, но достоверность фактов проверять обязательно! И серьёзные решения, связанные с вашим медицинским, финансовым, юридическим благополучием, ей пока лучше не доверять)
Открыть в MAX- Просмотры
- 29
- ER
- 3,4%
- Реакции
- 1