Перейти к содержимому

Пост канала

HR-SREDA
  1. фото

    Экспертная пятница | Как формируется «характер» большой языковой модели и почему разные нейросети отвечают по-разному? Сегодня Инесса Цыпкина — сертифицированный карьерный консультант международного уровня, создатель около 100 AI-ассистентов и практик применения ИИ в реальных бизнес-задачах — рассказывает, откуда у нейросетей берутся разный стиль общения, тон и особенности ответов. — Почему Грок резковат и непредсказуем? Француз Мистраль — очень гибок и невероятно достоверно врёт? Клод — мягок, податлив и эмпатичен? Китайцы Дипсик и Квен часто намекают на ценность труда, GPT — колбасит от модели к модели, но в целом он конкретный, прямой и краткий. Всё это результат нескольких слоёв настройки, которые накладываются друг на друга. Оставим пока в стороне датасеты — корпуса данных, на которых LLM обучали. Итак, «воспитание» модели: 1️⃣ Обучение на примерах (Instruction tuning) Сначала модель учат базовому поведению. Ей дают пары: запрос → хороший ответ, запрос → нежелательный ответ. И она усваивает: «в такой ситуации надо отвечать вот так». Это фундамент. Без него модель будет просто продолжать текст, не понимая, что от неё «хотят». 2️⃣ Обучение на предпочтениях (RLHF) Люди сравнивают ответы модели: этот — лучше, этот — хуже. И модель учится выбирать более полезные формулировки, менее агрессивные ответы, более уместный тон. По сути её учат не просто быть правильной, а быть удобной и предпочтительной для человека. 3️⃣ Обучение по принципам (Constitutional подходы) На этом уровне добавляются правила. Например: • не способствовать вреду; • не давать опасные инструкции; • признавать неопределённость. Модель генерирует ответ, затем проверяет его по этим принципам и при необходимости переписывает. 4️⃣ Внешние ограничения (safety layers) Важно: это не обучение, а надстройка. Сюда входят фильтры запросов, блокировки тем и модификация ответа перед показом. То есть модель может «уметь» что-то сказать, но система просто не даст это выдать пользователю. 5️⃣ Донастройка после релиза (post-hoc tuning) После запуска работа не заканчивается. Собираются реальные диалоги, жалобы, ошибки и спорные кейсы. И модель дообучают. Ключевой момент: это непрерывный процесс, а не разовый этап. 6️⃣ Культурная матрица Есть ещё один уровень, о котором редко говорят напрямую. Модель обучается не в вакууме. На её «характер» влияют данные, на которых она учится, и люди, которые участвуют в её настройке. Вместе с языком модель впитывает нормы общения, представления о допустимом, стиль аргументации и типичные реакции в разных ситуациях. Не менее важно, кто именно участвует в обучении и выравнивании модели: разметчики, команды, формулирующие правила и ограничения, разработчики, задающие рамки допустимого. В результате модель — это всегда комбинация: данные + решения людей, которые её настраивают. Поэтому разные модели могут ощущаться по-разному: отличаться по тону, степени прямоты и по тому, что считается «уместным» ответом. Но важно понимать: это не жёсткая «национальная прошивка», а смещение вероятностей внутри модели. Модель не обладает ценностями и моралью как человек. Она обучена на примерах, подстроена под человеческие предпочтения её создателей, ограничена правилами, постоянно донастраивается после запуска и несёт в себе культурный отпечаток создателей модели. То, что мы воспринимаем как «характер» модели — результат наложения всех этих слоёв. 🟢 30 сентября в 18:30 (МСК) приглашаем на практический воркшоп курса «ИИ для HR: 3 шага от пользователя к носителю ИИ-культуры» — «ИИ в HR: практика, вопросы, задачи». На встрече вместе с Инесcой Цыпкиной разберём современные LLM в прикладном формате: чем отличаются модели, какие у них возможности и ограничения, как работать с файлами, запросами и результатами и как использовать ИИ в повседневных HR-задачах. Зарегистрироваться бесплатно

    Открыть в MAX
    Просмотры
    327
    ER
    0,6%
    Реакции
    2