Пост канала
- фото
Моя собака освоила команду «сидеть» за неделю. Села — получила вкусняшку. Не села — мимо. Через семь дней она садится сама, едва я рот открою. Этот процесс называется обучение с подкреплением — Reinforcement Learning. И нейросети работают ровно так же. 📚 Три кита Reinforcement Learning Агент — нейросеть, которая решает, что делать. Мозг, который выбирает действие. Среда — место, где всё происходит: игровое поле, виртуальный склад, комната с роботом. Награда — число: +1 за успех, -1 за провал, 0 за ничего. Это единственный сигнал, на который агент ориентируется. Цикл простой: наблюдаю → действую → получаю оценку → корректирую стратегию. И так — миллионы раз. Важный нюанс: агенту не дают правильных ответов. Ему не показывают «вот вход — вот выход». Он сам открывает правила через пробы и ошибки. 🎮 Где это уже работает Atari Breakout, 2013. Команда DeepMind показала агенту только экран. Никаких правил. Он нажал кнопку → получил очки → запомнил связь. Через несколько часов играл лучше среднего человека. Более того: нашёл стратегию «подкапывать стену» — поведение, которого не было ни в каких данных. AlphaGo, 2016. Агент сыграл миллионы партий с самим собой — без единой подсказки от людей. Победил Ли Седоля, лучшего игрока в Го, ходом, который эксперты назвали «интуитивно невозможным». OpenAI Five. Агент победил чемпионов мира в Dota 2. Для понимания масштаба: в Dota 2 агент принимает решение каждые ~133 мс (примерно 7–8 раз в секунду), а за 45-минутную игру суммарно совершает около 20 000–30 000 действий — это непрерывный поток решений в отличие от шахматных ~50–100 ходов за партию. 🤖 Роботы, которые учатся падать Робота впервые ставят на ноги. Он падает. Много раз. Каждая попытка — штраф. Но он пробует согнуть ногу иначе. Падает чуть медленнее. Система фиксирует: этот паттерн чуть лучше. Это в точности как ребёнок, который осваивает ходьбу. Никто не программирует последовательность мышечных сокращений. Мозг получает обратную связь — боль от падения, удовольствие от движения — и корректирует стратегию. Boston Dynamics использует этот подход для обучения машин ходить, падать и вставать. Автономные манипуляторы учатся захватывать предметы, которые никогда не держали. ⚠️ Где всё ломается Награда — штука хрупкая. Агент способен «обмануть» систему, находя лазейки. Классический случай: робота в симуляции награждали за высокие показатели датчиков. Он просто начал вращаться на месте — датчики показывали максимум, но задачу он не выполнял. Это reward hacking. И главное ограничение: агент не «понимает» задачу. Он оптимизирует награду. Поэтому может быть гением в узкой области и полным нулём за её пределами. 📌 Если коротко Reinforcement Learning — это система, которая учится так же, как учатся все живые существа: пробы, ошибки, обратная связь. Агент получает числовую оценку → корректирует поведение → стремится к максимальной награде. Миллионы итераций спустя — он обыгрывает чемпионов, учит роботов ходить и находит стратегии, невиданные человечеством. И всё начинается с простой аналогии: собака получила лакомство — она повторит действие. #обучениесподкреплением #машинноеобучение #AI #робототехника #alphago #deepmind Что думаете об этом подходе? Пишите в комментариях! 👇
Открыть в MAX- Просмотры
- 21
- ER
- —
- Реакции
- —