Пост канала
Железо дорожает, а ИИ становится доступнее. Как такое возможно? Недавно посмотрел интервью гендиректора Yandex Cloud Григория Атрепьева и отметил несколько интересных моментов о ИИ-вычислениях. Вот основные детали: 1. Железо, включая серверы и память, выросло в цене в 2–5 раз. 2. В то же время стоимость токенов, которые ИИ обрабатывает за определённое время, снижается. Например, выручка Яндекса по тому же объёму токенов упала в 6 раз, а для "лёгких" Flash-моделей — почти в 14 раз. Это выглядит как парадокс: обычно, когда сырьё дорожает, растёт и цена продукта. Почему же произошло наоборот? Давайте разбираться. Себестоимость токена для провайдеров, таких как OpenAI и Яндекс, определяется так: 🟢 Числитель — стоимость часа работы одной GPU, включая все затраты. 🟢 Знаменатель — количество токенов, обработанных за этот час. Числитель за год вырос в 2–5 раз, но знаменатель увеличился ещё больше по нескольким причинам: 1. Модели стали более эффективными. ИИ-компании предлагают Flash-версии, которые не "урезанные", а иначе спроектированные, например, с использованием MoE (Mix of Experts). 2. Увеличение входящих токенов. Пользователи стали отправлять больше текстов, включая PDF-документы, что снижает стоимость обработки. У Яндекса соотношение входящих и выходящих токенов составляет 4:1 в пользу дешёвых. 3. Кэширование. Если множество запросов начинается одинаково, модели могут повторно использовать обработанные данные. В DeepSeek V4 более 70% запросов кэшируются. Это значительно экономит ресурсы. 4. Улучшения в инженерии инференса: более эффективный батчинг, квантизация и декодирование. Всё это работает на большом потоке запросов, который, как мы видим, растёт. Что это значит для рынка? Теперь провайдерам нужно расти по объёму токенов на 5–6 раз в год, чтобы сохранить выручку. Им стоит сосредоточиться на плотности и развивать партнёрские связи. А для клиентов важнее правильно внедрять ИИ и увеличивать полезное потребление, поскольку эффективные агенты начинают окупаться благодаря снижению цен на токены. Главный узкий проход в индустрии — это теперь память, а не вычислительная мощность. Так что, пока эксперты предсказывали дефицит ИИ-ресурсов, реальной проблемой стал нехватка навыков в грамотном использовании ИИ и оптимизации расходов на токены.
Открыть в MAX- Просмотры
- 6 681
- ER
- 2,2%
- Реакции
- 149