Пост канала
- фото
Стартап, который бросил вызов Nvidia Калифорнийский стартап Etched собирается конкурировать с Nvidia на рынке ИИ-кластеров для инференса (использование готовой модели без изменения её параметров) и уже достиг оценки в $21 млрд. У разработчиков уже подписаны контракты на поставку ИИ-серверов более чем на $1 млрд. Первый клиент уже получил свою стойку. В отличие от обычного GPU, их ИИ-ускоритель Sohu ориентирована на инференс в нейросетях-трансформерах, на которых построены ChatGPT, Claude, DeepSeek и Qwen. Etched делит инференс на два этапа: prefill, когда модель обрабатывает запрос и его контекст, и decode, когда она генерирует ответ токен за токеном. Задержка обмена данными снижена примерно с 4000 до 700 нс по сравнению с Nvidia Blackwell. Etched ставит на простую идею: по мере распространения ИИ всё важнее становится не обучение моделей, а инференс. Nvidia предлагает универсальные ускорители, а Etched пытается выиграть за счёт специализации. Мой Компьютер
Открыть в MAX- Просмотры
- 3 130
- ER
- 2,4%
- Реакции
- 76