Пост канала
- фото
Дистилляция LLM на одной GPU: offline-кэш и chunked KL loss Дистиллировать LLM на длинном контексте — когда одна итерация тянет до 250GB памяти на GPU и без кластера не стартуешь. Multiverse Computing собрала однократный кэш логитов учителя и KL loss по кускам — тот же прогон влезает на одну H200.
Открыть в MAX- Просмотры
- 54
- ER
- —
- Реакции
- —