Пост канала
- фото
Transformers научился крутить GGUF: from_pretrained вместо отдельного рантайма Квант на Маке часто жил в отдельном приложении , Ollama или llama.cpp , пока Python-ноутбук был рядом. Transformers теперь тянет те же веса с Hugging Face обычной загрузкой чекпоинта: указываете имя файла с квантом, для Apple Silicon подключают ядра ggml; стартовый фокус , Qwen3.5. Скорость на свежем Mac почти как в llama-bench, но для минимального расхода памяти команда всё равно советует llama.cpp. Зато в одном стеке проще сравнивать кванты, править генерацию и отдать модель на локальный порт без второго рантайма. Если эксперименты уже в PyTorch, обновите Transformers с main и прогоните тот же квант через загрузчик , сравните с бинарём llama.cpp на одном промпте.
Открыть в MAX- Просмотры
- 17
- ER
- —
- Реакции
- —