Пост канала
- видео
Огромные модель на 35b параметров теперь можно запустить на iPhone — вышел опенсорсный движок Edge0. Он позволяет крутить локальные нейронки с архитектурой MoE без нагрузки на оперативу — в пике используются всего 1-2,5 ГБ. Секрет оптимизации прост: вместо RAM используется флеш-память айфона. Есть модели на 8B и 35B — для последней понадобится iPhone 15 Pro и новее. Код на GitHub.
Открыть в MAX- Просмотры
- 760
- ER
- —
- Реакции
- —