Пост канала
- видео
Огромные модель на 35b параметров теперь можно запустить на iPhone — вышел опенсорсный движок Edge0. Он позволяет крутить локальные нейронки с архитектурой MoE без нагрузки на оперативу — в пике используются всего 1-2,5 ГБ. Секрет оптимизации прост: вместо RAM используется флеш-память айфона. Есть модели на 8B и 35B — для последней понадобится iPhone 15 Pro и новее. Код на GitHub. @exploitex
Открыть в MAX- Просмотры
- 7 221
- ER
- 0,3%
- Реакции
- 22