Пост канала
- фото
14 ядер на git.kernel.org крутят HTML для скрейперов — больше, чем clone 14 ядер на пяти серверах — не под клоны и не под разработчиков в браузере. Konstantin Ryabitsev на git.kernel.org показал: постоянный поток скрейперов, которые вытягивают каждый коммит как отдельную страницу, съедает больше процессорного времени, чем весь остальной легальный трафик. Это не разовые пики — непрерывный «фоновый шум». Simon Willison переносит это на Datasette: если публикуешь проект с огромным числом обходимых страниц, инфраструктура платит за каждый запрос бота почти так же, как за живого человека. Стоит глянуть логи своего веб-интерфейса репозитория — не уходит ли основная нагрузка не на людей, а на краулеров.
Открыть в MAX- Просмотры
- 25
- ER
- —
- Реакции
- —