System Design

Как Shopify перенес резервирование товаров из Redis в MySQL Shopify обрабатывает более 14% всех транзакций в сфере электронной коммерции в США. Чтобы последний оставшийся товар не был продан двум покупателям одновременно, каждое оформление заказа защищено системой резервирования. Когда покупатель переходит к оплате, Shopify резервирует выбранные товары на несколько минут. Если платеж проходит успешно, Shopify окончательно списывает их из системы складского учета продавца. Годами эти два шага выполнялись в разных базах данных. Redis отслеживал, сколько единиц товара покупатели временно зарезе…

Когда мы слышим Redis, обычно первое, что приходит на ум - это кэш. Но Redis удивительно простая и при этом универсальная технология, которую можно применять для широкого круга задач. В новом видео за 36 минут кратко разобрали все что нужно знать про Redis для System Design: https://www.youtube.com/watch?v=mlIB7AOG-GU Рассмотрели 7 различных сценариев Redis:  • cache • rate limiter • leaderboards / priority queues • geosearch • distributed locks • Streams • Pub/Sub

Сегодня разберем систему, которая должна максимально масштабироваться, причем как для чтения, так и для записи. Будем проектировать NewRelic / Datadog - платформу для мониторинга метрик, которая способна принимать до 5 млн метрик в секунду с 500 тыс серверов. Рассмотрим как: • принимать 5 млн метрик в секунду, используя агенты с локальной буферизацией • выдавать аналитику для дашбордов, используя заранее посчитанные агрегации и кэширование • обеспечить срабатывание оповещений менее чем за 1 минуту • бороться с взрывом кардинальности - типичной проблемой таких систем

Как Discord перенес триллионы сообщений в ScyllaDB В начале 2022 года Discord хранил триллионы сообщений на 177 узлах Cassandra. Cassandra отлично подходила для высокой нагрузки на запись. Проблема была в чтении: популярный канал мог отправлять тысячи запросов на чтение сообщений. Все они шли к одному разделу, перегружали его и тормозили запросы других каналов на тех же серверах. К тому же уплотнение данных (compaction) постоянно отставало, а паузы сборщика мусора JVM приводили к скачкам задержек. Чтобы решить проблемы на уровне базы данных, Discord заменил Cassandra на ScyllaDB - совместиму…

Понимаю, что для вас это детский лепет, но если кому-то надо быстро обновить \ систематизировать базу по теме Кэширование, то для вас новый видос https://www.youtube.com/watch?v=H1sr4BuOatI За 35 минут рассматриваем самые главные темы: от паттернов кеширования (cache-aside, write-through, write-behind, и тд) до частых проблем (cache stampede, consistency, hot keys).

Скоро кончится лето... пора потихоньку готовиться к собесам. Представьте, что вы проходите собес в Stripe (хотя, кого я обманываю, это будет Сбер и их ЮКасса) и на секции System Design вам дают задачу - спроектировать платежную систему, которая выдержит 10 тысяч транзакций в секунду, сохранит полный аудит каждой операции и не спишет платеж с клиента дважды. В статье разберем, как: • избегать попадания данных карты на серверы продавца, используя iframe и шифрование на клиенте • строить неизменяемый аудиторский след через CDC и поток событий в Kafka • не считать таймаут платежной сети сбоем…

Воскресный подгон по System Design, я не знаю, как подогреть вас круче. Представьте, вы проходите собес в OpenAI и на секции System Design вам дают задачу - спроектировать ChatGPT, но не с точки зрения обучения модели, а с точки зрения инфраструктуры необходимой для GPU-инференса и поддержки 200 млн пользователей ежедневно и 20 тыс запросов на генерацию в секунду. В статье разберем, как: • отдавать первый токен за 500 мс через SSE и не держать лишние соединения • эффективно загружать GPU-воркеры с помощью очереди и непрерывной пакетной обработки (continuous batching) • как проектировать кво…

Как спроектировать сервис для поиска и оценки заведений, такой как Yelp, который выдержит 100 млн пользователей в день? В подробном разборе - быстрый геопоиск, рейтинги без гонок данных, Elasticsearch vs Postgres и решения, которые ждут на интервью. Бонусом идет видеоразбор для тех кто не любит читать. Premium статья доступна бесплатно только для подписчиков этого канала: Проектируем Yelp

Собрались как то Staff Engineer из FIvetran, Senior Engineer из Yandex и VP of Engineering из Proximie и решили сделать новую платформу, где можно быстро подготовиться к собесу: NowInterview Для тех, кто устал от шаблонных объяснений для каждой задачи добавим балансировщик, кэш, шардирование и хочет разобраться как действительно работают реальные системы и как в них решены самые сложные вопросы: • как динамически конфигурировать правила через ZooKeeper для Rate Limiter? • как избежать повторного показа профилей с помощью фильтров Блума в Tinder? • как реализовать возобновляемую загрузку фай…

ПОЛНЫЙ РОАДМАП ДЛЯ ИЗУЧЕНИЯ SYSTEM DESIGN И ПОДГОТОВКИ К СОБЕСЕДОВАНИЮ Кратко Введение Структура интервью Основные понятия Технологии Паттерны Основные понятия Основы сетей Проектирование API Моделирование данных Кэширование Шардирование Согласованное хеширование Теорема CAP Индексирование баз данных (Premium) Важные цифры (Premium) Технологии Redis Kafka API Gateway Elasticsearch Cassandra DynamoDB ClickHouse PostgreSQL (Premium) Flink (Premium) Zookeeper (Premium) Паттерны Масштабирование чтения (Premium) Масштабирование записи (Premium) Обновления в реальном времени (Premium) Управл…