Аналитика, машинное обучение и наука о данных для начинающих / Analytics, machine learning, and data science for beginners. Просто о сложных технологиях

🤗 Сводная таблица pivot_table — альтернатива groupby для матричных отчётов 🧭 Что такое pivot_table Это группировка в матрицу: строки × столбцы = значение. Результат — всегда DataFrame (в отличие от df.groupby(), который может вернуть Series). 📄 Аналоги - Excel: сводная таблица (Pivot Table) - SQL: оператор PIVOT (кросстабуляция) 📐 Когда что использовать? - по одному признаку → groupby - перекрёстно (2+ признака) → pivot_table - несколько метрик в одной сводной → pivot_table(values=[...]) 🔧 Синтаксис pd.pivot_table(df, index='строки', columns='столбцы', # опционально valu…

🐼 Pandas. Группировки и агрегации 🧐 Логика Pandas, как и SQL, реализует парадигму Разделение‑Применение‑Объединение / Split‑Apply‑Combine: - разбиваем данные на группы - применяем к каждой группе функцию (медиану и т.д.) - собираем результаты в новый DataFrame Это логика мышления, а не жёсткий порядок операций. 🆚️ Агрегации в SQL и Pandas SQL: - Быстрая агрегация внутри базы без перелива данных - GROUP BY + COUNT, SUM, AVG, MIN, MAX, STRING_AGG, ARRAY_AGG - Оконные функции (ROW_NUMBER, LAG, SUM OVER) — агрегация с сохранением строк Pandas: - Гибкая агрегация с произвольными функциями:…

🧹 Чистка и преобразование данных в Pandas Разберём основные приёмы. 📄 Копия или оригинал? В Pandas большинство методов по умолчанию не изменяют исходный DataFrame, а возвращают новый изменённый объект. Если нужно изменить исходный, используется параметр inplace=True. ☝️ inplace=True не используется в цепочках методов (method chaining), потому что он возвращает None, а не DataFrame, и цепочка обрывается. Поэтому в стиле df.method1().method2() всегда работают методы без inplace, а результат присваивается переменной или передаётся дальше. import pandas as pd # ✅ Цепочки (без inplace) df_…

Сортировка и фильтрация в Pandas 🃏 Сортировка по значениям столбцов: sort_values() Обязательная база: • by (столбец / список столбцов) — порядок задаёт приоритет • ascending (направление) - True — по возрастанию - False — по убыванию # ❌ краткая форма (для нескольких столбцов без by= — ошибка) df.sort_values('cost', ascending=False) # ✅ явная форма — рекомендуется df.sort_values(by='cost', ascending=False) Опционально: • inplace — изменить исходный DataFrame (True) или вернуть копию (False, по умолч.) • ignore_index — сбросить индекс и создать новый последовательный (0…n-1) • key — в…

📏 Pandas: меняем размер таблицы — добавляем и удаляем данные Сегодня разбираем, как менять размер таблицы: добавлять и удалять строки и столбцы. 🤝 Фиксированная длина Series и DataFrame в Pandas имеют фиксированную длину. Нельзя просто взять и добавить новую строку к существующему объекту — нужно создавать новый объект, объединяя старый с новыми данными. Почему? Pandas внутри использует неизменяемые массивы NumPy — менять размер без копирования нельзя. Это жертва ради скорости и памяти. ➕ Добавление строк Чтобы добавить одну или несколько строк, используют функцию pd.concat(). Старый…

🔍 Первичный осмотр данных в Pandas После загрузки данных в DataFrame важно убедиться, что файл отображается правильно (не съехали столбцы, правильный разделитель, верная кодировка). Стандартное превью — достаточно неудобное и затратное по ресурсам. Здесь опишу базовые практики. ☄️ Методы для быстрого анализа df.head() # первые 5 строк df.tail(3) # последние 3 строки df.shape # размер (строки, столбцы) df.info() # типы столбцов, количество не‑NaN, память df.columns # имена колонок (фичей) 🚩 Заголовки / header Важно правильно указать, где находятся заголовки. Говорим системе: - head…

📥 Как загрузить и сохранить данные в Pandas Pandas работает с файлами самых разных форматов. Таблицу можно создать прямо в коде. 🆕 Создание DataFrame с нуля import pandas as pd df = pd.DataFrame({ 'город': ['Москва', 'СПб'], 'продажи': [15000, 12000] }) print(df) Таблица готова. ⌛ Загрузить / сохранить файл • Загрузить (файл → DataFrame): pd.read_*() • Сохранить (DataFrame → файл): df.to_*() pd.read_csv('data.csv') ↑ ↑ ↑ │ │ путь к файлу │ функция чтения (возвращает DataFrame) библиотека pandas # ( ) — вызов функции 📖 Распространённые форм…

🆚 Pandas против SQL Pandas и SQL сравнивают, т.к. они решают одну задачу — агрегацию данных. Хотя сам вопрос некорректный и возникает из-за непонимания экосистем и ролей: • SQL — пром-агрегации (быстро, масштабируемо, вычисления прямо на стороне сервера БД (In-Database Processing)) • Pandas — исследования (удобно, гибко, но память ограничена (необходимо скачать данные на клиентскую машину)) 🏡 Где живут данные SQL: в БД (PostgreSQL, ClickHouse, etc.) Pandas: в оперативной памяти (на ноутбуке / сервере) 🥇 Кто что умеет лучше SQL: считать колоссальные объемы Pandas: гибко трансформироват…

📚 Pandas. Индексы и доступ к данным Учимся ориентироваться в данных: выбирать строки и столбцы, понимать индексы и правильно к ним обращаться. 🔢 Индекс в Pandas Индекс — это метки (label) строк, отдельная сущность, не входящая в состав колонок. Он служит для идентификации строк и быстрого доступа к ним. Если индекс не задан явно, Pandas создаёт RangeIndex — стандартный числовой индекс от 0 до N-1 с шагом 1. Он работает по принципу range(), хранит только параметры start, stop, step и поэтому не занимает память. RangeIndex неизменяемый, но его можно переопределить, задав свой индекс. impo…

📚 Pandas для начинающих: Series и DataFrame 🎯 В чём суть? Pandas — это надстройка над NumPy. Зачем? NumPy отлично работает с многомерными массивами, но имеет ограничения: - Массивы «безликие»: нет подписей у строк и столбцов - Плохо работает с разнотипными данными (числа + текст + даты) - Для анализа (группировки, сводных) нужно много кода В аналитике данные имеют структуру (названия столбцов, метки строк) и, как правило, неоднородную: пропуски, разные типы данных и т.д. 🚀 Pandas добавляет главное — именованную структуру данных: - У столбцов есть имена (например, «город») - У строк ест…