Читаем книги

Давайте поговорим обо всём и о книгах. Бывает, что вокруг много людей, а поговорить по-настоящему не с кем. Иногда хочется, чтобы кто-нибудь просто выслушал. Поэтому здесь мы будем говорить. О прочитанных книгах. О смысле жизни и о том, как его ищут. О вере и сомнениях. О страхе, надежде, выборе и ответственности. Можно просто читать. Можно высказать своё мнение. Можно не согласиться. А можно однажды написать: «Давайте поговорим». И поговорим. #wi_давайте_поговорим Канал принимает донаты Нажмите на кнопку, чтобы отправить донат и помочь каналу

📚 Литературная лаборатория. Что такое корпус текстов и зачем он нужен? Представьте, что мы хотим выяснить, чем отличается язык Гоголя от языка Пушкина. Можно взять по одному роману каждого автора и посчитать слова. Но достаточно ли этого, чтобы делать выводы об их стиле? А если один текст — комедия, а другой — исторический роман? Если произведения написаны в разные годы или один из электронных файлов содержит ошибки? Результат может оказаться обманчивым. Поэтому исследователи работают с корпусами текстов. 🔎 Что такое корпус? В простом понимании корпус — это собрание текстов, подготовлен…

🔬 Литературная лаборатория. Как разоблачить подделку с помощью самого текста? Задолго до появления компьютеров учёные уже пытались выяснить, кто на самом деле написал тот или иной документ. И один из самых знаменитых примеров связан с итальянским гуманистом Лоренцо Валлой. В XV веке Валла исследовал так называемый Константинов дар — документ, согласно которому римский император Константин якобы передал папе римскому власть над значительной частью западных земель. Документ имел огромное политическое и религиозное значение. В 1440 году Валла написал трактат, в котором показал, что документ н…

🔬 Литературная лаборатория: кого чаще всего упоминают в «Мёртвых душах»? Можно ли увидеть устройство гоголевской поэмы, просто посчитав слова? Попробуем! Мы написали небольшую программу на Python и подсчитали, сколько раз в каждой главе встречаются фамилии Чичикова и пяти помещиков. 📊Результаты подсчёта | Персонаж | Упоминания | |---|---:| | Чичиков | 469 | | Ноздрёв | 139 | | Манилов | 106 | | Собакевич | 106 | | Плюшкин | 46 | | Коробочка | 17 | Но самое интересное обнаружилось, когда мы посмотрели на отдельные главы. 📖У каждого помещика — своя глава — Во второй главе фамилия Манил…

🔬 Литературная лаборатория. Сколько слов помещается в одно предложение у Гоголя? Мы привыкли говорить, что у Гоголя длинные предложения. Но можно ли проверить это с помощью Python? Мы взяли текст первого тома «Мёртвых душ» и написали небольшую программу, которая подсчитывает слова в предложениях. 📊 Что получилось? — Найдено 4 685 предложений. — Средняя длина предложения — около 16 слов. — Медианная длина — 11 слов. Иными словами, половина предложений содержит не более 11 слов, а другая половина — не менее 11. — 203 предложения содержат больше 50 слов. — Вот одно из найденных предлож…

🔬 Добро пожаловать в «Литературную лабораторию»! Можно ли узнать что-то новое о любимых книгах с помощью статистики? Какое слово чаще всего встречается в «Мёртвых душах» Гоголя? Чем отличается язык Пушкина от языка Достоевского? «Литературная лаборатория» — любительские эксперименты с текстами и цифрами. Не претендуем на академические исследования: проверяем интересные гипотезы, ищем закономерности и учимся замечать новое в знакомых книгах. Результаты могут зависеть от издания текста и выбранного метода подсчёта. И можно ли обнаружить особенности авторского стиля, просто внимательно вычис…

🔬 Добро пожаловать в «Литературную лабораторию»! А что, если посмотреть на литературные произведения и тексты вообще, не только глазами читателя, но и с помощью статистики, лингвистики и компьютерного анализа? Почему одни писатели предпочитают длинные предложения, а другие — короткие? Можно ли обнаружить особенности авторского стиля по частотности слов? Насколько похожи тексты разных писателей и можно ли математически исследовать их различия? Здесь мы будем экспериментировать с художественными текстами, знакомиться со стилометрией, искать интересные закономерности и разбираться, как всё эт…

Пример использования цепей Маркова. Для генерации текста. import os import pandas as pd import markovify from tqdm import tqdm # Папка с текстами folder_path = "data" # Чтение текстовых файлов в один DataFrame files = [f for f in os.listdir(folder_path) if f.endswith(".txt")] # Создаем список для хранения данных data = [] # Чтение каждого файла и добавление в DataFrame for file in tqdm(files, desc="Чтение файлов"): with open(os.path.join(folder_path, file), 'r', encoding='utf-8') as f: text = f.read().lower() # Приводим текст к нижнему регистру data.append({'id': os.…

Поиск и работа с именами собственными в текстах. Пример кода на Python с использованием spaCy для выделения имен собственных. import spacy # Загрузка многоязычной модели для spaCy nlp = spacy.load("xx_ent_wiki_sm") # Текст для анализа text = "Иван и Марья Ивановна были в парке. Петр и Ирина пошли в магазин." # Применяем spaCy для анализа текста doc = nlp(text) # Выделяем имена собственные (на основе модели NER) persons = [] for ent in doc.ents: if ent.label_ == "PERSON": persons.append(ent.text) # Выводим имена собственные print("Найденные имена собственные:", persons)…

Работа с большими текстовыми данными При работе с большими объемами текстов, такими как собрание сочинений автора, важно учитывать, что простые количественные метрики, могут быть недостаточными для анализа. В таких случаях следует применять более сложные методы анализа, включая: 1. Анализ частот слов Можно использовать TF-IDF (Term Frequency-Inverse Document Frequency) для оценки значимости слов в текстах. Это поможет выявить ключевые темы и идеи в сочинениях. 2. Тематическое моделирование и кластеризация Тематическое моделирование, например, с использованием LDA (Latent Dirichlet Alloc…