# Импортируем классы webdriver и By из модуля selenium
from selenium import webdriver
from selenium.webdriver.common.by import By

# Инициализируем пустую строку для хранения текста из выбранных узлов
output = ""

# Создаем экземпляр webdriver и загружаем URL
driver = webdriver.Chrome()

# Перебираем диапазон ID от a до z (т.е. от 1 до 100)
for i in range(1, 100):
    # Строим URL с использованием форматирования строк и текущего ID
    url = f"https://zenmarrow.com/single?id={i}&index=indexgoeshere"

    # Загружаем URL в webdriver
    driver.get(url)

    # Ждем полной загрузки страницы
    driver.implicitly_wait(10)  # секунды

    # Выбираем узел с классом "case-title"
    case_title = driver.find_element(By.CLASS_NAME, "case-title")

    # Выбираем узел с классом "case-text"
    case_text = driver.find_element(By.CLASS_NAME, "case-text")

    # Получаем текст выбранных узлов
    title = case_title.text
    text = case_text.text

    # Добавляем текст к выходной строке, с переводом строки между заголовком и текстом
    output += title
    output += "\n\n"
    output += text
    output += "\n\n"

# Закрываем webdriver
driver.close()

# Записываем выходную строку в текстовый файл
with open("имя_текста.txt", "w") as f:
    f.write(output)

import os
import string
from collections import Counter

# Установите путь к директории
directory = "ЗдесьПутьКДиректорииСТекстовымиФайлами"

# Инициализируйте список для хранения слов из всех текстовых файлов
all_words = []

# Прочитайте список стоп-слов из соответствующего файла
with open("stop_words.txt", "r") as f:
    stop_words = f.read().split()

# Переберите файлы в директории
for filename in os.listdir(directory):
    # Обрабатывайте только текстовые файлы
    if filename.endswith(".txt"):
        # Откройте текстовый файл и прочитайте его содержимое
        with open(os.path.join(directory, filename), "r") as f:
            for line in f:
                # Игнорируйте строки, которые заканчиваются на число, так как они обычно содержат только заголовок
                if not line[-1].isdigit():
                    # Разделите строку на список слов и добавьте их в список всех слов
                    all_words.extend(word.strip(string.punctuation).lower() for word in line.split() if word.strip(string.punctuation).lower() not in stop_words)

# Подсчитайте частоту каждого слова с помощью класса Counter
word_counts = Counter(all_words)

# Откройте файл для записи частоты слов и запишите в него результаты
with open("word_frequencies.txt", "w") as f:
    for word, count in word_counts.most_common():
        f.write(f"{word}: {count}\n")

import os
import re
from collections import Counter
from nltk import collocations

# Установите директорию, содержащую текстовые файлы
directory = "."

# Инициализируйте список для хранения коллокаций
collocations_list = []

# Переберите каждый текстовый файл в директории
for file in os.listdir(directory):
    if file.endswith(".txt"):
        # Откройте файл и прочитайте его содержимое
        with open(os.path.join(directory, file), "r") as f:
            text = f.read()

        # Удалите все знаки препинания и символы из текста
        text = re.sub(r'[^\w\s]', '', text)

        # Разделите текст на список токенов (слова и знаки препинания)
        tokens = text.split()

        # Используйте модуль коллокаций NLTK для поиска биграмм в тексте
        bigram_finder = collocations.BigramCollocationFinder.from_words(tokens)

        # Используйте поиск биграмм для создания списка биграмм и их частотности
        bigrams = bigram_finder.ngram_fd.items()

        # Добавьте биграммы и их частотность в список коллокаций
        collocations_list.extend(bigrams)

# Запишите коллокации в текстовый файл
with open("collocations.txt", "w") as f:
  f.write(str(collocations_list))

import os
import spacy

# Загрузка предварительно обученной модели обработки естественного языка с использованием spacy
nlp = spacy.load("en_core_web_sm")

def generate_themes(directory):
    themes = {}

    for file in os.listdir(directory):
        with open(os.path.join(directory, file), "r") as f:
            contents = f.read()
            # Извлечение тем из текста с использованием spacy
            doc = nlp(contents)
            for entity in doc.ents:
                theme = entity.text
                if theme in themes:
                    themes[theme] += 1
                else:
                    themes[theme] = 1

    return themes

# Вызов функции и передача пути каталога в качестве аргумента
themes = generate_themes(".")

# Запись тем и их количества в текстовый файл, отсортированных по количеству в порядке убывания
with open("themes.txt", "w") as f:
    for theme, count in sorted(themes.items(), key=lambda x: x[1], reverse=True):
        f.write(f'{theme}: {count}\n')

import nltk
import spacy
import os

# Установка NLTK для анализа коллокаций и идентификации темы
nltk.download("collocations")
nltk.download("punkt")
nltk.download("stopwords")

# Установка spaCy для распознавания именованных сущностей
nlp = spacy.load("en_core_web_sm")

# Перебор файлов .txt в директории
for file in os.listdir("ZenDirectoryGoesHere"):
    if file.endswith(".txt"):
        # Чтение текста из файла
        with open(file, 'r') as f:
            text = f.read()
        
        # Предварительная обработка текста для анализа коллокаций и идентификации темы
        tokens = nltk.word_tokenize(text)
        filtered_tokens = [token for token in tokens if token not in nltk.corpus.stopwords.words("english")]
        bigrams = nltk.bigrams(filtered_tokens)
        finder = nltk.BigramCollocationFinder.from_words(bigrams)
        finder.apply_freq_filter(3)
        collocations = finder.nbest(nltk.collocations.BigramAssocMeasures().pmi, 10)
        themes = nltk.Text(filtered_tokens).collocations()
        
        # Выполнение распознавания именованных сущностей с использованием spaCy
        doc = nlp(text)
        entities = [(entity.text, entity.label_) for entity in doc.ents]
        
        # Запись результатов анализа в файл .txt
        with open("entities.txt", "w") as f:
            f.write(str(entities))