ids_header = {вставьте сюда заголовки "conversations?offset=0&limit=20" из кода, предоставленного в Postman/Insomnia}
conversation_header = {вставьте сюда заголовки "e1dbb0b1-2567-48cd-b2c0-0bcda815d7yd" из кода, предоставленного в Postman/Insomnia}

# Импорт известных библиотек Python
import pandas as pd
import json
import random
import requests
from time import sleep, strftime
# Заголовки я вынес в другой файл, так как они слишком большие
from headers import ids_header, conversation_header

# Определение вспомогательной функции для отправки HTTP-запросов GET
def get_response(url, headers, payload):
    response = requests.request("GET", url, headers=headers, data=payload)
    return response

# Определение функции для извлечения идентификаторов, заголовков и времени создания бесед
def get_ids():
    # Инициализация переменных
    payload = {}
    headers = ids_header
    data = {}
    ids, create_time, titles = [], [], []

    # Перебор смещения и лимита для получения всех бесед
    i, offset, total_iterations = 0, 0, 0
    while True:
        try:
            # Формирование URL для запроса API
            url = f"https://chat.openai.com/backend-api/                    conversations?offset={str(offset)}&limit=100"
            response = get_response(url, headers, payload)
            data = json.loads(response.text)
            # Перебор данных ответа API для извлечения деталей беседы
            for item in data['items']:
                ids.append(item['id'])
                create_time.append(item['create_time'])
                titles.append(item['title'])
            # Обновление общего количества итераций, при необходимости
            if i == 0:
                total_chats = data['total']
                total_iterations = total_chats / 100
                if total_iterations / 100 % 1 != 0:
                    total_iterations = int(total_iterations) + 1
                offset = offset + 101
                i += 1
            else:
                offset = offset + 100
                i += 1
            # Прерывание цикла, когда все беседы обработаны
            if i == total_iterations:
                break
        except Exception as e:
            print(str(e))
            print('done')
            break
    # Сохранение данных по идентификаторам с помощью генератора (учитывая также список create_time)
    data = {'conversations': [{'id': id, 'title': title, 
      'create_time': create_time, 'messages': []} 
       for id, title, create_time in zip(ids, titles, create_time)]}
    return data, ids

# Определение функции для получения бесед с использованием идентификаторов бесед
def get_conversations(data, ids):
    # Инициализация переменных
    payload = {}
    headers = conversation_header

    # Перебор идентификаторов бесед и получение соответствующей беседы
    for i, id in enumerate(ids):
        url = f"https://chat.openai.com/backend-api/conversation/{id}"
        response = get_response(url, headers, payload)
        response_json = json.loads(response.text)

        # Перебор сообщений в беседе
        for message_id, message_data in response_json["mapping"].items():
            if "message" in message_data:
                role = message_data["message"]["author"]["role"]

                # Проверка, является ли роль "пользователь" или "ассистент"
                if role == "user":
                    # Добавление нового объекта сообщения для вопроса пользователя 
                    # в список сообщений беседы
                    human_message = {
                        'sender': 'human',
                        'text': message_data["message"]["content"]["parts"]
                    }
                    data['conversations'][i]['messages'].append(human_message)

                elif role == "assistant":
                    # Добавление нового объекта сообщения для ответа бота 
                    # в список сообщений беседы
                    bot_message = {
                        'sender': 'bot',
                        'text': message_data["message"]["content"]["parts"]
                    }
                    data['conversations'][i]['messages'].append(bot_message)

        # Задержка на случайное время (2-5 секунд) для избежания блокировки 
        # из-за слишком большого количества запросов
        sleep(random.randint(2, 5))

    return data

def save_json(data, date):
    filename = f"outputs/API scraped conversations {str(date)}.json"
    with open(filename, "w") as f:
        json.dump(data, f)

def save_csv(data, date):
    json_file = f"outputs/API scraped conversations {str(date)}.json"
    df = pd.read_json(json_file)
    df = pd.DataFrame(df['conversations'].values.tolist())
    filename = f"outputs/API scraped conversations {str(date)}.csv"
    df.to_csv(filename, index=False)

def main():
    data, ids = get_ids()
    data = get_conversations(data, ids)
    date = strftime("%d-%m-%Y %H-%M")
    save_json(data, date)
    save_csv(data, date)

if __name__ == "__main__":
    main()

python api_scraper.py