Как собрать данные с веб-страницы с бесконечной прокруткой с использованием Python и BeautifulSoup

from bs4 import BeautifulSoup
from selenium import webdriver
import time

# Инициализация WebDriver
driver = webdriver.Chrome()  # Замените это на соответствующий веб-драйвер, который вы используете (Chrome, Firefox и т. д.)

# Открытие URL-адреса веб-страницы
url = "https://www.examplewebsite.com"
driver.get(url)

# Автоматическая прокрутка страницы
scroll_pause_time = 2  # Пауза между каждой прокруткой
screen_height = driver.execute_script("return window.screen.height;")  # Высота окна браузера
i = 1
while True:
    # Прокрутка вниз
    driver.execute_script(f"window.scrollTo(0, {screen_height * i});")
    i += 1
    time.sleep(scroll_pause_time)

    # Проверка достижения конца страницы
    scroll_height = driver.execute_script("return document.body.scrollHeight;")
    if screen_height * i > scroll_height:
        break

# Получение данных с помощью BeautifulSoup после загрузки всех данных
soup = BeautifulSoup(driver.page_source, "html.parser")
# Обработка и сохранение данных по необходимости

# Закрытие сеанса WebDriver
driver.quit()