Импорт библиотек для скриптинга с использованием Chrome Web Driver и Selenium

Установка Chromium, его драйвера и Selenium

!apt-get update
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
!pip install selenium

Команда "!apt-get update" обновит все пакеты.

Команда "!apt install chromium-chromedriver" установит драйвер Chromium, который мы будем использовать для парсинга.

Для тех, кто не будет использовать Collab, следует загрузить драйвер веб-браузера Chromium с https://chromedriver.chromium.org/downloads и разместить его в каталоге проекта.

Команда "!cp /usr/lib/chromium-browser/chromedriver /usr/bin" скопирует загруженный драйвер веб-браузера Chromium из каталога usr/lib в каталог usr/bin для использования.

Команда "!pip install selenium" установит Selenium.

Поскольку я собираюсь использовать безголовый (headless) драйвер Chrome, все, кто будет использовать Collab для удобства, должны также помнить, что они не смогут видеть вывод, такой как открытие окна Chrome, потому что окно Chrome открывается нашими командами, но поскольку мы используем сервер Google, но без использования их монитора для отображения вывода, не волнуйтесь, самая сложная часть задачи делает вас лучшим парсером, мы увидим только данные в виде HTML-кода веб-сайта, и я уверяю вас, что этого достаточно, но для помощи вы можете открыть еще одно окно в режиме инкогнито и вручную повторить шаги для первого раза.