Начало автоматизации с помощью Python. Пусть магия развернется……….

Приветствую всех.

Давайте начнем с автоматизации в Python. Мы будем использовать очень интересный модуль под названием Selenium. Это очень распространенный инструмент автоматизации, используемый для тестирования автоматизации в IT-компаниях.

Но мы будем использовать Selenium для автоматизации нашей задачи парсинга и добавим немного магии. Хотя для небольших проектов парсинга модули Python, такие как Requests, LXML и BeautifulSoup, предоставляют простой подход к управлению, я предпочитаю Selenium, потому что он делает нашу задачу легкой и без проблем даже для начинающих.

Давайте начнем.

Чтобы продемонстрировать модуль, мы будем парсить информацию, связанную с определенным водительским удостоверением с этого веб-сайта.

1- Установите Selenium с помощью 'pip install selenium'. 2- Скачайте chromedriver для Windows/Mac/Linux отсюда here, проверив вашу версию Chrome как "Открыть настройки Chrome -> О Chrome -> Версия" или нажмите здесь, чтобы проверить вашу версию Chrome.

3- Распакуйте chromedriver и запомните его путь как "путь/chromedriver.exe". 4- Теперь давайте начнем кодирование. Импортируйте необходимые модули. 5- Инициализируйте экземпляр драйвера и используя этот экземпляр перейдите по URL-адресу. 6- Теперь, поскольку на веб-странице есть форма, которую нужно заполнить, чтобы получить информацию на веб-странице, нам нужно заполнить эту форму. Это тоже можно сделать в Selenium. Сначала нам нужно сделать ссылки на поля формы. Существуют разные способы выбора полей, наиболее распространенный из них - использование "xpath". 7- Используйте driver.find_element_by_xpath("XPath поля") для получения этих полей. 8- Чтобы получить XPath определенного поля, проинспектируйте страницу, используя "Shift+Ctrl+C", затем указывайте на поле, перейдите к его HTML-коду и щелкните правой кнопкой мыши по нему. Затем скопируйте его XPath.

9- Теперь, чтобы проверить капчу, введите ее как пользовательский ввод. 10- Все данные, которые нужно отправить в поля, могут быть отправлены с помощью send_keys(data). 11- Теперь, поскольку все поля заполнены, отправьте их, используя click(). 12- Теперь давайте начнем часть парсинга. 13- Снова нам нужно перейти к нужным тегам, используя XPath, и использовать text(), чтобы получить данные в этом теге.

14- Наконец, выведите данные в формате JSON.

Это видео показывает всю процедуру в действии.

Исходный код можно найти здесь.