• Парсинг данных - это процесс обработки веб-документа и извлечения информации из него.

В этой статье мы создадим очень простой парсер, чтобы получить частоту слов в историях пользователя с помощью Python 3.

Требования:

• Установите необходимые пакеты с помощью pip: python3 -m pip install requests lxml
• (По желанию) Прокси / VPN для избежания блокировки IP.

Парсер будет состоять из 2 частей:

1. Получение историй с лайками

Для извлечения информации из содержимого ответа (HTML) мы используем XPath - это язык запросов для выбора узлов из XML-документа.

Подсказка: в Google Chrome вы можете получить XPath следующим образом: Щелкните правой кнопкой мыши на теге > "Копировать" > "Копировать XPath".

Чтобы получить все теги a, содержащие ссылки на истории с лайками, мы используем следующее значение XPath (я немного изменил XPath, сгенерированный Google Chrome, чтобы получить все теги a, а не только один):

//*[[@id](http://twitter.com/id)=”root”]/div/section/div[2]/div[1]/div/div/div/a

Этот XPath означает: выберите тег a, имеющий идентификатор root, который имеет дочерний элемент div, который сам имеет дочерний элемент section и т. д., и выберите последний тег a.

Давайте приступим к написанию кода:

Теперь у нас есть все ссылки на истории в переменной all_links 💪.

2. Получение содержимого историй с лайками

Следующие шаги для каждой ссылки:

Также нам нужно поэтапно очистить данные, потому что парсер будет извлекать множество предложений из истории, поэтому очистка данных очень важна для получения достоверных данных.

Итак, шаги по очистке данных:

Вот код:

Результат 🥳

Позже, имея все данные, мы сможем их лучше проанализировать, например, с использованием обработки естественного языка для более точного анализа слов.