BeautifulSoup vs регулярные выражения в парсинге

У меня уже некоторое время есть опыт работы с парсингом веб-страниц и подобными вещами, и важным шагом, который я делаю после получения сырых данных, является парсинг этих данных. Это означает, что мне нужно извлечь определенные данные из текста, такие как заголовок, дата публикации, цена, ссылка и т. д.

Существуют два инструмента, которые я знаю для этого: Beautiful Soup и регулярные выражения (regex). Beautiful Soup - это библиотека Python для извлечения информации из HTML и XML, а регулярные выражения - это шаблоны для выбора символов из строки.

Оба инструмента отлично подходят для извлечения информации, у каждого из них есть свои сильные и слабые стороны, но когда мы имеем дело с большими объемами данных, эффективность становится важнее, потому что каждая тысячная доля секунды в миллионах запросов имеет огромное значение.

Моя гипотеза состоит в том, что если я буду извлекать информацию из текста с помощью регулярных выражений, это будет быстрее, чем с помощью Beautiful Soup. Я проведу этот тест, извлекая заголовок с разных страниц, чтобы найти самый быстрый способ извлечения данных.

Как видно из таблицы выше, время парсинга с использованием регулярных выражений было значительно выше, в среднем на 1086% быстрее, чем с использованием Beautiful Soup. Но у регулярных выражений есть свои недостатки, такие как сложность обслуживания, если они не реализованы должным образом. Не стоит недооценивать Beautiful Soup, у него также есть свои преимущества, такие как более простое обслуживание и меньшая кривая обучения.

Я настоятельно рекомендую изучить регулярные выражения и использовать всю их мощь, которая не ограничивается только проверкой электронной почты. Коды, использованные для этого теста, доступны на моем github.