Возможно, ваша компания решила собрать данные для более эффективного выполнения своих деловых задач. Или, возможно, вы уже на полпути к этому процессу, но не уверены, какие дальнейшие шаги следует предпринять. Независимо от того, на какой стадии вы находитесь, всегда полезно иметь чеклист вещей, которые нужно сделать, чтобы ваш проект работал как можно более гладко.

Это очевидно, но создание и разработка рабочей инфраструктуры будет сложной задачей для одного человека. Естественно, трудно оценить, сколько людей вам понадобится для создания и поддержки всего проекта. Этот чеклист поможет вам определить ресурсы, которые вам понадобятся, и показать общий поток парсинга веб-страниц.

Хорошо начато - значит, половина сделана: выбор языка

Первые шаги определят дальнейший процесс вашего проекта по парсингу. И выбор правильного языка для создания вашей инфраструктуры парсинга определит, какую команду разработчиков вам нужно будет нанимать.

Самые популярные языки для парсинга веб-страниц - это Python или NodeJS. Вы также можете создавать парсеры с помощью PHP, C++ или Ruby, если хотите. Однако у этих вариантов есть некоторые недостатки. Вы можете прочитать, почему мы считаем, что Python - лучший выбор в этом случае, в нашей статье в блоге для чего используется Python, но для общего обзора сравните Python с другими языками в таблице ниже.

Найм участников команды будет зависеть от их владения языком и, конечно, их навыков. Наше рекомендация - выбрать питонистов.

Исследование библиотек и интеграций

Ваша команда будет работать с различными библиотеками, инструментами интеграции и т.д. Мы уже написали несколько руководств по наиболее популярным библиотекам и инструментам, которые вам могут понадобиться при создании вашей инфраструктуры. Вот список библиотек, которые вам, скорее всего, понадобятся:

Руководство по Puppeteer для работы с сайтами, использующими JavaScript. Если вы парсите список отелей, страницы товаров электронной коммерции или что-то подобное, это станет вашей главной проблемой. Многие современные сайты используют JavaScript для асинхронной загрузки контента (т.е. скрывают часть контента, чтобы он не был видимым во время первоначальной загрузки страницы). Самый простой способ управлять сайтами с большим количеством JavaScript - использовать безголовый браузер - браузер без графического интерфейса. В этом случае вам пригодится Puppeteer.
Руководство по Selenium. Аналогично Puppeteer, это решение, которое помогает управлять безголовыми браузерами. Это один из самых популярных инструментов для автоматизации браузера, поэтому рекомендуется экспериментировать с обоими.
Руководство по lxml. lxml - одна из самых быстрых и функциональных библиотек для обработки XML и HTML в Python. С помощью библиотеки lxml можно создавать, разбирать и запрашивать XML- и HTML-документы.
Beautiful Soup для парсинга. Мы рассмотрим парсинг немного позже в этой статье, но чтобы сделать данные более читаемыми, парсинг является неотъемлемой частью веб-скрапинга. Beautiful Soup - это пакет для Python, используемый для парсинга HTML- и XML-документов.

Одной из больших проблем веб-скрапинга является браузерное отпечатков пальцев. Браузерное отпечатков пальцев уже влияет на веб-скрапинг, и будет только сложнее обойти его (вы можете узнать, что такое браузерное отпечатков пальцев в нашей статье в блоге). К счастью, некоторые интеграции помогают преодолеть это:

Сбор URL-адресов и создание путей

Установка пути обхода - это первое, что нужно сделать при сборе данных. Чтобы лучше понять, почему это первый шаг, давайте визуализируем процесс парсинга в цепочке создания ценности:

Как видно, парсинг веб-страницы включает в себя четыре отдельных действия:

Почему же первым шагом является создание пути обхода и сбор URL-адресов? Очень просто, без знания ваших целей невозможно создать парсер. Ну, по крайней мере, не функциональный.

Что такое путь обхода? Это набор URL-адресов, из которых будут извлекаться данные. Самая большая проблема заключается в получении всех необходимых URL-адресов исходных целей. Это может означать десятки, а то и сотни URL-адресов, которые нужно будет парсить, анализировать и определять как важные для вашего случая. Конечно, в начале создания парсера несколько основных целей будет достаточно.

Разработка инфраструктуры и ее поддержка

После того, как вы определились с языком команды, наняли разработчиков, исследовали несколько библиотек и построили URL-путь, начинается самая интересная часть - создание парсера. Мы написали подробное руководство о том, как начать парсинг веб-страниц с помощью Python, чтобы вы могли изучить более подробно, как создать парсер с нуля.

Что касается поддержки, это будет ежедневным процессом для вашей разработческой команды. Включая обновление инфраструктуры, исправление ошибок и наличие стабильной системы мониторинга, что может потребовать перевода вашей разработческой команды на ночные дежурства (для исправления любых сбоев в системе).

Несколько основных вещей, которые следует иметь в виду на этом этапе:

Стройте с учетом будущего. Анализируйте текущие системы и внутренние процессы. Анти-бот меры становятся все более умными, и ваш парсер должен быть таким же умным.
Будьте готовы к тому, что это займет время. Как и любой проект разработки, это, вероятно, займет больше времени, чем вы думаете. Это могут быть непредвиденные трудности, изменения в бизнесе и т.д.
Создайте простую тестовую область, чтобы другие руководители поняли, что вы создаете. Показывая трудности, с которыми вы можете столкнуться, вы можете убедить руководство выделить больше времени или ресурсов.
Сделайте его масштабируемым. Убедитесь, что ваш инструмент масштабируем и его функции не вызывают проблем в других областях (например, хранение данных).
Имейте отдельную команду для кризисного реагирования. Сбои неизбежны.

У нас есть собственный инструмент для парсинга, который мы создали с нуля, называемый Real-Time Crawler. Если вас интересует, с какими проблемами мы столкнулись во время всего процесса (и до сих пор), мы поделились, как мы его создали в статье на Towards Data Science.

Получение и управление прокси

Нет парсинга без прокси. Выбор правильного провайдера прокси может быть немного сложным, но так же и большинство других вещей, когда вы начинаете исследовать различных провайдеров и доступные решения. Вот общие шаги для анализа хорошего провайдера:

Посмотрите, что есть на рынке. Несколько сайтов с обзорами сосредоточены на прокси. Один из наших любимых - Proxyway. Самое важное для сравнения - это показатели успешности, размер пула прокси, функциональность панели управления, цена, поддержка.
Проверьте, что говорят другие. Читайте отзывы клиентов на Trustpilot или изучайте их кейс-стади.
Проверьте их документацию. Это может показаться очевидным. Узнайте, как работают их прокси, как они интегрируются, насколько это сложно и т. д.
Проверьте наличие дополнительных ресурсов. Есть ли у них быстрые руководства, вебинары или руководства, которые сделают вашу жизнь проще?
Попросите демонстрацию. В большинстве случаев, особенно если это для компании, провайдеры прокси предоставят бесплатную пробную версию, чтобы вы могли протестировать их решения.

Что касается управления прокси, это будет вызовом, особенно для тех, кто только начинает парсить. Существует множество мелких ошибок, которые можно допустить, чтобы заблокировать партии прокси до достижения желаемого результата парсинга. Хорошая практика - поворот прокси, но все проблемы не исчезают только с помощью поворота, и постоянное управление и поддержка инфраструктуры будут необходимы. Лучшие практики для предотвращения блокировки прокси, скорее всего, будут предоставлены в документации или с помощью поддержки или специальных менеджеров аккаунтов.

Получение и разбор данных

Мы уже кратко упомянули разбор данных в этой статье. Это процесс приведения полученных данных в понятный и используемый формат. Большинство методов сбора данных возвращают результаты, которые очень сложно понять, так как они представлены в виде сырого кода. Поэтому разбор данных необходим для создания структурированных результатов, чтобы сделать их готовыми к использованию.

Создание парсера не слишком сложно. Однако, как и большинство других упомянутых проблем, поддержка будет вызывать наибольшие проблемы в дальнейшем. Приспособление к различным форматам страниц и изменениям веб-сайтов будет постоянной борьбой и будет занимать время у разработчиков гораздо чаще, чем вы ожидаете.

Мы надеемся, что этот список поможет вам проверить все детали в вашем проекте парсинга. Независимо от того, начинаете ли вы новый проект парсинга или ищете советы посередине работы над ним.

Чеклист CTO: 6 вещей, которые нужно знать о парсинге веб-страниц