Scrapingdog - это API для парсинга веб-страниц, которое поможет вам собирать информацию с любого сайта. У них есть миллионы прокси-серверов в своем пуле, которые помогают собирать данные с сайтов с ограничением скорости в больших масштабах. Scrapingdog использует экземпляр Google Chrome для обхода защиты Cloudflare.

Он также поддерживает парсинг веб-сайтов (например, myntra.com) с помощью JS-рендеринга. По умолчанию они используют JS-рендеринг, но вы можете отключить его и выполнить обычный HTTP-запрос с помощью параметра &dynamic=false. Это позволит ускорить получение данных. Я нашел их документацию очень гибкой, кодовые фрагменты доступны на практически всех языках программирования, и вы можете просто скопировать и вставить код в свой файл. Давайте подробнее рассмотрим функции, которые предлагает Scrapingdog.

Инструмент для парсинга веб-сайтов

На панели инструментов предлагается инструмент для парсинга веб-сайтов, с помощью которого вы можете парсить любой веб-сайт, просто вставив целевой URL в поле целевой ссылки. Вы даже можете выбрать тип прокси, которые хотите использовать, и характер GET-запроса. Вы можете делать обычные GET-запросы, а также обрабатывать JS через безголовый Chrome.

После парсинга вы даже можете скопировать и передать полученные данные.

Обработка JS

Сайты, такие как myntra.com, загружают целевые данные после загрузки HTML-кода. Его JS-код делает некоторые API-вызовы, которые возвращают данные в формате JSON или XML, а затем позже отображают данные на экране. Такие сайты нельзя спарсить с помощью простого HTTP GET-запроса. Для парсинга Scrapingdog использует реальный экземпляр Google Chrome для загрузки и парсинга данных с веб-сайта полностью. Если веб-сайт требует дополнительного времени для загрузки, вы можете использовать функцию wait, предоставленную Scrapingdog. Это поможет загрузить веб-сайт в Chrome перед возвратом спарсенных результатов.

Прокси

Scrapingdog предлагает как Datacenter, так и Residential прокси. Вы можете использовать их для проверки рекламы, приватного просмотра, мониторинга SEO, сбора данных и т.д.

Отслеживание успешности

Вы даже можете отслеживать вашу успешность на любом домене, который вы парсите, используя страницу "Log Activity" на панели инструментов.

Такая прозрачность помогает вам принимать своевременные решения. Я думаю, что они единственные на рынке прокси API, которые предлагают отслеживание успешности.

Пользовательские парсеры

Scrapingdog также предоставляет специальные API для Google и Linkedin.

• Вы можете парсить Google, просто передавая запрос и номер страницы. Если вы хотите попробовать непосредственно из инструмента, то у них также есть отдельная страница для этого на их панели инструментов.

• Вы можете парсить профили пользователей Linkedin, а также профили компаний. API довольно быстрый, и вы можете парсить почти 3 миллиона профилей в день. Это просто потрясающе!

Вы можете тестировать их API непосредственно из панели инструментов, даже не обращаясь к их документации. Это ускоряет ваше тестирование.

Ценообразование

Я обнаружил, что их цены находятся в среднем диапазоне, не слишком дорогие и не слишком дешевые. Они предлагают хорошую скидку, если ваш объем высокий, вы можете отправить им письмо, и они могут создать для вас индивидуальный пакет. Кроме того, вы получаете гарантию возврата денег, если вы не довольны услугой и ваше использование составляет менее 20%. Вы можете подписаться и отменить ее в любое время.

Для новых пользователей они также предлагают щедрые 1000 бесплатных вызовов API. Вы можете опробовать все функции, которые предлагает Scrapingdog, в этом бесплатном пакете, а затем перейти на план, который подходит вам.

Поддержка

Их служба поддержки доступна 24/7 для решения любых вопросов, которые у вас могут возникнуть относительно продукта. Они даже помогли мне создать пользовательский фрагмент кода для amazon.com, который включал парсинг цен и рейтингов. Кстати, я получил почти 99% успешных результатов с их API при парсинге Amazon, что просто удивительно.

Итоговый вердикт

Scrapingdog в целом является отличным продуктом и превосходит мои ожидания. Уровень успешных результатов, который они достигают, просто потрясающий. Раньше я использовал Brightdata для парсинга Amazon, но уровень успешных результатов был около 90%, что не плохо, но с помощью Scrapingdog я получаю почти 99%, и при этом они стоят гораздо дешевле, чем Brightdata. Их скорость ответа также лучше, чем у большинства на рынке. Таким образом, команда проделала огромную работу, создав такой отличный API для парсинга веб-страниц.

Единственное, что мне не нравится в Scrapingdog, это то, что они не предлагают выполнение JavaScript в пакете LITE, что, по моему мнению, они должны сделать. За исключением этого, это фантастический продукт. Я оцениваю его на 4,5 из 5.