Что такое Scraper API?

Scraper API предназначен для упрощения парсинга веб-страниц. Вот несколько вещей, которые следует учесть, прежде чем мы начнем:

• Каждый запрос будет повторяться до его успешного выполнения (до 60 секунд). Убедитесь, что вы установили таймаут в 60 секунд, чтобы этот процесс прошел гладко. Если каждый запрос не выполняется в течение 60 секунд, мы вернем ошибку 500. Вы можете повторить запрос и не будете оплачивать неудачный запрос (вы оплачиваете только успешные запросы с кодами состояния 200 и 404). Обязательно обрабатывайте эти ошибки! Они могут возникать приблизительно в 1-2% запросов для сложных для парсинга веб-сайтов. Вы можете парсить изображения, PDF-файлы или другие файлы так же, как и любой другой URL, просто помните, что есть ограничение в 2 МБ на запрос.
• Если вы превысите лимит одновременных подключений вашего тарифного плана, API ответит кодом состояния 429. Это можно исправить, замедлив скорость ваших запросов.
• На бесплатном тарифном плане не допускается превышение лимита запросов. Если вы превысите 1000 запросов в месяц на бесплатном тарифе, вы получите ошибку 403.
• Каждый запрос вернет строку, содержащую исходный HTML с запрошенной страницы, а также любые заголовки и куки.
• Мы предлагаем SDK для NodeJS, Python, Ruby и PHP.

Так что Scraper API - это лучший вариант для парсинга данных с любого веб-сайта.

Если вы хотите попробовать Scraper API, вот для вас купон на 10% скидку - apiscraping10