Документация по ScrapingProject
Руководство по использованию API ScrapingProject.
API ScrapingProject - это удобный для разработчиков API, который можно легко начать использовать.
Начните парсить любую веб-страницу с помощью двух обязательных параметров: ваш ключ API, который мы отправили вам по электронной почте при регистрации, и URL веб-страницы, которую вы хотите спарсить.
Затем вы можете начать использовать его следующим образом:
curl “https://api.scrapingproject.com/scraper?apitoken=<APIKEY>&urlvalue=<URL>”
И вы получите возвращенный RAW HTML переданного URL, который будет отображаться в вашем терминале следующим образом:
<html><head><title>Пример домена</title></head><body><div><h1>Пример домена</h1></div></body>``</html>
Включение выполнения JavaScript
Вы также можете использовать безголовый браузер для выполнения кода JavaScript на указанной странице URL с помощью API ScrapingProject, прежде чем вернуть HTML-код обратно вам.
Такое поведение будет использоваться по умолчанию в API ScrapingProject с использованием безголового браузера. loadjs=True
Это может быть очень полезно, если вы парсите одностраничное приложение, построенное на фреймворках JavaScript.
Чтобы получить URL напрямую с использованием loadjs=False в вашем запросе к API ScrapingProject.
Пример вызова API с параметром loadjs:
https://api.scrapingproject.com/scraper?apitoken=<APIKEY>&urlvalue=<URL>&loadjs=False
Вышеуказанный вызов будет использовать обычный GET-запрос для парсинга URL и вернет,
<html><head></head><body></body>``</html>
Здесь используется значение по умолчанию. Которое будет loadjs=True
https://api.scrapingproject.com/scraper?apitoken=<APIKEY>&urlvalue=<URL>
Вышеуказанный вызов будет использовать безголовый браузер для загрузки веб-страницы для выполнения JS перед возвратом HTML. Значение по умолчанию loadjs=True передается автоматически.
<html><head><title>Пример домена</title></head><body><div><h1>Пример домена</h1><p>Этот домен предназначен для использования в иллюстративных примерах в документах.</p>_</div></body>``</html>_
Подведем итоги
Доступный список параметров:
-
apitoken (Обязательно) — отправлен на ваш адрес электронной почты, указанный при регистрации.
-
loadjs (Необязательно, значение по умолчанию - True) — должен ли выполняться JavaScript или нет. [Если True, веб-страница urlvalue будет загружена с использованием безголового браузера.]
API ScrapingProject - это простой в использовании API для парсинга веб-страниц, который удобен для разработчиков. Парсите любую веб-страницу всего с помощью API, не беспокоясь о безголовом браузере, ротации прокси и обслуживании.
Скоро будет доступно