Легко парсим сложные веб-сайты с помощью ScraperAPI и Node.js

Приветствую вас в мире парсинга веб-сайтов!

ScraperAPI - это инструмент, который позволяет пользователям легко и эффективно парсить информацию с веб-сайтов. Это может быть полезно для различных целей, таких как добыча данных, маркетинговые исследования или просто для личного интереса.

Чтобы использовать ScraperAPI с Node.js, вам нужно сначала зарегистрироваться и получить API-ключ. После получения ключа вы можете начать использовать пакет scraperapi в своем коде Node.js.

Давайте для иллюстрации предположим, что мы хотим спарсить текущую температуру с веб-сайта weather.com. Мы можем сделать это, используя пакет scraperapi и библиотеку request-promise.

Сначала установим необходимые пакеты:

npm install scraperapi request-promise

Затем импортируем пакеты и настроим наш API-ключ:

const scraperapi = require('scraperapi')
const rp = require('request-promise')

scraperapi.setApiKey('ВАШ_API_КЛЮЧ_ЗДЕСЬ')

Теперь мы можем настроить параметры запроса, включая URL веб-сайта, который мы хотим спарсить, и конкретные данные, которые мы хотим извлечь. В данном случае мы хотим извлечь текущую температуру с главной страницы weather.com:

const options = {
  uri: 'https://weather.com',
  scraper: {
    temperature: {
      selector: '.current-temp',
      type: 'text'
    }
  }
}

Наконец, мы можем сделать запрос с использованием библиотеки request-promise и извлечь данные о температуре с помощью пакета scraperapi:

rp(options)
  .then((html) => {
    const temperature = scraperapi.extract(html, options.scraper)
    console.log(`Текущая температура: ${temperature.temperature}`)
  })
  .catch((err) => {
    console.log(err)
  })

И вот! Всего за несколько простых шагов мы смогли легко и эффективно спарсить текущую температуру с веб-сайта weather.com с помощью scraperapi и Node.js.

Полная документация доступна здесь.

Кстати, вы получите скидку 10%, если зарегистрируетесь по моей реферальной ссылке или введете промокод SCRAPE110188. Если вы не получите скидку, пожалуйста, свяжитесь со мной по электронной почте на моем веб-сайте, и я с радостью помогу вам.

В ближайшие дни я буду писать еще посты о Scraper API и обсуждать дополнительные функции.