Puppeteer использует браузер Chromium внутри себя для рендеринга HTML и JavaScript, поэтому он очень полезен, если вам нужно получить содержимое, загружаемое с помощью JavaScript/AJAX функций.

Введение

В этом руководстве мы рассмотрим, как использовать Puppeteer для парсинга (извлечения данных) с веб-сайта Hacker News. Puppeteer - это инструмент, разработанный командой Chrome, который предоставляет высокоуровневый API для управления Chromium или Chrome через протокол DevTools.

Установка Puppeteer

Для начала установим Puppeteer с помощью npm:

npm install puppeteer

Начало работы

После установки Puppeteer мы можем начать использовать его для парсинга веб-страниц. Вот пример кода, который открывает страницу Hacker News и выводит заголовки новостей:

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://news.ycombinator.com/');
  
  const titles = await page.$$eval('.storylink', links => {
    return links.map(link => link.textContent);
  });
  
  console.log(titles);
  
  await browser.close();
})();

В этом примере мы используем асинхронную функцию, чтобы выполнить наш скрипт. Мы открываем новую страницу с помощью browser.newPage(), переходим на страницу Hacker News с помощью page.goto() и затем используем page.$$eval() для извлечения заголовков новостей. Функция $$eval() принимает селектор CSS и функцию обратного вызова, которая будет выполнена в контексте браузера. В данном случае мы используем link.textContent для извлечения текста заголовка из каждого элемента с классом .storylink. Наконец, мы закрываем браузер с помощью browser.close().

Заключение

Puppeteer - это мощный инструмент для парсинга веб-страниц, особенно тех, которые загружают данные с помощью JavaScript или AJAX функций. Он предоставляет удобный API для управления браузером и извлечения данных. Надеюсь, этот руководство поможет вам начать использовать Puppeteer для ваших парсинговых проектов.