CoderCastrov logo
CoderCastrov
Парсер

Как парсить результаты поиска Google

Как парсить результаты поиска Google
просмотров
5 мин чтение
#Парсер
Table Of Content

Мы только что выпустили новую версию актора Apify под названием Google Search Results Scraper_ (apify/google-search-scraper), чтобы извлекать данные с веб-страниц результатов поиска Google. Вы можете попробовать его бесплатно.

Google является основной точкой входа в интернет для сотен миллионов людей. Это делает появление в результатах поиска Google ключевым фактором практически для любого бизнеса.

Google не предоставляет API для веб-поиска. Более того, только ограниченный набор информации, доступной на любой странице результатов поиска, предоставляется вам через сервисы Google, такие как Google Ads или Google Analytics. Чтобы получить полную картину, вам нужно парсить данные с веб-страниц Google. Типичные случаи использования парсинга Google Search включают, среди тысяч других:

  • Оптимизация поисковых систем (SEO) - отслеживание производительности вашего веб-сайта в Google для определенных запросов в течение определенного периода времени.
  • Анализ рекламы для заданного набора ключевых слов.
  • Отслеживание конкурентов в органических и платных результатах.
  • Создание списка URL-адресов для определенных ключевых слов. Это полезно, например, если вам нужны хорошие релевантные отправные точки при парсинге веб-страниц, содержащих определенные фразы.

Для решения этих задач мы опубликовали новый актор с открытым исходным кодом под названием Google Search Results Scraper (apify/google-search-scraper) в Apify Store, чтобы извлекать данные из Google Search. Новый актор использует функцию Google SERP Apify Proxy, которая автоматически маршрутизирует запросы через прокси-сервер из выбранной страны и возвращает необработанные HTML-данные страниц результатов поиска Google.

Данные

Как показано на следующем скриншоте, результаты поиска Google состоят из различных частей:

Google search results

Вы можете видеть рекламу, выделенные фрагменты, блоки снэпов и органические результаты. Также могут появляться дополнительные типы: товарные объявления, связанные запросы и различные типы снэпов (Википедия, карта, видео и т. д.). Новый парсер Google Search scraping от Apify в настоящее время поддерживает:

  • Органические результаты
  • Рекламу
  • Товарные объявления
  • Связанные запросы

Если вам нужны дополнительные атрибуты, вы также можете включить небольшой JavaScript-код для извлечения дополнительных атрибутов из HTML. Нужно что-то еще? Просто сообщите об этом на GitHub.

  1. Нажмите кнопку Попробовать бесплатно
Public actor in the Apify store

  1. Войдите в свою учетную запись Apify или создайте новую (если вы только что зарегистрировались, вам нужно будет подтвердить свой адрес электронной почты).

  2. Автоматически будет создана задача, и вы сможете заполнить схему ввода для парсинга, с которым вы хотите продолжить.

Actor input schema

  1. Вы можете обновить поисковые запросы и выбрать страну и язык для результатов. Затем нажмите кнопку Запустить, чтобы начать парсинг. Для получения дополнительной информации о параметрах конфигурации см. документацию по вводу актера в Apify Store.

  2. После нажатия кнопки Запустить начнется парсинг, и через минуту вы увидите появление результатов.

  3. Затем вы увидите следующую консоль для запуска актера:

Console log Apify platform
  1. Результаты находятся во вкладке Набор данных:
Output in datasets

Вы можете скачать выходные данные в различных форматах, таких как HTML, JSON, CSV, XLS, RSS.

Или просто просмотреть, если вы спарсили правильные результаты.

JSON data preview HTML data preview

Если вы откроете результаты в формате JSON, вы получите следующий набор данных:

[{
  "searchQuery": {
    "term": "Отели в Праге",
    "page": 0,
    "type": "SEARCH",
    "countryCode": "cz",
    "languageCode": "en",
    "locationUule": null,
    "resultsPerPage": "10"
  },
  "url": "[http://www.google.com/search?gl=cz&hl=en&num=10&q=Hotels%20in%20Prague](http://www.google.com/search?gl=cz&hl=en&num=10&q=Hotels+in+Prague)",
  "hasNextPage": false,
  "resultsTotal": 138000000078,
  "relatedQueries": [
    {
      "title": "дешевые отели в праге",
      "url": "[https://www.google.com/search?hl=en&gl=CZ&q=cheap+hotels+in+prague&sa=X&sqi=2&ved=2ahUKEwjem6jG9cTgAhVoxlQKHeE4BuwQ1QIoAHoECAoQAQ](https://www.google.com/search?hl=en&gl=CZ&q=cheap+hotels+in+prague&sa=X&sqi=2&ved=2ahUKEwjem6jG9cTgAhVoxlQKHeE4BuwQ1QIoAHoECAoQAQ)"
    },
    {
      "title": "лучшие отели в старом городе праги",
      "url": "[https://www.google.com/search?hl=en&gl=CZ&q=best+hotels+in+prague+old+town&sa=X&sqi=2&ved=2ahUKEwjem6jG9cTgAhVoxlQKHeE4BuwQ1QIoAXoECAoQAg](https://www.google.com/search?hl=en&gl=CZ&q=best+hotels+in+prague+old+town&sa=X&sqi=2&ved=2ahUKEwjem6jG9cTgAhVoxlQKHeE4BuwQ1QIoAXoECAoQAg)"
    },
    ...
  ],
  "paidResults": [
    {
      "title": "2280 отелей в Праге | Гарантия лучшей цены | booking.com‎Забронируйте апартаменты и многое другоеБолее чем просто отели",
      "url": "[https://www.booking.com/go.html?slc=h3;aid=303948;label=](https://www.booking.com/go.html?slc=h3%3Baid%3D303948%3Blabel%3D)",
      "displayedUrl": "[www.booking.com/](http://www.booking.com/)",
      "description": "Забронируйте отель в Праге онлайн. Без предоплаты. Отличные цены. Завтраки. Поддержка на 42 языках. Отели. Мотели. Читайте отзывы гостей. Круглосуточное обслуживание клиентов. 34+ миллионов реальных отзывов. Безопасное бронирование. Апартаменты. Сэкономьте 10% с Genius. Типы: Отели, Апартаменты, Виллы.£0 - £45 Отели - до £45.00/день - Забронировать сейчас · Еще£45 - £90 Отели - до £90.00/деньЗабронировать сейчас£130 - £180 Отели - до £180.00/деньЗабронировать сейчас£90 - £130 Отели - до £130.00/деньЗабронировать сейчасдо £45.00/деньдо £90.00/деньдо £180.00/деньдо £130.00/день",
      "siteLinks": [
        {
          "title": "Забронируйте апартаменты и многое другое",
          "url": "[https://www.booking.com/go.html?slc=h3;aid=303948;label=](https://www.booking.com/go.html?slc=h3%3Baid%3D303948%3Blabel%3D)",
          "description": "Мгновенное подтверждение бронирования, круглосуточная поддержка"
        },
        {
          "title": "Более чем просто отели",
          "url": "[https://www.booking.com/go.html?slc=h2;aid=303948;label=](https://www.booking.com/go.html?slc=h2%3Baid%3D303948%3Blabel%3D)",
          "description": "Поиск, бронирование, проживание - начните сейчас! Отели, когда и где вам нужно"
        }
      ]
    },
    {
      "title": "Отели в Праге | Официальный сайт Hotels.com™‎",
      "displayedUrl": "[www.hotels.com/Prague/Hotel](http://www.hotels.com/Prague/Hotel)",
      "description": "Забронируйте отель в Праге сейчас! Накопите 10 ночей и получите 1 бесплатно. Бюджетные отели. Отзывы гостей. Специальные предложения в последний момент. Роскошные отели. Эксклюзивные предложения. Гарантия цены. Фотографии и отзывы. Путеводители. Получите бесплатные ночи в отелях. Без платы за отмену. Типы: Отель, Апартаменты, Хостел.",
      "siteLinks": []
    },
    ...
  ],
  "paidProducts": [],
  "organicResults": [
    {
      "title": "30 лучших отелей в Праге, Чехия (от 11 долларов) - Booking.com",
      "url": "[https://www.booking.com/city/cz/prague.html](https://www.booking.com/city/cz/prague.html)",
      "displayedUrl": "[https://www.booking.com](https://www.booking.com) › Czech Republic",
      "description": "Отличные скидки на отели в Праге, Чехия, онлайн. Хорошая доступность и отличные цены. Читайте отзывы об отелях и выбирайте лучшие предложения для вашего проживания.",
      "siteLinks": []
    },
    {
      "title": "30 лучших отелей и мест для проживания в Праге, Чехия ...",
      "url": "[https://www.booking.com/city/cz/prague.en-gb.html](https://www.booking.com/city/cz/prague.en-gb.html)",
      "displayedUrl": "[https://www.booking.com](https://www.booking.com) › Czech Republic",
      "description": "Отличные скидки на отели в Праге, Чехия, онлайн. Хорошая доступность и отличные цены. Читайте отзывы об отелях и выбирайте лучшие предложения для вашего проживания.",
      "siteLinks": []
    },
    ...
  ],
  "customData": {
    "pageTitle": "Отели в Праге - Поиск Google"
  }
},
...

Интеграция

Apify - это открытая платформа, которая позволяет актерам работать вместе и интегрироваться с внешними сервисами. Например, вы можете использовать актер lukaskrivka/google-sheets-export, чтобы загрузить свои данные, полученные в результате парсинга, в Google Sheets.

Еще один вариант - запланировать выполнение актера Google Search Scraper ежедневно и использовать вебхуки, чтобы уведомить вашу систему о том, что данные были спарсены и готовы для загрузки.

Вы также можете вызывать этот актер из своей системы через Apify Actor API.

Приятного парсинга Google!