Локальная оптимизация поисковых систем (SEO) - это новое направление в SEO. С тем, что Google начинает предпочитать местные результаты для мобильных поисков, а использование мобильных телефонов увеличивается каждый год, понимание геозависимого SEO и борьба за видимость становятся все более важными.

Времязависимые данные имеют важность уже довольно долгое время. Некоторые бизнес-модели (например, агрегаторы новостей, букмекеры и т. д.) сильно полагаются на данные в реальном времени для создания контента. Хотя времязависимые данные могут быть менее актуальными для большинства случаев SEO, доступ к такой информации может дать конкурентное преимущество.

Однако получение доступа к соответствующим данным поисковых систем для локального SEO затруднительно. У большинства крупных поставщиков возникают проблемы с уточнением данных для соответствующих областей или временных интервалов. В этой статье мы рассмотрим основы времязависимого и геозависимого SEO и какие инструменты можно использовать для получения необходимых данных.

Зачем нужны локальные данные и SEO?

В настоящее время все чаще доставляются локализованные результаты. Google кажется смешивает мобильные запросы с локализованным намерением. Большинство мобильных запросов будут пытаться вернуть локальные результаты на основе GPS, тогда как большинство запросов с рабочего стола вернут контент, который более образовательного характера.

Локальный SEO относится к практикам улучшения рейтинга в географически ограниченных поисковых запросах. Улучшение рейтинга в локальном поиске зависит от наличия доступа к данным на основе геолокации. Такие данные могут быть использованы для занятия доминирующей позиции в результатах "пакета закусок", которые в настоящее время занимают большую часть экрана.

Исследование для достижения высоких позиций в локальных результатах не слишком сложно, за исключением получения необходимых данных и инструментов. Большая часть практик SEO для глобальных и локальных рейтингов перекрывается. Однако мониторинг конкурентов и исследование ключевых слов будут зависеть от постоянного доступа к локализованным данным. Процессы создания контента также могут быть улучшены для возможных локальных посетителей.

Таким образом, получение локализованных данных для исследования ключевых слов и мониторинга конкурентов будет основой для всех, кто работает с локальным SEO.

Зачем нужны данные, зависящие от времени?

Технически, большинство контента зависит от времени. Однако, обновление определенных статей раз в год, чтобы соответствовать новейшим разработкам в отрасли, не является нашей целью. Существуют определенные виды контента (например, новости), которые являются крайне зависимыми от времени, и ранжирование для них сложно, так как данные должны быть доступны в режиме реального времени.

Хорошая часть контента, зависящего от времени, заключается в том, что стратегия SEO довольно проста - быть первым. Если вы сможете получить данные, к которым почти никто другой не имеет доступа, те, кто ищет самую свежую информацию, естественным образом будут привлечены к вашему веб-сайту.

Как получить локализованные и актуальные данные?

Для получения актуальных данных от Google требуются специализированные API. Большинство инструментов SEO, таких как Ahrefs, Moz, Mangools, предоставляют данные, в лучшем случае, раз в день. Некоторые из этих инструментов позволяют получать данные в реальном времени по определенным ключевым словам, но обычно это связано с высокими ценами, если это требуется делать часто.

Один из двух вариантов получения данных в реальном времени, зависящих от местоположения, - это разработка настраиваемого парсера поисковой системы.

Создание парсера поисковой системы

Все инструменты для парсинга веб-сайтов основаны на одном и том же принципе. Необходимо разработать приложение, которое будет переходить по определенным URL-адресам и загружать HTML-файлы веб-сайтов. Часто используются инструменты для обработки данных, чтобы сделать их более понятными для людей, так как большинство загруженных HTML-файлов представляют собой запутанную смесь кода.

Инструменты для обработки данных часто выбираются в зависимости от языков программирования. Для парсинга веб-сайтов одним из самых популярных языков является Python, так как он включает все необходимые библиотеки. Есть библиотеки, посвященные парсингу (например, BeautifulSoup4), другие - отправке HTTP-запросов (например, Requests) или автоматизации поведения браузера (например, Selenium, Pyppeteer, Playwright). Создание простого парсера веб-сайтов с использованием Python в настоящее время является чрезвычайно простым. К сожалению, для бизнес-задач простых парсеров недостаточно.

Для поддержания постоянного потока данных, необходимого для проведения ценного анализа, любой веб-парсер (или парсер поисковой системы) должен работать непрерывно. Однако большинство веб-сайтов не желают позволять ботам бездействовать и нагружать серверы. Поэтому в каждом скрипте должны быть предусмотрены меры против блокировки.

Противодействие ботам - это то, что вызывает сложности. Существуют простые способы, такие как случайное перемещение по странице или начало с главной страницы вместо прямого URL-адреса (в основном для получения файлов cookie), которые помогают избежать блокировки IP. Но в долгосрочной перспективе блокировка поисковыми системами неизбежна.

Например, Google начинает с запроса пользователю выполнить CAPTCHA, если он подозревает ботоподобную активность. Если CAPTCHA успешно выполнена, доступ к поисковой системе восстанавливается. Однако подозрения не заканчиваются здесь. Google продолжит отслеживать этот IP-адрес, и если активность продолжается, будет выдано временное блокирование IP. В редких случаях Google может навсегда заблокировать подсеть.

Когда вступают в силу блокировки IP, управление ими становится необходимостью. Для управления блокировками IP и обхода потери доступа используются прокси-серверы. У них есть один основной недостаток - хорошие прокси-серверы стоят дорого. Важно понимать, сколько парсинга один IP-адрес может обработать до блокировки, какие типы прокси следует использовать и многие другие факторы. В противном случае парсинг поисковых систем не является устойчивым проектом.

Если это кажется недостаточным, то для поддержания парсера необходимо нанять команду разработчиков, аналитиков и многих других специалистов. Малейшие изменения веб-сайтов или макетов поисковых систем могут нарушить код (так как парсеры часто полагаются на элементы CSS или классы HTML для поиска необходимых данных), что делает постоянные обновления необходимыми.

Поэтому создание настраиваемого парсера поисковой системы обычно оставляется крупным компаниям, которые могут выделить большие финансовые и разработческие ресурсы. Для малых предприятий лучшим вариантом является покупка доступа к парсеру поисковых систем от стороннего поставщика.

Покупка парсера поисковой системы

Покупка доступа к парсеру поисковой системы намного проще, чем создание его самостоятельно. Существует множество сторонних API (например, SERPMaster) и приложений, которые могут предоставлять данные в различных форматах. Большинство сторонних API основывают свои модели ценообразования на количестве ежемесячных запросов или поисков.

Небольшой опыт программирования часто требуется для автоматизации запросов и получения данных, но почти не требуется постоянного управления. После завершения настройки, доставка данных будет постоянной, так как поставщики сторонних инструментов для парсинга редко меняют свои методы интеграции.

Однако использование сторонних поставщиков имеет несколько недостатков. Один из них заключается в том, что вы становитесь зависимыми от стабильной работы сервиса. Вы не имеете контроля над стабильностью доставки данных, и возможные сбои могут быть управляемы только поставщиком услуг. Поэтому убедитесь, что выбираете надежного поставщика услуг с доказанной высокой производительностью.

Еще одним недостатком являются модели ценообразования. Большинство из них довольно не гибкие, так как предусматривают фиксированное количество запросов в месяц. Для любой бизнес-модели, которая немного изменчива и требует разного объема данных, это может быть проблемой, так как потребуется покупка большего объема данных, чем требуется. Однако, в целом, большинство таких сторонних поставщиков услуг будут готовы адаптироваться к вашим потребностям.

Эти недостатки, конечно, являются незначительными по сравнению с разработкой парсера поисковой системы с нуля. Конечно, после того, как компания разработает свой собственный инструмент для сбора данных, открываются безграничные возможности. Создание внутреннего парсера позволяет получить значительно большую гибкость.

Заключение

Данные, зависящие от местоположения и времени, могут быть чрезвычайно ценными для SEO и бизнеса. Однако получение таких данных из поисковых систем часто является сложной задачей. У бизнеса есть два варианта, когда он пытается получить данные в реальном времени: разработать собственный парсер или использовать сторонних поставщиков.

Хотите начать сбор данных? Ознакомьтесь с проектом SERPMaster!