Между моментом, когда вы нажимаете кнопку для получения отзывов с определенной платформы, и моментом, когда вы их получаете, происходит множество сложных процессов. Вы можете ожидать мгновенного ответа, но в некоторых случаях это не возможно.

Это особенно верно, когда вы пытаетесь парсить большое количество отзывов с одного URL одновременно. Давайте подробнее рассмотрим причины этой проблемы, почему она возникает и что можно сделать.

Два основных способа представления большого количества отзывов на одном URL

Один из вариантов представления нескольких отзывов на одной странице - это функция бесконечной прокрутки. Бесконечная прокрутка означает, что при прокрутке вниз до определенного момента (когда новые отзывы становятся невидимыми) загружаются новые отзывы.

Эта функция обычно реализуется по нескольким причинам. Некоторые из наиболее распространенных причин - удержание пользователя заинтересованным за счет снижения затрат на взаимодействие (просто прокручивание вместо нажатия) и удобство использования на мобильных устройствах.

Другой вариант - пагинация на одном URL. Это означает, что на одной странице отображается определенное количество отзывов (обычно 5 или 10). Если вы хотите увидеть больше, вам нужно перейти на следующую страницу.

Метод пагинации обычно реализуется так, чтобы пользователь чувствовал себя более уверенно и легче ориентировался.

Проблемы обоих методов

Теперь, независимо от того, о каком методе речь идет, одно можно сказать - загрузка новых отзывов занимает время. Будь то загрузка нового раздела или новой страницы, вам придется подождать долю секунды, секунду или даже больше. На первый взгляд это может показаться быстрым, но эти времена могут складываться.

Это особенно верно, когда речь идет о странице с большим количеством отзывов.

Те же правила применяются и к нашему автоматизированному сервису парсинга отзывов. Однако у них также есть некоторые дополнительные трудности (которые становятся более заметными с увеличением количества отзывов для парсинга). Два из них наиболее заметны:

• Не каждый запрос на загрузку нового контента успешен, поэтому требуется некоторое повторение.
• Существует высокий риск блокировки веб-сайтов нашими парсерами из-за большого количества запросов в короткий промежуток времени.

Как вы уже знаете, различные веб-сайты имеют разные уровни защиты от ботов. Хорошее правило заключается в том, что чем популярнее веб-сайт, тем выше уровень защиты от ботов. Это в свою очередь означает больше трудностей для нас в получении отзывов.

Мы хотим избежать блокировки платформой. Поэтому, пытаясь спарсить большое количество отзывов, мы обычно воздерживаемся от любого "подозрительного поведения". Один пример такого поведения, как мы уже упоминали, - это бомбардировка платформы быстрыми запросами.

Что делать вместо этого?

Если возможно и соответствует вашим потребностям, мы рекомендуем вам не пытаться собирать более 500 последних отзывов с платформы. В некоторых случаях - в зависимости от уровня защиты от ботов платформы - это число может быть меньше или больше. Однако это хорошая оценка и ориентир, который следует иметь в виду.

Для этого вы должны использовать параметр reviewLimit в вашем API-запросе. Это ограничивает количество отзывов, которые JustLikeAPI попытается собрать в соответствии с порядком сортировки на веб-сайте. Таким образом, вы снизите вероятность неудачного завершения процесса парсинга.

Когда речь идет о большом количестве отзывов, исторические данные могут быть полезными, но только в определенной степени. Бизнес постоянно меняется. Вносятся улучшения, чтобы лучше удовлетворять постоянно меняющимся потребностям клиентов. Поэтому некоторые старые отзывы могут уже не относиться к вашему случаю.

Мы рекомендуем вам сосредоточиться на мониторинге новых отзывов. JustLikeAPI может помочь вам в этом, запускаясь автоматически через определенный интервал, который вы выбираете. Таким образом, вы будете всегда в курсе всех новых отзывов на всех платформах, которые вас интересуют для мониторинга.

Если вам все же нужны исторические отзывы, лучшим решением будет связаться с нами. Мы тогда оценим конкретную платформу(ы), которые вас интересуют, и определим наилучший подход. Это связано с тем, что история парсинга отзывов не заканчивается работой с пагинацией. Это гораздо более сложный процесс, и каждая платформа имеет свои особенности.

Исследование случая — TripAdvisor

Давайте взглянем на TripAdvisor. TripAdvisor - популярная платформа для обзоров, где пользователи оставляют свои впечатления о местах, которые они посетили.

На этой платформе обзоры представлены в виде пагинированного списка. Однако загрузка страницы за страницей - это не конец истории.

У TripAdvisor есть разные URL-адреса для разных языков. Это создает еще одну сложность и еще одну точку, где нужно принять решение.

Если вы хотите спарсить обзоры с TripAdvisor, вы хотите получить их только на определенном языке (например, английском) или на нескольких языках?

В случае, если вы хотите получить обзоры на нескольких языках, должно ли быть одинаковое количество спарсенных обзоров для каждого языка или должно быть соотношение между ними?

Ответ на эти и многие другие вопросы потребует от вас знания вашей цели. Более конкретно, что вы хотите сделать со всеми обзорами, к которым у вас теперь будет легкий доступ? У вас есть конкретный регион, в котором вы хотите улучшить свою услугу и, таким образом, рыночную долю? Вы хотите определить места, где люди, кажется, не оставляют отзывы о вашем бизнесе? Или что-то еще?

После того, как у вас будет ответ на эти вопросы, JustLikeAPI поможет вам, взяв на себя ручной и утомительный процесс ручного сбора обзоров. Это позволит вам иметь больше ресурсов для принятия других важных решений, касающихся вашего бизнеса.

Заключение

Различные веб-сайты, независимо от того, как они представляют отзывы, также имеют различные уровни защиты от ботов и различную толерантность к тому, что мы называем подозрительным поведением.

Парсинг большого количества отзывов с одного URL-адреса означает отправку множества запросов в короткий промежуток времени и является примером такого поведения.

В большинстве случаев такое поведение приведет к блокировке вашего доступа к этой платформе. Это еще один фактор, который делает парсинг большого количества отзывов более сложным.

Однако сложность не означает невозможность. И с помощью justLikeAPI все сложности теперь лежат на наших плечах.