CoderCastrov logo
CoderCastrov
Веб-парсинг

Как получить данные без блокировки в Listly

Как получить данные без блокировки в Listly
просмотров
2 мин чтение
#Веб-парсинг
Table Of Content

    Вы, наверное, хотя бы раз сталкивались с блокировкой при парсинге веб-сайтов. В этом руководстве мы рассмотрим продвинутые функции Listly: Извлечение групп и Скриншот, которые позволяют вам самостоятельно проверять тип ошибки. Если вы когда-либо сталкивались с блокировкой при парсинге веб-сайтов, вам стоит обратить на это внимание!

    В качестве примера сегодняшнего веб-сайта возьмем Shopbop, одной из крупнейших платформ онлайн-шопинга. Как всегда, щелкните Listly Whole и спарсите веб-сайт.

    Вот и все, вы сможете получить все данные всего одним щелчком.

    Если вы используете бесплатный план...

    Если вы вернетесь на веб-сайт, вы заметите, что веб-сайт отображает информацию о товаре, разделяя ее на несколько страниц 1, 2, 3... Простой способ собрать информацию о модных товарах - это повторить щелчок на Listly Whole на каждой веб-странице. Их всего 11 страниц, поэтому вы можете легко справиться с этой задачей. Listly предлагает неограниченное преобразование 1 веб-страницы в 1 Excel бесплатно, так что это будет доступно для всех, кто хочет собирать информацию о товарах с веб-сайтов!

    Если вы используете бизнес-план...

    Вот более лучший способ сделать это всего за одну минуту - псст, это сделает вашу рабочую жизнь намного проще.

    Щелкните Group и вставьте соответствующие URL-адреса страниц списка товаров в раздел ADD URL внизу страницы.

    За исключением первой страницы, каждая страница списка включает следующие параметры: ?offset=NUMBER, с числовыми значениями в порядке возрастания. Вы можете просто скопировать и вставить URL-адреса или изменить числовые значения в адресах.

    После нажатия Submit, Listly автоматически извлечет данные из нескольких страниц списка товаров.

    Обновите свой браузер, и ваш статус извлечения изменится следующим образом.

    Просто подождите минуту, пока завершится извлечение данных.

    Если возникла ошибка...

    Ой, одна страница, с которой Listly не смогла извлечь данные. Не беспокойтесь, Listly предоставляет функцию скриншота, которая позволяет вам проверить, какие типы ошибок произошли во время извлечения с помощью удобного пользовательского интерфейса.

    Щелкните Screenshot и проверьте ошибку.

    Сообщение об ошибке буквально отображает скриншот ошибки, которая произошла во время парсинга. Многие веб-сайты создают такое всплывающее окно, которое блокирует данные за окном. Поскольку рекламные сообщения появляются в случайное время, самым простым решением будет повторное выполнение парсинга.

    Выберите URL-адрес, с которого не удалось извлечь нужные данные, и нажмите Refresh.

    Вот и все, вы можете получить все данные без повторного извлечения всех веб-страниц! Теперь вы можете сохранить данные в разных форматах.