Парсинг веб-сайта с помощью Data Miner

Парсинг данных с веб-сайта shopee.co.id

Assalamu'alaikum, друзья,

На этот раз мы попробуем извлечь данные с веб-сайта https://shopee.co.id/ с помощью парсера данных.

Прежде всего, убедитесь, что вы установили расширение Data Miner в своем браузере Chrome. Если вы еще не установили его, вы можете следовать следующим шагам:

В первую очередь введите "Data Miner" в поисковую строку Chrome, затем выберите data-miner.io или вы можете просто перейти по ссылке здесь

Затем нажмите Add to Chrome,

затем нажмите "Добавить в Chrome",

Затем появится окно с выбором, нажмите на "add extension" для установки Data Miner, дождитесь завершения установки,

После завершения установки перейдите к регистрации с помощью вашей учетной записи Google,

После успешного выполнения всех шагов появится расширение Data Miner в правом верхнем углу вашего экрана Chrome, как показано на следующем изображении

Data Miner успешно установлен в нашем браузере Chrome, теперь мы начнем извлекать данные с веб-сайта shopee.co.id, а именно данные о тканевых масках. Учитывая текущую ситуацию, наличие тканевых масок необходимо для каждого человека. Мы соберем данные о тканевых масках на shopee.co.id и посмотрим среднюю цену на тканевые маски, продаваемые на Shopee, а также место отправления и количество проданных масок.

Сначала откройте веб-сайт https://shopee.co.id/, затем введите "тканевые маски" в поле поиска,

На одной странице содержится 50 товаров

Затем откройте Data Miner и нажмите New Recipe, для более подробной информации обратите внимание на следующую картинку,

Есть два типа страниц: первый - List Page, который используется для парсинга нескольких строк с веб-сайта, а второй - Detail Page, который используется для парсинга детальной информации о продукте. На этот раз мы выберем List Page,

Затем в разделе 2 Rows нажмите Find и наведите курсор на описание под изображением маски, пока оно не станет оранжевым, как показано на следующем изображении

После того, как оно станет оранжевым, нажмите клавишу shift на клавиатуре, появится пунктирная оранжевая линия, как показано ниже:

Затем отметьте пункт Element's Classes в окне Recipe Creator, чтобы выделить все продукты,

Убедитесь, что все продукты, данные которых вы хотите получить, выбраны, это будет указано зеленой линией, затем нажмите confirm,

Затем нажмите на раздел 3 Cols, мы извлечем данные в виде списка, состоящего из четырех столбцов: название маски, цена, место отправления и количество проданных масок. Сначала мы создадим столбец с названием маски с помощью следующих шагов:

Дайте имя первому столбцу "Название_Маски" и выберите extract в виде текста,

Затем нажмите Find и наведите курсор на название маски, пока оно не станет оранжевым, затем нажмите клавишу shift на клавиатуре,

Отметьте пункт Element's Classes, убедитесь, что все продукты выбраны, затем нажмите confirm,

Появится следующее окно, указывающее, что выбрано 50 записей (число рядом с изображением глаза). Затем добавьте второй столбец,

Создайте второй столбец с названием "Цена", который будет содержать данные о цене тканевых масок, и выберите extract в виде текста,

Затем нажмите Find и наведите курсор на цену маски, пока она не станет оранжевой, затем нажмите клавишу shift на клавиатуре,

Отметьте пункт Element's Classes, убедитесь, что все продукты выбраны, затем нажмите confirm,

Создайте третий столбец с названием "Место_Отправления", который будет содержать данные о месте отправления тканевых масок, которые продаются на Shopee, и выберите extract в виде текста,

Затем нажмите Find и наведите курсор на место отправления маски, пока оно не станет оранжевым, затем нажмите клавишу shift на клавиатуре,

Отметьте пункт Element's Classes, убедитесь, что все продукты выбраны, затем нажмите confirm,

Затем создайте последний столбец с названием "Продано", который будет содержать данные о количестве проданных масок, и выберите extract в виде текста,

Затем нажмите Find и наведите курсор на количество проданных масок, пока оно не станет оранжевым, затем нажмите клавишу shift на клавиатуре,

Отметьте пункт Element's Classes, убедитесь, что все продукты выбраны, затем нажмите confirm,

Теперь у нас есть четыре столбца, каждый из которых успешно выбрал 50 продуктов, как показано на следующем изображении,

Затем нажмите на раздел 7 Nav для выбора навигации, которая представляет собой кнопку "Next" на следующей странице,

Наведите курсор на символ > внизу справа, пока он не станет оранжевым, затем нажмите клавишу shift на клавиатуре, отметьте пункт второй Element's Classes, затем нажмите confirm,

Чтобы убедиться, что выбранная нами навигация работает, попробуйте нажать на нее. Если экран Shopee переходит на вторую страницу, значит, навигация работает и успешна,

Затем нажмите на раздел 4 Nav, чтобы изменить имя рецепта на "Masker Kain Shopee 2020", затем нажмите Save и Run Recipe,

Подождите, пока процесс парсинга не завершится, затем появится следующее,

Чтобы указать количество страниц, которые нужно спарсить, нажмите на Next Page и введите количество страниц, которые вы хотите спарсить в соответствии с вашими потребностями,

Кроме того, данные, полученные после парсинга, можно скачать в формате CSV или XLSX. На этот раз мы скачаем данные в формате XLSX,

После успешной загрузки данных в формате XLSX попробуйте открыть и отформатировать файл. Если все прошло успешно, вы получите результат, как показано на следующем изображении,

Информация, полученная после парсинга данных, показывает, что средняя цена тканевых масок на Shopee составляет 8 421 рупий, а среднее количество проданных масок составляет 6 082 штуки.

Вот и все, что я могу поделиться,

надеюсь, это будет полезно, спасибо....