Введение

Постпандемический мир в значительной степени полагается на мобильные приложения для покупок. Исследования показывают, что пользователи смартфонов проводят более 3 часов в день на своих телефонах, и один из пяти пользователей проводит более 4,5 часов ежедневно, смотря на свои телефоны. Учитывая среднее время, проводимое на мобильных телефонах ежедневно, неудивительно, что приложения быстро заменяют электронные коммерческие сайты и становятся основным каналом покупок для современных покупателей. Чтобы быть в курсе изменяющегося розничного ландшафта сегодня, Intelligence Node представила передовое решение для парсинга мобильных приложений, чтобы дополнить свою проверенную временем, награжденную технологию парсинга электронных коммерческих сайтов. Давайте ближе рассмотрим технологию и процесс парсинга мобильных приложений:

Есть 2 способа парсить мобильные приложения:

Сценарий 1

• Когда композитные API открыты (например, Amazon) - В таких случаях требуется небольшая настройка, но в конечном итоге парсинг не отличается от стандартных веб-сайтов.

Сценарий 2

• Когда композитные API зашифрованы (например, HEB, Dollar General, Stop & Shop, Target и т. д.). В этом случае все гораздо сложнее и требуется специализированный парсинг мобильных устройств, OCR (оптическое распознавание символов) и другие техники машинного обучения. Ниже приведено краткое объяснение подхода Intelligence Node:

Методология

Шаг 1) Запись сессии/навигации на мобильном устройстве (с помощью специальных визуальных парсеров навигации)

Технические соображения: Чтобы сделать процесс масштабируемым, мы используем облачное реальное устройство и эмулируем кластер устройств, которые используют нашу умную прокси-сеть.

Шаг 2) Определение ROI продукта (Region of Interest)

Поскольку в одном кадре может быть несколько продуктов, сложно парсить текст для конкретного продукта. Если попытаться это сделать, это может привести к несоответствующей информации. Чтобы справиться с этим, мы использовали алгоритм обнаружения объектов в качестве первого шага для получения ROI каждого продукта, независимо от того, сколько продуктов находится в одном кадре.

Входные файлы передаются в YoloV5, который настроен на определение ROI продуктов. Архитектура YoloV5 имеет преимущество перед другими моделями благодаря быстрой и точной инференции.

Видео содержит определенное количество кадров в секунду, что может привести к дублированию продуктов. Чтобы справиться с этим, мы вводим этап удаления дубликатов, где мы можем удалить определенные ROI продуктов, которые идентичны. Это дальше помогает обрабатывать данные более быстро и эффективно. ROI из видео затем кэшируется в виде изображений.

Шаг 3) Определение компонентов продукта

В этом этапе определяются компоненты, такие как цена, информация о продукте, изображение продукта и т. д. (Компоненты могут варьироваться в зависимости от приложения). Применяется YoloV5 (отдельный экземпляр по сравнению с шагом 2 выше, так как нам нужно точное уровневое рассмотрение для определения компонентов).

Шаг 4) Извлечение компонентов с помощью OCR

На этом этапе мы можем завершить извлечение текста, так как все детали продуктов были определены. Применяется специально обученная система OCR для получения подробного извлечения текста.

Шаг 5) Получение конечного результата

Извлеченный текст, вместе с метаданными, сохраняется в базе данных. Применяются модульные тесты и проверки качества. На этом этапе информация преобразуется в требуемый формат клиента и готова к отправке/загрузке/запросу через API.

Заключение

Поскольку розничная экономика все больше отходит от традиционных кирпично-мортельных магазинов в сторону современных, технологически продвинутых альтернатив, таких как мобильная и социальная коммерция, а также приходящий метавселенной, розничным компаниям необходимо быть готовыми к быстрой перестройке с помощью передовых ИИ и аналитических решений. Intelligence Node понимает это и нацелена на предоставление брендам и розничным компаниям самой точной и сложной аналитики по всей их розничной сфере и продвигает свои цели, разрабатывая решения, такие как передовое решение по парсингу мобильных приложений. И она не останавливается на этом. Intelligence Node расширила свою проприетарную технологию на метавселенную - парсинг розничных магазинов во вселенной метавселенной, охватывая основные платформы, такие как Roblox, Meta, Decentraland, Sandbox и т. д.

---

Оригинальная публикация на сайте https://www.linkedin.com.