CoderCastrov logo
CoderCastrov
Парсеры

Боты 101: Вот почему у нас не могут быть хорошие вещи

Боты 101: Вот почему у нас не могут быть хорошие вещи
просмотров
5 мин чтение
#Парсеры

В нашей отрасли термин "бот" относится к программным приложениям, разработанным для автоматизации задач с высокой скоростью. Обычно я использую ботов в Radware для агрегации данных для разведывательных потоков или для автоматизации повторяющихся задач. Я также провожу большую часть времени на исследованиях и отслеживании новых ботов, которые были созданы и развернуты с плохими намерениями.

Как я уже рассказывал ранее, существуют два разных типа ботов: хорошие и плохие. Некоторые из хороших ботов включают поисковых ботов, краулеров и инструменты для получения данных, которые предназначены для нахождения и индексации вашего веб-сайта, чтобы он мог быть видимым в Интернете. Без помощи этих ботов большинству малых и средних предприятий было бы трудно установить свою авторитетность в Интернете и привлечь посетителей на свой сайт.

С другой стороны, преступники используют ту же технологию для создания ботов для незаконных и прибыльных действий, таких как парсинг контента с одного веб-сайта и продажа его другому. Эти вредоносные боты также могут быть использованы для захвата аккаунтов и создания фальшивых отзывов, а также для совершения мошенничества с рекламой и нагрузки на веб-приложения. Вредоносные боты даже использовались для создания фейковых аккаунтов в социальных сетях и влияния на выборы.

Учитывая, что почти половина всего интернет-трафика сегодня является нечеловеческим, плохие боты представляют значительный риск для бизнеса, независимо от отрасли или канала.

Как говорится, вот почему у нас не могут быть хорошие вещи.

Целевые отрасли

Если злонамеренный бот нацеливается на онлайн-бизнес, это непременно повлияет на производительность веб-сайта, конверсию продаж, конкурентные преимущества, аналитику или пользовательский опыт. Хорошая новость заключается в том, что организации могут принимать меры против деятельности ботов в реальном времени, но для начала им необходимо понять свои риски, прежде чем рассматривать решение.

  • Электронная коммерция - отрасль электронной коммерции подвергается атакам ботов, включая захват аккаунтов, парсинг, исчерпание запасов, скейлинг, кардинг, искаженную аналитику, DoS-атаки на приложения и мошенничество с рекламными кликами.
  • Медиа - цифровые издатели уязвимы для автоматических атак, таких как мошенничество с рекламными кликами, парсинг, искаженная аналитика и спам форм.
  • Туризм - отрасль туризма в основном сталкивается с атаками парсинга, но также может страдать от исчерпания запасов, кардинга и DoS-атак на приложения.
  • Социальные сети - социальные платформы сталкиваются с автоматическими атаками ботов, такими как захват аккаунтов, создание аккаунтов и DoS-атаки на приложения.
  • Рекламные сети - боты, создающие сложный недействительный трафик (SIVT), нацеливаются на рекламные сети для мошеннической деятельности, такой как фальшивые клики и показы.
  • Финансовые учреждения - банковская, финансовая и страховая отрасли являются высокоценными целями для ботов, использующих захват аккаунтов, DoS-атаки на приложения или парсинг контента.

Типы атак на приложения

Становится все сложнее для обычных средств безопасности отслеживать и сообщать о сложных ботах, которые постоянно изменяют свое поведение, затрудняют идентификацию и используют различные векторы атаки для разных отраслей. Как только вы начинаете понимать риск, создаваемый злонамеренными автоматизированными ботами, вы можете начать сосредоточиваться на векторах атак, с которыми вы можете столкнуться в результате их действий.

  • Захват аккаунта — Захват аккаунта включает в себя атаки с использованием подбора учетных данных, перебора паролей и грубой силы, которые используются для несанкционированного доступа к целевому аккаунту. Подбор учетных данных и перебор паролей — две популярные техники, используемые в настоящее время. После получения доступа к аккаунту хакеры могут начать дополнительные этапы инфицирования, кражи данных или мошенничества.
  • Парсинг — Парсинг — это процесс извлечения данных или информации с веб-сайта и их публикации в другом месте. Парсинг цен и остатков также используется для получения конкурентного преимущества. Эти парсеры обходят ваши веб-страницы в поисках конкретной информации о ваших продуктах. Обычно парсеры крадут всё содержимое с веб-сайтов или мобильных приложений и публикуют его для привлечения трафика.
  • Исчерпание остатков — Исчерпание остатков происходит, когда бот используется для добавления сотен товаров в корзину, а затем они оставляются без покупки, чтобы предотвратить покупку реальными покупателями.
  • Расхищение остатков — Хакеры используют розничные боты, чтобы получить преимущество при покупке товаров и билетов во время мгновенной распродажи, а затем перепродать их позже по гораздо более высокой цене.
  • Кардинг — Кардеры размещают боты на страницах оформления заказа для проверки украденных данных карты и взлома подарочных карт.
  • Искаженная аналитика — Автоматизированный недействительный трафик, направленный на ваш интернет-магазин, может исказить метрики и ввести в заблуждение при принятии решений о рекламном бюджете и других бизнес-решениях. Боты загрязняют метрики, нарушают анализ воронки и мешают отслеживанию ключевых показателей эффективности.
  • Атака DoS на приложение — Атаки DoS на приложение замедляют интернет-магазины, исчерпывая ресурсы веб-серверов, сторонних API, баз данных остатков и другие критические ресурсы до тех пор, пока они не станут недоступными для законных пользователей.
  • Мошенничество с рекламой — Злонамеренные боты используются для генерации недействительного трафика, создания ложных показов и генерации незаконных кликов на веб-сайтах и мобильных приложениях.
  • Создание аккаунтов — Боты используются для массового создания фейковых аккаунтов для спама контентом, SEO и искажения аналитики.

Симптомы атаки ботов

  • Высокое количество неудачных попыток входа
  • Увеличение возвратов средств и споров по транзакциям
  • Последовательные попытки входа с разными учетными данными от одного и того же HTTP-клиента
  • Необычная активность запросов для выбранных приложений, контента и данных
  • Неожиданные изменения в производительности и метриках веб-сайта
  • Внезапное увеличение количества создаваемых аккаунтов
  • Повышенный трафик для определенных ограниченных товаров или услуг

Интеллектуальное решение

Нахождение решения, которое обеспечивает партнеров и поставщиков услуг последней информацией о потенциальных атаках, критически важно. По моему мнению, одним из лучших способов получить представление о стоящих перед вами угрозах и идентифицировать вредоносные боты в реальном времени является использование потока интеллекта ботов.

Поток интеллекта ботов предоставит вам информацию о последних данных о вновь обнаруженных IP-адресах для различных категорий ботов, таких как боты центров обработки данных, нежелательные пользовательские агенты, устойчивые боты, проверяющие обратные ссылки, мониторинговые боты, агрегаторы, боты социальных сетей, спам-боты, а также сторонние каталоги и службы по обнаружению мошенничества, используемые для отслеживания внешне помеченных IP-адресов. Это даст организациям лучший шанс проактивно блокировать уязвимости в безопасности и принимать меры против новых векторов угроз.