API для извлечения данных

Привет, читатели! Надеюсь, вы все хорошо проводите время в 2023 году.

Прошлый опыт/мотивация:

Я не являюсь полноценным разработчиком, но в последний год моя текущая роль требовала от меня по крайней мере несколько часов (ежедневно) на разработку определенных инструментов, автоматизации и парсеров.

Поскольку я путешествовал в мире создания парсеров, я понял, насколько это сложно и сколько времени и денег требуется на создание парсера. Учитывая количество антиботов, защиту от браузерного отпечатка для обхода и т.д. Мы также должны покупать прокси и постоянно обновлять парсер.

Так что я подумал, что было бы легко, если у нас было бы API, которое можно использовать для извлечения необходимых и часто нужных данных во время парсинга. С помощью API вам не нужно беспокоиться о создании парсера и получении прокси, и вам не нужно мучиться с решением, использовать CSS или XPath.

Введение

Я знаю, что это будет больше похоже на самопиар для читателей. Но никто не поможет или не продвинет вас, только вы сами сможете продвинуть себя.

Поэтому я создал несколько API, скорее всего, API для извлечения данных, которые я перечислил на rapidapi.com. Их всего несколько, которые я создал для крупных интернет-магазинов (таких как bestbuy.com, amazon-reviews, steamcommunity.com и т.д.), актуальных цен на акции (Индия и США), новостей Yahoo Finance и т.д. Я думал, что это будет полезно для разработчиков, инженеров данных и поможет мне как дополнительный заработок.

Все эти API имеют несколько бесплатных запросов для тестирования и проверки, извлекаются ли необходимые вам данные или нет. Только несколько пробных запросов (например, 20-30), потому что я использую свои собственные сбережения и время. Поэтому я думаю, что 20-30 запросов более чем достаточно, чтобы увидеть, есть ли в JSON данные, которые вам нужны.

Детали:

Вы можете найти список API здесь: https://rapidapi.com/user/muktheeswaranm

API специальных предложений Steam:

Если вы игрок на ПК, вы, должно быть, знаете SteamStore (https://store.steampowered.com/). Это один из крупнейших онлайн-магазинов игр, если не единственный. Я не видел ни одного другого онлайн-магазина игр такого же масштаба, как Steam. С помощью этого API вы можете получить список игр Steam, которые находятся в специальных предложениях. В этом API есть два конечных пункта: первый дает вам список идентификаторов приложений (уникальный идентификатор игры), которые находятся в предложении в этот день. Второй принимает идентификатор приложения и предоставляет вам данные (такие как цена, название игры, скидка и т.д.).

Документация по API Steam Special Offers (muktheeswaranm) | RapidAPI

FREEMIUM Получите список игр Steam и данные о специальных скидках. Свяжитесь со мной по адресу: muktheeswaran.m@gmail.com...

rapidapi.com

Это API может использоваться онлайн-ретейлерами для мониторинга цен, чтобы быть в курсе того, что предлагают их конкуренты. После запуска этого API Steam я получил около 28 тысяч запросов за неделю-две и в целом 400+ пользователей и 30 активных пользователей в среднем. Я также запустил этот API на ProductHunt.

https://www.producthunt.com/products/steam-games-special-offers

API отзывов Amazon:

Документация по API Amazon Product Reviews (muktheeswaranm) | RapidAPI

Свяжитесь со мной по адресу muktheeswaran.m@gmail.com для создания пользовательских пауков или пользовательских запросов.

rapidapi.com

Это API извлекает отзывы, если вы предоставите детали ASIN и номер страницы.

На данный момент я извлекаю данные с amazon.com, amazon.co.uk и amazon.in. Поэтому не ожидайте результатов, если вы вводите ASIN из другой страны и не видите результатов.

Данные о продукте BestBuy:

Документация по API BestBuy Product Data (muktheeswaranm) | RapidAPI

Свяжитесь со мной по адресу muktheeswaran.m@gmail.com для создания пользовательских пауков или запросов.

rapidapi.com

Это API извлекает данные о продукте (такие как цена, название продукта, SKU, модель и т. д.). Оно принимает ключевое слово и номер страницы. Если вы хотите получить данные всех 10 страниц для iPhone, то вам нужно пройти по номеру страницы от 1 до n.

Индийская фондовая биржа:

Документация по API индийской фондовой биржи (muktheeswaranm) | RapidAPI

FREEMIUM API для индийской фондовой биржи BSE/NSE Свяжитесь со мной по адресу muktheeswaran.m@gmail.com для создания настраиваемых парсеров или...

rapidapi.com

Это API предоставит вам актуальную цену акций, которые перечислены на NSE (Национальная фондовая биржа). Оно принимает символ (например, TATAMOTORS) и извлекает такие данные, как текущая цена, предыдущий закрытие, минимум дня, максимум дня и т. д..

Сделки в Playstation Store:

Документация по API сделок в Playstation Store (muktheeswaranm) | RapidAPI

Получить данные о сделках в Playstation Store, которые можно найти здесь...

rapidapi.com

Для геймеров и владельцев онлайн-магазинов или провайдеров эта API может помочь вам быть в курсе последних цен на игры, которые находятся в сделках в Playstation Store. Это может помочь онлайн-ретейлерам оптимизировать цены на игры и предлагать лучшие предложения. Она принимает только параметр "count", который начинается с минимального значения 0 и максимального значения, зависящего от общего количества игр.

Цена акций в США:

US Stock Prices | Live! Документация по API (muktheeswaranm) | RapidAPI

FREEMIUM API для биржи США. Получайте актуальные цены и все данные. Свяжитесь со мной по адресу: muktheeswaran.m@gmail.com для...

rapidapi.com

Это API принимает символ/тикер и извлекает актуальную цену акции, если рынок открыт, и если закрыт, извлекает последнюю сделку, максимум, минимум и т.д.

JSON данные по акциям TSLA в США, изображение не отображает полные данные.

Энтузиасты фондового рынка могут использовать это API для его мониторинга, а также брокеры по акциям или блогеры новостей о фондовом рынке могут использовать его для анализа и хранения данных в режиме реального времени.

Новости Yahoo Finance India:

Документация по API Yahoo Finance India (muktheeswaranm) | RapidAPI

Yahoo Finance India! Вы также можете использовать API индийской фондовой биржи, чтобы получить актуальную цену акций...

rapidapi.com

Это API предоставит вам последние новости о конкретной акции. Если вы введете символ акции, он извлечет последние новости из Yahoo Finance News в формате JSON. Это может помочь тем людям, которые пишут блоги о фондовом рынке и анализируют рынок на основе новостей о фондовом рынке и других факторов, они могут использовать его, чтобы получить все данные новостей сразу. Он предназначен только для индийского фондового рынка.

Последнее, но не менее важное

Я знаю, что может быть немного скучно читать все это. Но самая важная часть заключается в том, что все вышеперечисленные API имеют бесплатную пробную версию и платную версию. Учитывая объем работы по созданию, поддержке, инфраструктуре и получению прокси, я считаю, что цена нормальная.

Также, чтобы добавить к вышесказанному, я отключил превышения для всех API, потому что я прочитал в этой же статье на Medium, что поставщик API был обманут пользователем, так как у поставщика API были включены превышения, и пользователь отправил, например, 300 тысяч запросов, и они не заплатили, а пользователь использовал украденную кредитную карту. Поэтому я решил использовать только подписку. Если вам все же нужен более крупный план, всегда свяжитесь со мной по электронной почте, и мы сможем договориться через RapidAPI, что будет безопаснее для вас и для меня. Не стесняйтесь давать отзывы о API, чтобы я мог его улучшить.