CoderCastrov logo
CoderCastrov
Твиттер

Как я использовал Selenium для обхода закрытия эндпоинта неаутентифицированного поиска API Twitter

Как я использовал Selenium для обхода закрытия эндпоинта неаутентифицированного поиска API Twitter
просмотров
2 мин чтение
#Твиттер

Введение

Решение Twitter ограничить доступ разработчиков к их данным вызвало некоторое разочарование среди программистов, которые полагались на неаутентифицированный эндпоинт поиска API для доступа к данным Twitter. Это решение было частью более крупной попытки ограничить доступ к данным Twitter.

Как программист, который использовал неаутентифицированный эндпоинт поиска API с библиотекой snscrape в Python, я был разочарован, услышав о его закрытии.

Более подробная информация о проблеме: https://github.com/JustAnotherArchivist/snscrape/issues/846

Обходной путь

Однако это не помешало мне получить необходимые результаты для моих проектов. Вместо этого я разработал быстрый обходной путь, используя фреймворк для тестирования веб-приложений Selenium, чтобы войти в Twitter с помощью своих учетных данных и выполнить каждый запрос в массиве.

Обходной путь работает следующим образом:

  • Сначала я устанавливаю свои учетные данные Twitter в файле констант.
  • Затем я использую Selenium, чтобы запустить веб-браузер и войти в Twitter с этими учетными данными.
  • После успешного входа я перехожу к строке поиска и выполняю каждый запрос из массива.
  • Чтобы очистить память и избежать ограничений, после выполнения 20 запросов я закрываю браузер, жду несколько секунд, а затем снова открываю браузер, чтобы продолжить выполнение запросов.

Хотя этот обходной путь может не подходить всем, он позволил мне продолжать получать необходимые результаты для моих проектов, не полагаясь на неаутентифицированный конечную точку API поиска. Однако у него есть некоторые ограничения, такие как необходимость наличия действительной учетной записи Twitter и невозможность обрабатывать сложные запросы.

В заключение

Закрытие неподтвержденного API-интерфейса поиска Twitter негативно сказалось на разработчиках, но мы нашли способы смягчить его последствия. Если вы являетесь разработчиком, которого затронуло это закрытие, этот пост может предложить некоторые полезные идеи о том, как обойти его. Если у вас есть другие предложения или идеи о том, как получить данные Twitter без использования API-интерфейса поиска, пожалуйста, поделитесь ими в разделе комментариев.

Дополнительные комментарии

Хотя мой обходной путь с использованием Selenium может быть не идеальным, я продолжаю работать над его улучшением, чтобы сделать его более надежным и эффективным. Я планирую выпустить исходный код для моего обходного пути в будущем посте, так что следите за обновлениями! Вместе мы можем найти творческие решения для доступа к данным Twitter и продолжить нашу работу в качестве разработчиков.