Как сделать парсинг с использованием Net Core 5 + Selenium и разместить его на Heroku за 5 минут
Table Of Content
- orodriguezzz/web-net-core-selenium-scraper
- Внесите свой вклад в развитие orodriguezzz/web-net-core-selenium-scraper, создав учетную запись на GitHub.
- jincod/dotnetcore-buildpack
- Это сборка Heroku для ASP.NET Core. Сборка поддерживает проекты на C# и F#. Она ищет через...
- Облачная платформа для приложений | Heroku
- Независимо от того, создаете ли вы простой прототип или критически важный продукт, полностью управляемая платформа Heroku...
- Автоматизация браузера SeleniumHQ
- Если вы хотите создать надежные наборы автоматизации регрессии на основе браузера и тесты, масштабировать и распространять сценарии по...
- heroku/heroku-buildpack-chromedriver
- Этот buildpack устанавливает chromedriver (драйвер Selenium для Chrome) в Heroku slug. Этот buildpack устанавливает только...
Сделать парсинг (извлечение данных с веб-сайтов) локально с любого веб-сайта относительно просто, но возникают проблемы, когда вы хотите разместить свой веб-проект, выполняющий парсинг, на общем сервере в сети.
Я расскажу вам, как это сделать, используя Net Core 5, Selenium, и развернем веб-приложение на бесплатном dyno в Heroku для проведения тестов.
Сначала создайте веб-проект в Visual Studio. В этом случае мы создадим веб-приложение MVC.
Выберите только .NET 5 в качестве используемого фреймворка.
Используя Nuget Package Manager, добавьте Selenium Webdriver.
В нашем контроллере мы получим несколько данных с URL-адреса, который мы хотим.
Чтобы разместить наше веб-приложение на Heroku, мы будем использовать buildpack, а также для Selenium Webdriver и Google Chrome.
Начнем с подключения репозитория GitHub нашего проекта, который будет скомпилирован и развернут позже.
Добавим buildpacks:
[https://buildpack-registry.s3.amazonaws.com/buildpacks/jincod/dotnetcore.tgz](https://buildpack-registry.s3.amazonaws.com/buildpacks/jincod/dotnetcore.tgz)
[https://github.com/heroku/heroku-buildpack-google-chrome](https://github.com/heroku/heroku-buildpack-google-chrome)
[https://github.com/heroku/heroku-buildpack-chromedriver](https://github.com/heroku/heroku-buildpack-chromedriver)После этого нажмите "Deploy Branch" и ждите, пока волшебство не произойдет!
Затем Heroku предоставит вам URL, если вы не настроили домен для вашего приложения.
и вуаля!!!
Счастливого кодирования!!!
Код веб-проекта я делюсь через GitHub
orodriguezzz/web-net-core-selenium-scraper
Внесите свой вклад в развитие orodriguezzz/web-net-core-selenium-scraper, создав учетную запись на GitHub.
github.com
РЕСУРСЫ
jincod/dotnetcore-buildpack
Это сборка Heroku для ASP.NET Core. Сборка поддерживает проекты на C# и F#. Она ищет через...
github.com
Облачная платформа для приложений | Heroku
Независимо от того, создаете ли вы простой прототип или критически важный продукт, полностью управляемая платформа Heroku...
Автоматизация браузера SeleniumHQ
Если вы хотите создать надежные наборы автоматизации регрессии на основе браузера и тесты, масштабировать и распространять сценарии по...
heroku/heroku-buildpack-chromedriver
Этот buildpack устанавливает chromedriver (драйвер Selenium для Chrome) в Heroku slug. Этот buildpack устанавливает только...
github.com