Как экспортировать результаты парсинга в SQL с помощью Scrapy

Привет! В этой статье я покажу вам, как экспортировать результаты парсинга с помощью Scrapy в базу данных SQL.

Давайте начнем! Я буду использовать проект Scrapy, который я создал ранее. Вы можете использовать свой собственный проект, если у вас есть Scrapy. Если нет, вы можете использовать мой проект на GitHub https://github.com/ArRosid/scrapy-tokopedia

Сначала вам нужно создать файл models.py внутри директории проекта.

Вот скрипт в файле models.py:

<script src=”[https://gist.github.com/ArRosid/83d5a604f6d7d9fd843d400818b7ca16.js](https://gist.github.com/ArRosid/83d5a604f6d7d9fd843d400818b7ca16.js)">``</script>

Вышеуказанный скрипт определяет таблицу базы данных, которую мы будем использовать.

Затем отредактируйте файл pipelines.py:

<script src=”[https://gist.github.com/ArRosid/500bbe46d39fa99e92d6bfba6c824525.js](https://gist.github.com/ArRosid/500bbe46d39fa99e92d6bfba6c824525.js)">``</script>

Наконец, добавьте следующий скрипт в файл settings.py:

ITEM_PIPELINES = {
   'tokopedia.pipelines.SaveDiscountsPipeline': 200,
   'tokopedia.pipelines.TokopediaPipeline': 300,
}CONNECTION_STRING = "sqlite:///scrapy_tokopedia.db"

Хорошо, теперь давайте запустим паука с помощью этой команды:

scrapy crawl promo

У вас появится новый файл sql3 с именем scrapy_tokopedia.db. Вы можете открыть этот файл с помощью расширения SQLite в VSCode.

Вот и все, что у меня есть для вас сегодня. Надеюсь, вы найдете это полезным. Хорошего дня!