CoderCastrov logo
CoderCastrov
Парсер

Формат экспорта в Scrapy

Формат экспорта в Scrapy
просмотров
1 мин чтение
#Парсер

Вот как вы можете форматировать экспорт элементов в Scrapy.

Для всех этих вариантов убедитесь, что ваш паук действительно возвращает некоторые результаты в методе parse.

Использование известного расширения имени файла

Используйте одно из известных расширений файлов, которые вы указываете в параметре -O команды crawl.

Использование параметра -t

Укажите формат в параметре -t команды crawl.

Использование свойства FEEDS в скрапере

Укажите значение для свойства FEEDS в вашем скрапере.

Более подробная информация

Можно найти в официальной документации.

class MySpider(scrapy.Spider):
    name = "myspider"
    custom_settings = {
        'FEEDS': {
            'export.jsonlines': {       # файл URI (имя)
                'format': 'jsonlines',  # json/jsonlines/csv/xml/marshal/pickle
            }
        }
    }

Опубликовано на http://isbyr.com_ 21 апреля 2022 года._