Является ли парсинг веб-страницы законным в 2020 году?

Хотя парсинг веб-страницы стал все более распространенной практикой, этот термин все еще несет некоторую негативную коннотацию. Возможно, это связано с автоматизированной природой парсинга или общим отсутствием доступной информации... или, возможно, потому что "парсинг" звучит так неприятно. В любом случае, парсинг веб-страницы часто воспринимается как подозрительная и нелегальная практика, впечатление, которое усиливается, когда люди извлекают данные безответственно. На самом деле, если вы действуете осмотрительно и следуете нескольким интуитивным рекомендациям, парсинг веб-страницы является этичным и абсолютно законным способом сбора полезной информации из Интернета. Правовой статус парсинга в США - Закон о компьютерном мошенничестве и злоупотреблении (CFAA) Принятый в 1986 году, CFAA запрещает намеренный доступ к компьютеру без разрешения или в превышении разрешения. Проблема заключается в том, что в оригинальной форме закон не определяет, что такое "без разрешения". К счастью, последующие поправки, а также несколько недавних судебных решений, определили юридические границы, применимые к парсингу веб-страниц и извлечению данных. В 2017 году Craigslist подал иск против Instamotor за парсинг данных пользователей и использование их для отправки объявлений пользователям Craigslist. Craigslist выиграл дело и получил решение о выплате компенсации в размере 31 миллиона долларов. Стоит отметить, что сбор данных не был главной причиной решения; Craigslist выиграл дело из-за того, что Instamotor сделал с полученными данными - а именно, тысячи спам-писем и писем, граничащих с мошенничеством, отправленных массово пользователям Craigslist. В конце 2019 года Апелляционный суд США отклонил просьбу LinkedIn о запрете HiQ, компании по аналитике, на парсинг данных с ее сайта. Это решение стало дополнительным прецедентом для законности извлечения общедоступных веб-данных. Закон о парсинге в Европе - GDPR В соответствии с Общим регламентом о защите данных ЕС (GDPR), ограничения на парсинг веб-страниц не распространяются на лицо или компанию, если такое лицо или компания извлекает персональные данные людей в Европейском экономическом пространстве. Законодательство о парсинге веб-страницы различается в зависимости от местоположения и отрасли, но следуя нижеприведенным рекомендациям, вы сможете избежать проблем в большинстве случаев. Лучшие практики

MozendaMozenda была первой компанией, которая предложила инструмент для парсинга веб-страниц на основе интерфейса, и они остаются крупным игроком в отрасли парсинга веб-страниц. Они предлагают круглосуточное обслуживание для помощи в создании проекта парсинга веб-страниц. DexiDexi, базирующаяся в ЕС, предлагает платформу для парсинга веб-страниц и бизнес-аналитики для предприятий. Dexi специализируется на интеграции данных и является отличным выбором для сложных и масштабных проектов. OctoparseОтносительно новый на рынке парсинга веб-страниц, Octoparse - это простой облачный инструмент для парсинга, популярный в Азии. Scraping hubScrapinghub - это беззаботный облачный инструмент для извлечения данных, который помогает компаниям получать ценные данные и сохранять их в надежной базе данных. Scraping botScraping-Bot.io - это эффективный инструмент для парсинга веб-страниц с полнофункциональным API. Вы можете протестировать его бесплатно.