Искусство автоматизации, создание собственного Альфреда

Привет, друзья! Прошел месяц с моего последнего обновления блога. Я стараюсь писать что-то каждую неделю, но это оказывается не всегда возможно. Я решил продолжить свои исследования в области компьютерных наук, занимаюсь нашим стартапом и занят жизнью. Кроме того, мир находится не в лучшей форме, и мы каждый день слышим огромное количество печальных новостей, что делает написание еще сложнее.

Содержание

Достаточно жаловаться, давайте приступим. Если вы когда-либо смотрели/читали Бэтмена, то должны знать о его друге Альфреде Пенниуорте. Альфред занимается всем в тени, чтобы Бэтмен мог сиять. Несмотря на то, что эти персонажи вымышленные, идея преданного, неутомимого друга вполне применима в реальном мире.

Возможно, во всей истории человечества мы никогда не были так близки к созданию феноменальных инструментов. Современная технология может предложить вам то, что еще несколько лет назад считалось невозможным, независимо от вашей профессии. Современная технология настолько продвинута, что мы можем использовать ее для создания Альфреда! В этом посте мы попытаемся создать раннюю версию Альфреда, который поможет нам с задачей парсинга и категоризации некоторых полезных данных.

Теперь, поскольку этот блог в основном о информационной безопасности, мы используем для этого поста кейс-стади информационной безопасности, но вы можете использовать эту идею для чего угодно.

Давайте представим, что моя работа - это инженер по информационной безопасности, что означает, что я занимаюсь тестированием на проникновение, красным командированием, поиском уязвимостей и т.д. Что будет делать мой идеальный Альфред?

Выполняться в любое время
Находить и обновлять ресурсы
Учиться на основе обновленных ресурсов
Тестировать то, что он узнал на клиентах и программах по поиску уязвимостей
Зарабатывать деньги, используя изученные техники
Читать мои электронные письма и отвечать на них соответствующими ответами
Использовать заработанные деньги и инвестировать в другие бизнесы
Готовить мне кофе по утрам и заказывать продукты
Назначать время для интервью, чтобы я получал заслуги за его сделанные дела!
В конце каждого года писать книгу о всем годе.
Настраивать мой календарь
И так далее

Технически говоря, все, что перечислено здесь, возможно с использованием машинного обучения, парсинга, использования различных API, устройств IoT. Так что если у вас есть ресторан или вы работаете в службе технической поддержки хостинга, у вас все равно может быть своя версия Альфреда. Так вы можете спросить, если возможно автоматизировать все буквально, почему люди этого не делают?

1- О, дорогой, это проще сказать, чем сделать.

2- Они делают это и говорят об этом. Tesla, да, автономные автомобили - это пример автоматизации; они автоматизируют вождение.

3- Они делают это и не говорят об этом. Есть много примеров, о которых я хотел бы, чтобы вы задумались. Подсказка? Боты.

Давайте начнем создание нашего собственного Альфреда; мы не можем создать полностью функционального Альфреда в одном посте; мы едва ли можем затронуть его основу. Так что помните нашу гипотетическую кейс-стади работу? Она начинается с выполнения в любое время и сбора статей и ресурсов в соответствующей области.

Хорошо, для нашего специалиста по информационной безопасности вот выбранный список.

Хорошо, как мы хотим собрать эти данные? С помощью хорошо известной техники, называемой парсингом веба.

Парсинг является одной из основных техник, используемых большинством программ автоматизации, от инструментов SEO до продвинутых программ разведки. Это действительно искусство, потому что существует бесконечное количество способов извлечения определенных данных. Работая с несколькими источниками, вам может потребоваться использовать разные техники для каждого источника. Мы будем использовать Golang для нашего примера, но вы можете использовать любой язык программирования, который вам нравится. Я считаю, что Python лучше всего подходит для парсинга веба по сравнению с другими языками.

....

Продолжение чтения на https://0xsha.io.