Мой путь от идеи до автоматизации доски вакансий и разработчика Facebook Developer's Circle

Это моя первая публикация на "Medium", и я надеюсь, что смогу немного рассказать о своем основном проекте с 2018 года, его прогрессе, моем прогрессе в работе над ним и других мыслях.

В мае 2018 года я принял участие во втором "Huji Hackathon", где познакомился с Роем Мунином (генеральным директором и основателем Made in Jerusalem). Уже знакомым с Роем, я подошел к нему, интересуясь, почему он находится на хакатоне Huji, и он рассказал мне, что создал еженедельный Hacknight, где программисты собираются для работы над своими побочными проектами, или если у вас их нет, то есть много проектов для сообщества, которым нужен программист.

Так как это был мой второй хакатон, и я почувствовал, что в этом я хорош, я пошел на свою первую ночь побочных проектов, думая присоединиться к существующему проекту. Я попал в очень большой проект по планированию, в котором уже были реализованы бэкэнд и фронтэнд на разных библиотеках, и я был просто ошеломлен. Я отступил назад и подумал о том, чтобы начать проект с нуля, как на хакатонах! Мы начали рассматривать список открытых проектов, и там была "Доска вакансий Made in JLM". У меня сразу возникло около пяти разных подходов к тому, как это должно быть сделано, и я начал работать над этим.

Сначала я подумал о том, как получить информацию о вакансиях компаний с их сайтов/страниц, может быть, мне стоит парсить Google для их первой записи? Может быть, я должен попробовать угадать специфический URL-адрес домена? Я не был уверен, поэтому, проконсультировавшись с людьми, я понял, что на самом деле не решаю проблему и должен изменить подход, чтобы на доске работало 10 компаний, как планировалось.

Вот тогда я начал учиться парсить сайты. Используя Python 3, я начал очень долгий путь (хотя я понял это только недавно). Неделя за неделей, во время учебы в Ивритском университете, я смог разработать фреймворк и спарсить больше сайтов, проект начал разрастаться, и спустя полгода у меня было 100 сайтов, которые я парсил, и я стал узнаваемым лицом на ночи побочных проектов. И даже заинтересовал одного человека из муниципалитета Иерусалима, который подумал, что муниципалитету действительно понадобится что-то подобное в будущем (мало кто знал, что это сбудется всего через несколько лет).

Именно тогда проект стал огромным, мне пришлось полностью перестроить всю архитектуру, подумать о том, как автоматизировать парсеры с облачной платформы, как сохранять и анализировать данные, как сделать это эффективным и как сделать так, чтобы это работало максимально дешево (помните, я все еще студент).

Прошло еще несколько месяцев, прежде чем проект стал автономным, то есть он запускался каждую ночь на Microsoft Azure, с менее чем 10 предупреждениями и ошибками. Даже сегодня основной проект работает на той же архитектуре и на Microsoft Azure.

Мы с Роем начали думать о всем проекте, о том, как мы можем масштабировать его для разных сообществ (кроме Made in JLM), для разных городов, может быть, и даже для муниципалитета Иерусалима. Это заняло некоторое время (и все еще продолжается), но мы добились этого, проект появился на сайте муниципалитета и работал! (Доска вакансий в сфере высоких технологий муниципалитета Иерусалима, Доска вакансий Made in JLM)

На сегодняшний день (январь 2020 года) проект приобрел для меня известность, он вовлек меня в различные проекты сообщества и даже привел к тому, что я стал лидером Facebook Developer Circle: Jerusalem. Проект подарил мне один удивительный дар - не бояться начинать код с нуля.

Это все еще путь, который я прохожу, и я учусь почти каждый день. Я бросаю вам вызов начать побочный проект, да, это может быть не легко, и я уверяю вас, что у вас будет трудный старт, но, если вы студент, подумайте о том, чтобы пойти на собеседование с вашим собственным проектом, в то время как другие студенты говорят о EX-05 из своего курса ООП, вы говорите о реальном опыте. Я знаю наверняка, что это не повлияет только на студента, это вызов и для опытного разработчика, а также для разных областей, а не только для программирования.