Size: a a a

Инжиниринг Данных

2019 May 08
Инжиниринг Данных
По образованию я инженер конструктор, классные фотографии о том, как работали до компьютеров. https://www.boredpanda.com/vintage-photos-life-before-autocad
источник
Инжиниринг Данных
PySpark Cheatsheet. Используется для Apache Spark.
источник
2019 May 09
Инжиниринг Данных
Starbucks используют преимущество облака (Microsoft Azure) для развития своего бизнеса. Отличный пример применения облачных решений для развития бизнеса.
https://www.geekwire.com/2019/microsoft-teams-starbucks-predictive-drive-thru-ordering-bean-cup-blockchain/
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Tableau предоставляет удобный сайт для Tableau User Group. Я буду проводить уже второй у нас на острове, вот пример - https://usergroups.tableau.com/victoriatableauusergroup. Я посмотрел, Москва есть в списке, но группы нет, это отличная возможность взять инициативу в свои руки для кого-нибудь, Питер тоже.
источник
Инжиниринг Данных
Чаще всего мы слышим про то, что расти, нужно выйти из зона комфорта, другой вопрос, а находимся ли мы сейчас в зоне комфорта. Я никогда не работал больше, чем 1,5 года на одном месте, но сейчас я уже работаю 3 года в одной команде, в классном офисе с ocean view 360, я много раз ездил в Seattle, Vancouver на всякие мероприятия Амазон. Казалось бы все классно, работай себе и получай удовольствие. Но я совершенно не вырос профессионально, с точки зрения повышения зарплаты или карьерного роста, и это очень depressed, Амазон это большая бюрократическая машина, тут работает старый добрый принцип, на что пришел, на том и сидишь. В Москве решается вопрос проще, меняешь работу с повышение зарплаты. Здесь я живу на острове и у меня такой возможности нет, покидать остров тоже не хочется.

В сентябре я решил попробовать сделать консалтинг компанию, так появилась Rock Your Data, она еще ничего не заработала, но из достижений, мы единственный и главный партнер Tableau в British Columbia, единственный партнер Snowflake в Western Canada, и первый партнер Matillion в Канаде (не считая Slalom, но они международные лидеры в облачных технологиях). Ну и само собой Azure, GCP, AWS.

Благодаря Tableau через нас проходят все клиенты Табло, но мы столкнулись с проблемой Product/Market Fit, это когда есть классный продукт, но рынок еще не готов, так что пока пытаемся создавать рынок для партнеров. По сути это у меня full time 2ая работа за бесплатно, но помогло переключить фокус с нытья про повышения зарплаты.  Также я заметил, что на работе я мало разговаривал по английски и мог вообще не говорить целый день. Благодаря RYD я снова стал со всеми общаться ездить на встречи, учить новый технологии и учить, как продавать solution. Всем все равно, что ты знаешь, главное в Канаде это relationship, то есть это возможность “подружиться” с людьми.

Одно из моих наблюдений показало, что когда мы работаем на кого-то, то мы считаем себя в безопасности, но это не так. Если что-то случиться с работой, то вы никому не нужны. Если вы делаете что-то на стороне, то вы знакомитесь с людьми, общаетесь, и это намного безопасней, чем ходить на работу. И много других плюсов.

Помимо этого, каким-то образом в Бостоне я затусил с Amazon Robotics и они звали меня на работу, но не очень активно. Потом через них на меня вышла Amazon Alexa команда, тоже из Бостона, и стала активно привлекать. Ради интереса я про собеседовался с 4 мя менеджерами, и все очень захотели, чтобы я к ним пришел. За 3 года мне удалось заработать хорошую репутацию в Амазоне, потому что я активно участвовал во всех community (Amazon Tableau User group ~2500 человек, BI Tech Talk 100 BI команд по всему миру), я всегда отвечал почти на все вопросы в communities и помогал людям, также участвовал во всех внутренних конференциях Амазон, и сделал с 0 несколько проектов, которые интересны другим.

В итоге после долгой возни, все пришло к тому, что мне дали оффер в Amazon Alexa в Бостон, но с возможностью работать с Vancouver Island, звучит круто, живешь на West Coast и работаешь на East Coast. И еще катаешься между Seattle и Boston. Прям приключение. К сожаления мне не прибавят зарплату, не повысят, и вообще я окажусь в опасном положении. Так как одно дело делать аналитику для marketplace, а другое дело для Alexa. Но с другой стороны, Alexa это стратегический продукт Amazon, в этой команде работают люди из Harvard и MIT (профессоры, mba и тп), то есть это космическая возможность поработать с такими людьми. С точки зрения аналитики это будущее, там везде ML, NLP и космический объем данных.

Я еще официально не согласился, но хотелось с вами поделиться, так как возможно многие находятся/находились в похожих ситуациях. И я всегда думаю о том, что живем мы один раз, и надо пускаться во все приключения. Отличный пинок из зоны комфорта.

И конечно придется дальше развивать RYD, так как должен быть бэкап и я верю, что идея облачной аналитики дойдет до нашей части Канады и мы встретим во всеоружии))
источник
2019 May 13
Инжиниринг Данных
источник
Инжиниринг Данных
источник
2019 May 14
Инжиниринг Данных
Я думаю все из вас знают Shopify, конструктор для создания интернет магазинов, особенно удобно для dropshipping. Мне попалась статья сегодня о том, что их акции выросли в цене.  Там написано детально почему так произошло. Но идея поста не о Shopify, а о том, как аналитика, инжиниринг данных приносят business value для компании. Я уверен, весомая доля их успехов, именно в создании правильной аналитической платформы, сбора данных, поиск скрытых закономерностей и использование Machine Learning. Все это позволяет компании видет возможности для роста бизнеса и обрубать расходы.
источник
Инжиниринг Данных
Было бы классно иметь в своем портфолио или резюме похожие булет поинты. Идея не в том, чтобы перечислить список технологий, а в том, чтобы показать как вы помогли компании достичь успехов (заработать денег)
источник
Инжиниринг Данных
Кстати если говорить про очень классные книги, то книга The Motley Fool Investment Guide for Teens: 8 Steps to Having More Money Than Your Parents Ever Dreamed Of которую написали основатели Motley Fool, стоит чтобы ее прочитали
источник
Инжиниринг Данных
источник
2019 May 15
Инжиниринг Данных
А вот кстати вакансия, про которую я говорил. Мне нравиться, что это не традиционный DW/BI, а на стыке ML/AI, то есть работать вместе с ребятами, которые используют передовые методы машинного обучения. Я им честно сказал, что статистику я плохо знаю, pyhton тоже не очень, надеюсь чему-нибудь научиться. И рассказал, как я самостоятельно учил Spark и Hadoop, чтобы решить бизнес проблему.

Раньше, чтобы получить работу, нужно было врать, как мы строили космические корабли. Теперь наоборот, нужно быть честным, говорить о своих проблемных местах, но обязательно сказать, что у вас есть опыт самостоятельно разобраться (погуглить) в любом вопросе и найти самое лучшее решение.

С таким темпом развития технологий не возможно знать все. Только поймешь что-то одно, сразу появятся новые технологии и решения. Как грибы, нет смысла бросаться на все вподряд, главное понять основы и принципы, а остальное можно погуглить.

Лучший совет, выучить что-то одно очень хорошо: BI tool, SQL или ETL tool, и поймите как с помощью это вы можете принести пользу бизнесу (заработать денег), а все остальное уже придет по необходимости.
источник
Инжиниринг Данных
Важные новости про облачные технолониги - “Confluent создает новый типа лицензии для открытого ПО, чтобы бороться с облачным браконьерством”.

Производители открытого ПО возмущены тем, что облачные провайдоры, такие как AWS, GCP, Azure используют их решения, для монетизации своих сервисов. В статье приводится пример Apache Kafka - это открытое ПО, AWS недавно выпустило Saas версию Kafka и продает ее клиентам. Производители открытого ПО с этим не согласны и поэтому начинают изменять условия открытой лицензии, чтобы ограничить гигантов в использовании их продуктов.

В целом этот тренд будет развиваться и отразиться на модели работы облачных провайдеров. https://www.datacenterknowledge.com/open-source/confluent-creates-new-open-source-license-stop-cloud-poaching
источник
Инжиниринг Данных
источник
Инжиниринг Данных
источник
Инжиниринг Данных
GCP сервисы по назначению
источник
Инжиниринг Данных
А вот они же графически
источник
Инжиниринг Данных
источник
Инжиниринг Данных
источник