#dataengineering

Попался действительно хороший отчет по сравнению аналитических платформ Snowflake, BigQuery, Azure SQL DW, Redshift. Очень подробная информация про +/- каждой из систем с ценами и производительностью при работе с benchmark DB TCP-H (я рассказывал ранее про нее). https://gigaom.com/report/data-warehouse-cloud-benchmark/

Хотя есть один нюанс! Только сейчас заметил: Sponsored by Microsoft 😂🤦‍♂️ А я то подумал не ужели Azure DW действительно такой хороший…

Magic Quadrant for Analytics and Business Intelligence Platforms 2019!

Power BI поднялся еще выше. Я недавно работал 5 месяцев с Power BI на подработке, после Tableau это как пересесть с иномарки на отечественный автопром. Согласно Gartner,  Power BI супер дешевый и есть бесплатный вариант и клиенты через 5 минут писаются кипятком (WOW эффект), как все просто и понятно. Наверно у всей этой истории есть и негативная сторона. Но темнеменее Microsoft лидирует в Канаде, так как все сидят на продуктах Microsoft и сложно перейти на другие решения, особенно когда тебе еще дают некоторые продукты почти задаром. В России тоже Power BI очень популярен.

Tableu выпустила новый релиз, и теперь у них есть NLP, хотя у Power BI это было еще год назад наверно. Но в любом случае, Tableau это Self-Service, а это значит любой может загрузить что угодно на сервер, и толку от Ask Data будет не много, но если это правильно настроить, убрать весь мусор, то будет круто! Кстати вот описание новых features https://medium.com/@RockYourData/meet-the-new-tableau-2019-1-70c8dfb127a2

Интересная статья про культуры работы в Амазон, я уже 3 года работаю и согласен со всем выше сказанным. Несомненно есть и много преимуществ (часто езжу в Сиэтл с семьей на машине за счет компании, могу учиться сколько захочу, безлимитный доступ к AWS ресурсам, интересные и сложные проекты, легко попасть на конференцию в качестве спикера - Enterprise Data Worlds, Data Summit, Data Architecture Summit, могу себя успокаивать, что я работаю в топ компании и по зп все ок).

Поэтому всегда хорошо знать обе стороны ситуации. И если вы иммигрант (как я) или планируете им стать, то работа в такой компании это как счастливый билет к быстрой и успешной адаптации в новой стране.

Когда я написал слово "иммигрант" я не был уверен, что это правильно, вот статья про это http://newslab.ru/article/211589

Всем привет, я тут подумал и придумал=)

Давайте использовать это канал более эффективно. Мой контент не всегда актуален для Российского рынка, поэтому я хочу в него добавить больше информации и новостей связанных с данными и аналитикой, но в России.

Что было бы интересно:
1️⃣Use cases - то есть описание проектов, связанных с BI/DW/BigData. Можно по схеме STAR - Situation (ситуация, как было, какая боль у бизнеса/заказчика), Task (какая задача, скоуп), Action - действия (что было сделано, какая архитектура решения, инструменты аналитик), Result - результат (какой результат, и это наверно самое главное, чтобы понять как аналитическое решение помогло приносить больше ценности бизнесу). Таким образом, мы сможем не просто постить информацию о бездушных тулзах, но показать как на практике они решили бизнес проблему.
2️⃣Обзоры - например, вы прочитали статья, и краткой описали о чем она, какие выводы
3️⃣Новости аналитического рынка в РФ
4️⃣Вакансии по теме (ссылку, список инструментов и навыков и зарплата)

Если есть желание присылайте мне в телеграм, а я буду выкладывать и вас указывать как автора новости. Со своей стороны буду выкладывать все, что происходит в Северной Америке.

Виртуальный meetup по Tableau. https://usergroups.tableau.com/virtualretailtableauusergrou

Обзор Tableau 2019.1 https://www.tableau.com/live/2019-1

10 признаков, что вам пора модернизировать Хранилище данных. Правда не учитывает суровую реальность Российский законов с облаком и хранением данных.

Многие уже приметили, что Amazon хочет, что-то делать на Россйиском рынке с AWS. К сожалению, я  не знаю никаких подробностей. Но мне очень интересно, будет ли Amazon строить дата центр или нет. С точки зрения своего развития, вам бы было хорошо сертифицироваться по AWS Solution Architect Assosiate - это такой сертификат, который говорит, что вы знакомы с AWS, понимаете принципы построения облачных решений. Дальше есть специализации - BigData, Systems, Security и так далее. Я свой экзамен попробую сдать 27 февраля. Я прошел курсы Architecting on AWS, AWS Technical Essentials, Security on AWS. Еще записался на ML on AWS и Migration to AWS.

Для экзамена достаточно только Architecting on AWS. https://aws.amazon.com/training/course-descriptions/architect/ но есть и другой вариант, прочитать книжку  https://www.amazon.ca/Certified-Solutions-Architect-Official-Study/dp/1119138558/ref=sr_1_1?ie=UTF8&qid=1550600523&sr=8-1&keywords=aws+solution+architect

Я обязательно напишу про AWS экзамен в блоге (на англ) и еще там же напишу по (Табло Desktop/Server). Затем планирую Azure и GCP (на курсере есть все курсы). За облаками будущее и сейчас получить эти экзамены особенно у GCP/Azure проще, поэтому вы можете заложить отличный фундамент на будущее.

#dataengineering

Отличная статья про роль и задачи Инженера Данных, этот перевод статьи сделан SkyEng. Кстати они используют Redshift и Matillion. И тут у меня возник вопрос, возможно вам будет полезно.

Если вы используете Google BigQuery или Amazon Redshift и  у вас стоят задачи автоматицазии потоков данных, можно просто назвать ETL, или вам нужна автоматизации маркетинга, или интеграции ETL с BI инструментом, то вам следует посмотреть на Matillion ETL, уже несколько компаний в России используют его,и с одними я недавно общался и показывал, что можно делать. SkyEng уже использует год и очень довольны.

Если вам интересно и у вас есть такие задачи, то напишите мне, я смогу вам показать, как я использовал Matillion и какие задачи можно решать без кодинга и другого гемороя. Или у вас сложности с текущим иснтрументом (Talend, Pentaho, Informatica, и тп).

Возможно весной сделаю вебинар по Аналитическим Решениям на русском минут на 60 (бесплатно😎).