Size: a a a

Инжиниринг Данных

2019 February 25
Инжиниринг Данных
Для любителей усреднять:)
источник
Инжиниринг Данных
источник
Инжиниринг Данных
источник
2019 February 26
Инжиниринг Данных
источник
Инжиниринг Данных
источник
Инжиниринг Данных
источник
2019 February 27
Инжиниринг Данных
источник
Инжиниринг Данных
Looker White Paper - Analytics-Drive Marketing for Action
источник
2019 March 01
Инжиниринг Данных
источник
Инжиниринг Данных
Отличный эвент про современные аналитические решения, посути, все то, о чем я часто здесь пишу https://tdwi.org/webcasts/2019/03/adv-all-modern-data-analytics-in-the-cloud-achieving-an-end-to-end-strategy.aspx
источник
Инжиниринг Данных
Отличный ресурс сравнения AI https://skymind.ai/wiki/comparison-frameworks-dl4j-tensorflow-pytorch
источник
2019 March 02
Инжиниринг Данных
Написал новый пост по Deep Learning. Если честно сам не очень понял, но выглядит внушительно: https://medium.com/@RockYourData/getting-started-with-aws-deep-lerning-using-a-multi-layer-perceptron-neural-network-model-afc39c71f53e
источник
2019 March 03
Инжиниринг Данных
Я всегда хотел что-нибудь делать в университете, особенно в Северно Американском. Мне нравиться находиться в стенах университета, что-то в этом есть для меня.

После долгих попыток как-нибудь наладить контакт с университетами BC, а тут их 2 University of Victoria и University of British Columbia, наконец получилось. Я присоединился к nonprofit организации HighTechU, это инициатива департамента Computer Science Uvic, в качестве Mentor and Program Owner, и теперь по субботам, пока мои дети учат русский в Uvic (и такое тоже есть у нас тут для маленьких детей), я помогаю студантам строить их маленькие проекты, используя Agile, coding, collaboration and team work. Ну и конечно, я их посвящаю в полезность данных, вот презентация - "Hey, what is about Data?", которую я им рассказывал.

А сегодня, всей толпой учавствовали в Battle Snake - это местное мероприятие, где учавствуют все тех компании (было больше 1000 человек). Вам нужно запрограмировать змейку, и потом запускают по 4 змейки и смотрят, кто выигрывает. Можно скачать и запустить, может получится неплохой задачей для собеседования, у кого змейка победит:)
источник
Инжиниринг Данных
источник
2019 March 04
Инжиниринг Данных
#dataengineering

Я обновил архитектуру текущего решения. Тут есть и Streaming (Kinesis Firehose), и Big Data на базе Elastic Map Reduce и Spark, и NoSQL на базе DynamoDB, и Data Lake на базе Redshift Spectrum и Glue. Каждое решение дополняет друг друга и справляется со своей задачей отлично. В качестве главного ETL - Matillion, BI - Tableau.

Я подготил этот слайд для конференции, Enterprise Data World 2019, которая пройдет в Boston уже через 2 недели, где я буду рассказывать про это решение.

Все супер, только лететь придется за свой счет. Зато, бесплатно попаду на конференцию, а так бы цена 3K+$. В прошлом году, я выступал на EDW18 в San Diego, было там семьей и гуляли по городу, не посетил ни одной презентации. В этом году, один лечу и послушаю все и вся:) И конечно посещу MIT и Harward. Так же там есть Amazon Robotics и Amazon Alexa команды.
источник
Инжиниринг Данных
Modern Cloud DW
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Супер новости от Google Cloud Platform - Big Query Sandbox, то есть вы можете использовать его для своих целей, лимит 10 Gb, и кредитная карта не нужна https://cloud.google.com/blog/products/data-analytics/query-without-a-credit-card-introducing-bigquery-sandbox
источник
2019 March 05
Инжиниринг Данных
AWS начали делать свои процессоры.
источник
Инжиниринг Данных
источник