Написал пост про стратегии миграции для облачной аналитики https://medium.com/rock-your-data/cloud-analytics-migration-strategies-74af248de066

Мы все тут говорим про роботов, автоматизацию, большие данные, аналитику и все в этом духе. А вот Амазон выпустил свою линию Beauty продуктов.

Опять же без данных не обошлось. Все банально просто. Amazon это marketplace. У вас есть уникальный продукт и вы его продаете на Amazon, данные собираются, а потом, раз и Amazon выпускает свой бренд. Если вы знакомы с AmazonBasics, то это другой бренд, там батарейки, коврики, посуда. Все, что там есть, это тоже не просто так, значит эти товары пользовались большим спросом, кто-то неплохо зарабатывал на этих категориях.

Вот так вот Amazon, забирает все самое лучше, и становиться еще богаче.

Вот вам простой пример ценности информации.

Все знают про формат TXT, CSV. Но для большых данных лучше всего подходит  Parquet. (Это связано с проектами по болишим данным, Hadoop, Spark, Data Lake)

А вот резльтаты сравнения Netflix, они запускали Hive и Presto (SQL движок для Hadoop) на базе Amazon S3 и HDFS (локальный сторадж Hadoop). Они сравнивали производительность TXT, ORC и Parquet.

Dive into Deep Learning
An interactive deep learning book with code, math, and discussions http://d2l.ai/

Привет, вот есть вакансия Data Engineer:

Data engineer в частный российский банк, которому предстоит погружение в классные проекты (не скоринг) по продуктам банка.
Обязанности:
• Развитие хранилища данных на базе Hadoop. Ответственность за построение data lake.
• Помощь аналитикам данных (data scientist) с загрузкой, обработкой и обогащением данных
• Обеспечение соответствия систем требованиям бизнеса и отраслевым практикам
• Разработка новых инструментов и сервисов

Требования:
• Минимум 2 года опыта на аналогичной позиции
• Практические знания стека Hadoop (Spark, Flink, Kafka, Hive, Scoop итд).
• Уверенное владение одним из языков программирования: Java, Scala, Python
• Опыт работы с промышленными SQL и NoSQL базами данных
• Фокус на бизнес-ориентированность в сочетании с аналитическим мышлением.
• Инновационное мышление, открытость к переменам и стремление к совершенству.

Зарплатная вилка 250000 рублей гросс/нетт

писать Варваре Матиссен-Рожковой в телеграм @heinin или на почту varvaram@marksmans.ru

Пример использования snowflake и matillion с инструкцией https://community.snowflake.com/s/article/Getting-Started-with-Snowflake-and-Matillion

“Life is pretty simple: You do some stuff. Most fails. Some works. You do more of what works. If it works big, others quickly copy it. Then you do something else. The trick is the doing something else.”
― Tom Peters

Google Data Engineering  *Cheat Sheet*

Для всех любителей создавать модели данных (не предиктивные), а именно модели, диаграммы и схемы, отличный продукт - SQLDBM уже 2 года на рынке, скоро выйдет версия для Snowflake и Redshift. Вот можете посмотреть тур продукта https://app.sqldbm.com/SQLServer/Share/u_Gp72CUN4St73B28Y5yMUGFrngIE8md_DYjF4jNYw0 Жду когда будет для Snowflake/Redshift, будет интересно.