Size: a a a

Архитектура данных

2019 April 13

VS

Vladislav 👻 Shishkov in Архитектура данных
Популизатор
источник

VS

Vladislav 👻 Shishkov in Архитектура данных
И начнем с того, что Николай никогда не говорит о том, с какими проблемами они столкнулись при использовании anchor и то что по факту в авито помесь anchor с data vault
источник

VS

Vladislav 👻 Shishkov in Архитектура данных
Плюс еще пару странных решений
источник
2019 April 16

CO

Chern Oleksander in Архитектура данных
Всем привет
у меня в компании (геймдев), есть только DWH на MySQL innodb
одна игра одна платформа = 1 БД в MySQL
1 день = одна таблица
Итого 900+ БД и офер дохя таблиц
Для аналитиков таким DWH ваще невозможно работать
Подготовка срезов делается через PHP путем генерации скриптов SQL или через курсов (буфер)
---
Руководство говорит, что аналитики спокойно могут все анализы делать через интеграцию ивентов в платформы, уже пользуются, FireBase, FaceBook, AppsFlyer, GameAnalytics, GoogleAnalytics, iOS analyst, вроде всё
НО, для внутриигрового анализа, эти платформы не отдают ID пользователя, а которые отдают, не хватает инфы. Забираем через API (R/Python/PHP/Excel/JS)
---
Вот и вопрос - большая часть создает просто шелфы для аналитиков, через DE
Или реально бортуют DS, DA и говорят есть у тебя платформа вот и от туда всё выкручивай, чего не хватает создавай заявку на ивент и жди следующего апдейта

Надеюсь изложил мысль
Очень нужен ваш опыт для понимания, что за пипец творится )
источник

RK

Roman Kolchin in Архитектура данных
Chern Oleksander
Всем привет
у меня в компании (геймдев), есть только DWH на MySQL innodb
одна игра одна платформа = 1 БД в MySQL
1 день = одна таблица
Итого 900+ БД и офер дохя таблиц
Для аналитиков таким DWH ваще невозможно работать
Подготовка срезов делается через PHP путем генерации скриптов SQL или через курсов (буфер)
---
Руководство говорит, что аналитики спокойно могут все анализы делать через интеграцию ивентов в платформы, уже пользуются, FireBase, FaceBook, AppsFlyer, GameAnalytics, GoogleAnalytics, iOS analyst, вроде всё
НО, для внутриигрового анализа, эти платформы не отдают ID пользователя, а которые отдают, не хватает инфы. Забираем через API (R/Python/PHP/Excel/JS)
---
Вот и вопрос - большая часть создает просто шелфы для аналитиков, через DE
Или реально бортуют DS, DA и говорят есть у тебя платформа вот и от туда всё выкручивай, чего не хватает создавай заявку на ивент и жди следующего апдейта

Надеюсь изложил мысль
Очень нужен ваш опыт для понимания, что за пипец творится )
вы забыли в вопросах знаки препинания правильные расставить — не оч понятно, где вы спрашиваете, а где утверждаете
источник

CO

Chern Oleksander in Архитектура данных
Roman Kolchin
вы забыли в вопросах знаки препинания правильные расставить — не оч понятно, где вы спрашиваете, а где утверждаете
Как настроен процесс изьятия данных для аналитиков DS/DA
- От Куда
- Каким способом
источник

OP

O. Petr in Архитектура данных
Kudu ?
источник

CO

Chern Oleksander in Архитектура данных
O. Petr
Kudu ?
Из какой-то БД
Из аналитических платформ (Facebook, FireBase, AppsFlyer и тд)
источник

e

er@essbase.ru in Архитектура данных
Вы уже знаете, Snowflake это облачное хранилище данных нового поколения, очень популярное в Штатах и Европе. На него даже мигрируют с Redshift. Он доступен на Azure и AWS. Вот ближайший вебинар https://www.snowflake.com/webinar/snowflake-on-azure-modern-data-analytics-apac/
источник

e

er@essbase.ru in Архитектура данных
Chern Oleksander
Как настроен процесс изьятия данных для аналитиков DS/DA
- От Куда
- Каким способом
google: etl+ open source
источник

e

er@essbase.ru in Архитектура данных
er@essbase.ru
Вы уже знаете, Snowflake это облачное хранилище данных нового поколения, очень популярное в Штатах и Европе. На него даже мигрируют с Redshift. Он доступен на Azure и AWS. Вот ближайший вебинар https://www.snowflake.com/webinar/snowflake-on-azure-modern-data-analytics-apac/
вопрос. что там такое ?
источник

CO

Chern Oleksander in Архитектура данных
er@essbase.ru
google: etl+ open source
А если кроссплатформенная игра?
источник

e

er@essbase.ru in Архитектура данных
Chern Oleksander
А если кроссплатформенная игра?
все смешалось в доме .. кони люди..
источник
2019 April 19

EY

Ekaterina Yakovleva in Архитектура данных
Коллеги, открыта вакансия: https://hh.ru/vacancy/30724771
Кому интересно - пишите!
источник
2019 April 21

FL

Fedor Lavrentyev in Архитектура данных
Всем привет! Расширяю направление Data Engineering в Яндекс.Такси.
Ищу техлидов с функциями архитектора, дата инженеров, разработчиков DWH и BI.
Greenlum, YT (аналог стека Hadoop), Tableau. Много Python. Данных сотни терабайт.
В компании выраженная data driven культура, так что на данные и инсайты большой спрос.

https://yandex.ru/jobs/vacancies/dev/dataeng_taxi/
https://yandex.ru/jobs/vacancies/dev/dwh_bi_dev_taxi/
https://yandex.ru/jobs/vacancies/dev/dataeng_infran_taxi/
источник
2019 May 13

CO

Chern Oleksander in Архитектура данных
Всем привет, ищу человека, который имеет опыт в GameDev для создание DataDriven и создание аналитической БД.
Пишите в лычку. Всем спасибо !
источник
2019 May 16

KR

Kseniya R in Архитектура данных
Да да😂😂😂
источник
2019 May 27

S

Stanislav in Архитектура данных
Всем привет.  Ищу доклады по mdm/dg/dq на митап. Внедрение alation, допиливание атласа тоже подойдет
источник

S

Stanislav in Архитектура данных
Мск
источник

FL

Fedor Lavrentyev in Архитектура данных
Stanislav
Всем привет.  Ищу доклады по mdm/dg/dq на митап. Внедрение alation, допиливание атласа тоже подойдет
Привет! А что за митап?
источник