Согласен - прям в таком виде выглядит как голимый наброс. Ща кофе выпью и попробую развернуть мысль

наверное он имел ввиду, что архитектуру надо продумывать так, чтобы в итоге тебе для любого запроса хватало селекта с аггрегатами без миллиардов джоинов)

это уже ML)

sql там один из самых важных скилов, но ждемс развернутой мысли)

чего?

машин лернинг

Как ты в генералы попал?

Ну начнём с того, что бигдата - это про то, что не посчитать просто так на одной машине. И обычно это ещё и огромный поток. И управляется он больше через мап-редьюс, потому что если ты сделаешь непростой SQLный запрос к бигдате, то она повесится пытаясь его высчитать

Блин, чёт чую я, что дар расказчика меня покинул и несу я какую-то дичь. Не выходит у меня сегодня ничего умного.

не, норм сказал, ща отвечу

Попей ещё кофе

общался я с епам енивхере. там на бенче зп 30 тыщ) конечно они говорят, что такие мощные тостеры как я на бенче не сидят, но чот мне вся эта карусель не оч понравилась.

То есть если мои тяжелые SQL запросы на 10 000 000 строках считались до 10 минут, то на бигдате - она может прибывать быстрее, чем оно сосчитается и нужны более подходящие методы. И это вообще не SQL

кумовство:)

Аааа, ну с этого и надо было начинать

Я просто не думал что надо во всем прям разбираться в том числе и бигдата и мл)

ааа все, нагуглил ) Я чет не спец в аббревиатурах

Ага, меня как-то попросили на собеседовании рассказать про DLC, так я и рассказал про дополнения к фолауту и бордерлендс.

а оказалось что хотели Development LifeCycle

1. Да, считается все чаще всего не на одной машине.

2. Мап-редьюс уже относительно устаревшее понятие, но все еще можно встретить, особенно в России кстати, где до сих пор многие для вычислений используют кластера хадупа с хайвом

3. Давно появился Spark, который считает все почти как мап-редьюсы хадупа, но только в памяти и делает это быстрее

4. Когда разработчик пишет какой-то код для ETL - процесса (выгрузить, преобразовать, загрузить), он использует апи хадупа или спарка, так вот оно базируется на SQL). Тоесть без знания SQL, ты не сможешь в этих инструментах пользоваться SQL контекстом

5. По поводу того, что SQL валятся, если у вас действительно большие объемы данных, то вам подходит архитектура data lake, где стремятся к денормализации данных и отказа от предопределенных типов и схем в пользу скорости (aws datalake, azure synapse)

6. В архитектуре даталейка как правило несколько слоев. Последний обычно называют витрины с данными\datamarts, место где лежат нормализованные данные в реляционных таблицах. Это по сути то ради чего все это делалось. Место куда приходят BI разрабы, чтобы на основе этих данных сделать дашборды, аналитики приходят понятно зачем, сатанисты берут данные, чтобы свои модели блядские учить ну и так далее. Так вот здесь тоже без SQL не обойтись, тем более что на таких слоях он отлично подходит