Nokos has been banned! Reason: CAS ban.

Добрый день, хотелось бы задать пару вопросов по поводу трудоустройства и обучения по специальности.

Вводные -
- 12 лет проработал на должностях системного администратора;
- на последнем месте работы обслуживал Hadoop кластера, увлекся тематикой DE (всегда была интересна тема СУБД и организации хранения данных),  прослушал курс, сменил должность и круг обязанностей;
- по определенным причинам новая должность меня не устроила, проработал пол года, сейчас приступаю к поиску работы.
Умею в спарк, знаю экосистему хадуп, sql, python

Вопросы
Возьмут ли меня с таким опытом на приличную должность, или придется каким-нибудь DE-джуном устраиваться на пол оклада?
Стоит ли предварительно пройти какой-нибудь курс по клауд-ориентированному DE? Я полагаю таких должностей много и будет становится больше и больше с каждым годом, а мой опыт в основном по on-premise
Может кто-нибудь накидает в личку каких-нибудь типовых вопросов на собеседованиях DE?

лучше в @datajobs

Ребят, не подскажите как в спарк стриминге нормализировать данные?

Что-то вроде standardscale, но не совсем понимаю как это применить можно (и можно ли?)

А можно пример что на входе и что хочешь на выходе?

Видимо, речь про нормирование, а не про нормализацию?

На входе строка с кучей столбцов и данные каждого столбца в разном диапозоне

Я хочу их в диапазон от 0 до 1

И чтобы это делалось на основе уже собранных данных (чтоб среднее и ст отклонение, например, вычислялись на их основе)

вы масштаб заранее знаете в потоке, или это что-то неизвестное?

Есть некоторая выборка уже первоначальная

вы можете масштаб джобу как конфигурацию передавать, ну или держать где-то максимум и минимум который видели в потоке и по ним уже нормировать

Нет ли примера такого использования?

Я со спарком на вы

То есть тему с максимумом и минимумом я понял, а вот как конфигурацию - неочевидно

Прочитайте спарк стриминг программинг гайд

Там написано как делать агрегаты на стриме

Вопрос только в том что будет считаться нормой на стриме

Или она будет постоянно скользящей, или стейт будет бесконечно раздуваться