t
ну и многие коннекторы до сих пор на в1
Size: a a a
2021 September 24
DC
Она необычная с точки зрения внутреннего кх api. Я 22 года занимаюсь разными бд, термина udtf не встречал.
R
Спасибо
AZ
UDTF нет в таком термине в стандарте, но в отрасли он популярен, я работал с DB2 и Snowflake и там он есть, у нас аналог называется table operator
2021 September 26
.
Добрый день, подскажите, пожалуйста, какие азы стоит покрыть на Spark для джуна с каким-никаким опытом?
Также из этого вытекает следующий вопрос: на джаве или на пайтоне? Знания есть в обоих языках. Или это супер индивидуально для каждой компании и можно просто выбрать то, где комфортнее?
Также из этого вытекает следующий вопрос: на джаве или на пайтоне? Знания есть в обоих языках. Или это супер индивидуально для каждой компании и можно просто выбрать то, где комфортнее?
t
Я бы наверн начал с линукса, питоши и SQL’а
t
а там уже сам дальше разберешься)
Б
Что то мне кажется вопрос был про джуна в Спарке, а не просто джуна.
AG
Переслано от Arsen Gumin
Подскажите в экосистеме scala инструменты как airflow, luigi
AG
Для локальных задач, не Энтерпрайз, не двх. Для пакетной обработки задач
t
на тот случай, если тебе кажется, что я не прочитал вопрос, сообщаю - тебе только кажется
I
Всем привет. Можете подсказать(или дать линк на какую-нибудь хорошую статью), как лучше разметить датасет для задачи детектирования объекта на изображении?
ММ
Можешь погуглить по data labelling tools
I
Спасибо
N
А чем тебя не устраивает airflow вместе с экосистемой скала? Написал на скале, собрал, запустил в айрплов. Ну или по быдлячьи прям код без сборки толкнул.
Там в айрплов код-то шаблонный, особо питон знать не надо.
Там в айрплов код-то шаблонный, особо питон знать не надо.
.
У меня уже год опыта есть. Я работал с питоном, линуксом, airflow. Мне бы Спарк
t
тогда все изи - посмотри базовые вещи из Dataframe API - проекции, срезы, соединения, агрегаты, оконные функции, пользовательские функции, работа с файловыми форматами (json, csv, parquet, orc) - и в бой
AG
Я в академических целях, подбираю боевую задачу для изучения scala
AS
N
Планировщик для этого вроде не особо нужен