AE
опенсорс в некоторых случаях это способ срезания костов на ревью и поддержку, особенно если компоненты не бизнес критикал
Size: a a a
2020 December 02
AE
...а на той неделе оказывается амазоны выкатили modules в cloudformation. по ходу чё-то разогнались, надо у них новостей почитать
AZ
однакохуясе.
то бишь emrfs можно наконец-то выбросить. с чего это они вдруг?
то бишь emrfs можно наконец-то выбросить. с чего это они вдруг?
чтобы людям проще мигрировать было, проще совместимость между emr и например ванилью.. идея такая что привлечем больше usage и заработаем больше чем на той динаме для метаданных
I
Гайз quick question.
Будет ли 'пушдаун' этого фильтра в df1/df2?
df1.join(df2).filter(a > b)Будет ли 'пушдаун' этого фильтра в df1/df2?
I
Или лучше записать
df1.filter(a>b).join(df2.filter(a > b))N
напиши в конце .explain
N
и посмотри как он будет исполнять
I
Хорошая идея сейчас ляпнем это в код.
AT
просто зная как они к опенсорсу относятся мне это было немного удивительно
да нормально они относятся к опенсорсу, кучу всего в опенсорс выкладывают. вот для куба кстати еще проект один интересный - https://aws.github.io/aws-controllers-k8s/services/
SS
коллеги, добрый вечер!
подскажите каким можно воспользоваться решением для JDBC в качестве источника для Spark Structured Streaming?
подскажите каким можно воспользоваться решением для JDBC в качестве источника для Spark Structured Streaming?
AS
коллеги, добрый вечер!
подскажите каким можно воспользоваться решением для JDBC в качестве источника для Spark Structured Streaming?
подскажите каким можно воспользоваться решением для JDBC в качестве источника для Spark Structured Streaming?
Официального ничего не видел, написал свой костыль, может подойти https://github.com/sutugin/spark-streaming-jdbc-source
SS
Официального ничего не видел, написал свой костыль, может подойти https://github.com/sutugin/spark-streaming-jdbc-source
грасиас, синьор!!!
AS
грасиас, синьор!!!
Будут вопросы, идеи по улучшению - пиши.
2020 December 03
A
Всем привет! Буду благодарен совету/ссылке на полезные материалы для переквалификации в инженеры из аналитика данных. Особенно интересует изучить hadoop, спасибо!
АК
Всем привет. Может подскажите как новичку с нуля начать? какие знания требуются на позицию джуна?
буду благодарен
буду благодарен
АЖ
Берете Spark/Hadoop Definitive Guide, смотрите референсы, гуглите непонятные буквы и цифры
А еще смотрите на вакансии в компанию/команду мечты, читаете про технологии там
А еще смотрите на вакансии в компанию/команду мечты, читаете про технологии там
АК
спасибо)
A
А ничо так
нашел в истории чата)