Size: a a a

2020 December 14

АЖ

Андрей Жуков... in Data Engineers
Sergey Sheremeta
дяденьки, здравствуйте!
подскажите, насколько это анти-паттерн: в одном SparkContext запускать несколько SparkStreamingContext?
чуваки в одноклассниках даже из спарка запускали спарк 🙂
источник

SS

Sergey Sheremeta in Data Engineers
источник

EL

Evgeny Linnik in Data Engineers
Андрей Жуков
чуваки в одноклассниках даже из спарка запускали спарк 🙂
А зачем? Оо
источник

A

Alex in Data Engineers
Потому что могут :)
источник

AT

Al T in Data Engineers
Inception :)
источник

MM

Mikhail Mariufich in Data Engineers
это ты о чем?
я что-то не слышал о таком😁
источник

MM

Mikhail Mariufich in Data Engineers
Переслано от Андрей Жуков...
чуваки в одноклассниках даже из спарка запускали спарк 🙂
источник

АЖ

Андрей Жуков... in Data Engineers
Mikhail Mariufich
это ты о чем?
я что-то не слышал о таком😁
Дима Бугайченко на москоуспарке рассказывал и показывал 🙂
источник

MM

Mikhail Mariufich in Data Engineers
Андрей Жуков
Дима Бугайченко на москоуспарке рассказывал и показывал 🙂
источник

АЖ

Андрей Жуков... in Data Engineers
источник

АЖ

Андрей Жуков... in Data Engineers
источник

MM

Mikhail Mariufich in Data Engineers
Ага, так и подумал, что про гридсерч=) спс
источник

S

Stanislav in Data Engineers
Sergey Sheremeta
дяденьки, здравствуйте!
подскажите, насколько это анти-паттерн: в одном SparkContext запускать несколько SparkStreamingContext?
Подряд или одновременно?
источник

S

Stanislav in Data Engineers
Вроде в доке написано
источник

S

Stanislav in Data Engineers
источник

pi

pavel ilinskiy in Data Engineers
Здравствуйте, может кто поделиться полезными ссылками  oozie пожалуйста, в образовательных целях ?
источник

AZ

Anton Zadorozhniy in Data Engineers
pavel ilinskiy
Здравствуйте, может кто поделиться полезными ссылками  oozie пожалуйста, в образовательных целях ?
Лучше начать с конкретного вопроса
источник

M

Mi in Data Engineers
pavel ilinskiy
Здравствуйте, может кто поделиться полезными ссылками  oozie пожалуйста, в образовательных целях ?
Вряд ли есть что-то полезнее чтения документации https://oozie.apache.org/docs/5.2.0/index.html
источник

AG

Armen Ghazarian in Data Engineers
Дорогие друзья, к вашему вниманию представляем захватывающую возможность из Южной Калифорнии. Программа помогает местным технологическим стартапам выйти на рынок США.


⚡️Hero House Glendale has launched its GateWay program - an accelerator connecting business development expertise and opportunities in the Southern California area with the deep tech teams in Eastern Europe.

Hero House GateWay accelerator offers a 12-weeks mentorship program focused on establishing growth frameworks, refining and validating sales strategies, followed by 8 weeks of on-site business, customer development, and fundraising in Southern California.  

Founders with strong execution skills working on robust deep tech startups with early traction (revenue/user base/launched product) are welcome to apply for the accelerator by January 10, 23:59 PM PST. Learn more and apply here

Get your tickets for joining the program info session on December 19, 7:00 PM EET to learn more and ask your questions: https://bit.ly/InfoSession_EE
источник

K

Kate in Data Engineers
Ребят, может кто сталкивался с такой проблемой.
При разворачивании триал версии Cloudera по ссылке https://docs.cloudera.com/cdp-private-cloud-base/7.1.4/installation/topics/cdpdc-trial-installation.html
мы столкнулись с рядом ограничений, из-за которых было невозможно использовать банковский AD в качестве KDC для Hadoop.
В итоге было принято решение, специально для этого случая, разворачивать FreeIPA в контейнере с отдельным DNS.

Команда для запуска контейнера:
docker run -ti -v /sys/fs/cgroup:/sys/fs/cgroup:ro -v /var/lib/ipa-data:/data:Z -e PASSWORD=*** -e IPA_SERVER_IP=172.19.12.28 -h vs2233.hadoop.ru -p 53:53/udp -p 53:53 -p 80:80 -p 443:443 -p 389:389 -p 636:636 -p 88:88 -p 464:464 -p 88:88/udp -p 464:464/udp -p 123:123/udp  docker.intranet/freeipa/freeipa-server:centos-7

На хосты кластера были установлены необходимые пакеты (krb5-workstation, krb5-libs, freeipa-client и т.д.), в файлах hosts произведены необходимые изменения.

При попытке подключиться к FreeIPA через Cloudera возникает следующая ошибка:
источник