Size: a a a

2021 March 25

II

Ilya Izilanov in Data Engineers
ну не все issues касаются core алгоритмической части
источник

EK

Evgenii Kuznetcov in Data Engineers
Мне кажется, если знаний достаточно для значимого контрибьюшена в крупный проект, то их тем более достаточно, чтоб просто начать искать работу на скале
источник

MT

Mike Turchenkov in Data Engineers
Руслан Бикмаев
У меня подруга выучила Scala, хочет какой нибудь проект выполнить для закрепления навыков. Не подскажите, в какой сфере поискать? Можно не коммерческий, опенсорсный, но желательно на реальных процессах, а не на выдуманных искусственных.
Я бы советовал сделать автоматизацию в своей предметной области, в чем она специализируется? Готовит графики? Моделирование? В Scala весьма удобно воссоздавать выразительную модель предметной области (case classes, интерфейсы, поведения), в быту помогает.
источник

MT

Mike Turchenkov in Data Engineers
Мне, например, Scala часто помогает в подготовке статей - самописный DSL для визуализации диаграмм навроде Sankey:
источник

ME

Max Efremov in Data Engineers
Evgenii Kuznetcov
Многие ли из советчиков что-то в спарк законтрибьютили?

Так себе идея имхо
У нас в компании финал бигдатного курса - контрибьют в опенсурс проекты. У меня был флиге и хайв, но довести до мержа в мастер не получилось :( Потом кто-то мой PR подхватил, к счастью и домёржил.
источник

ME

Max Efremov in Data Engineers
Вообше там не сложно, у флинка сразу можно в гитхаб, у хайва в апачевской жире отметиться надо и на рассылки подписаться
источник

ME

Max Efremov in Data Engineers
Через них же можно просить права на жиру и просить код ревью
источник

ME

Max Efremov in Data Engineers
Хотя тут опыт уже не разработки (багфикс может быть в одну строчку), а работы с опенсурсом
источник

EK

Evgenii Kuznetcov in Data Engineers
Max Efremov
Хотя тут опыт уже не разработки (багфикс может быть в одну строчку), а работы с опенсурсом
Это корпоративный опенсорс, причем код спарка к собственно к скале имеет опосредованное отношение :)
источник

AD

Apache DOG™ in Data Engineers
Руслан Бикмаев
У меня подруга выучила Scala, хочет какой нибудь проект выполнить для закрепления навыков. Не подскажите, в какой сфере поискать? Можно не коммерческий, опенсорсный, но желательно на реальных процессах, а не на выдуманных искусственных.
Если хочется потренироватся на кошках чет прикладное, то можно взять разные стеки и попробовать сделать этлку для вот этого https://testnet.steexp.com/. Это достаточно простой но в то же время стабильный источник данных - у него есть и реалтайм фид и есть что делать батчами.
источник

AD

Apache DOG™ in Data Engineers
Брать оттуда грузить туда с некоторыми дополнительными условиями довольно стандартная задача, кмк.
источник

AD

Apache DOG™ in Data Engineers
* есть скаласдк
источник

РБ

Руслан Бикмаев... in Data Engineers
Mike Turchenkov
Ну если подруга - не долго скрывавший свои алгоритмические таланты от индустрии самородок, то советовать ей пытаться контрибьютить в спарк - это минимум злорадство.
Большинство проектов можно допилить без уникальных по уровню знаний в области алгоритмов. К примеру в Яндексе многие наверно замечали юзабилити, которое джуны после вуза сделали бы в разы лучше. А в Яндекс берут с очень неплохой алгоритмической подготовкой. Это по поводу противоречий нашего мира.
По моему хорошее чувство юзабилити (с этим у нее нормально) и хотя бы начальные знания по контролю качества данных должно хватать.
источник

AD

Apache DOG™ in Data Engineers
Руслан Бикмаев
Большинство проектов можно допилить без уникальных по уровню знаний в области алгоритмов. К примеру в Яндексе многие наверно замечали юзабилити, которое джуны после вуза сделали бы в разы лучше. А в Яндекс берут с очень неплохой алгоритмической подготовкой. Это по поводу противоречий нашего мира.
По моему хорошее чувство юзабилити (с этим у нее нормально) и хотя бы начальные знания по контролю качества данных должно хватать.
у гугла нет скала-коннектора к датастору, например, "юзабилити ишшуэ"
источник

AZ

Anton Zadorozhniy in Data Engineers
Руслан Бикмаев
У меня подруга выучила Scala, хочет какой нибудь проект выполнить для закрепления навыков. Не подскажите, в какой сфере поискать? Можно не коммерческий, опенсорсный, но желательно на реальных процессах, а не на выдуманных искусственных.
У большинства OSS проектов есть тэг good first issue или аналогичный, их можно брать и присылать PR; если тэга нет (у Спарка вроде нет такого лейбла) - можно начать с документации
источник

A

Alex in Data Engineers
Ещё такие часто как trivial тег имеют
источник

AZ

Anton Zadorozhniy in Data Engineers
Да, вообще лучше всего начать с чтения документа how to contribute, такой есть в каждом хоть сколько нибудь популярном проекте
источник

AE

Alexey Evdokimov in Data Engineers
какое-то изучение задом наперёд. вместо того чтобы попробовать решить задачу и в процессе изучить язык, зачем-то надо учить синтаксис языка, и потом искать задачу. как-то оно неэффективно
источник

AE

Alexey Evdokimov in Data Engineers
примерно как китайский по учебникам, не?
источник

A

Alex in Data Engineers
А чем китайский не устроил?
источник