Size: a a a

2020 November 11

DZ

Dmitry Zuev in Data Engineers
Dmitry Zuev
это все равно какая то жесть
есть автоматизация, есть vcs
источник

АЖ

Андрей Жуков... in Data Engineers
Инфокультура,  ребята каталогизируют и причесывают открытые данные уже лет 10
источник

АР

Андрей Романов... in Data Engineers
источник

АР

Андрей Романов... in Data Engineers
ага, нашёл
источник

АР

Андрей Романов... in Data Engineers
а вот тут данные
https://opengovdata.ru
источник

АЖ

Андрей Жуков... in Data Engineers
у них еще есть классная миссия по спасению датасетов с закрытых госсайтов
источник

S

Stanislav in Data Engineers
Андрей Романов
https://yandex.ru/promo/oda/useful

смотрите, оказывается есть перечень открытых данных, доступных всем
ткнул в центробанк - 404
источник

S

Stanislav in Data Engineers
наверное хорошо делать такие сводки, но основные трудозатраты - их поддерживать
видимо у яндекса на это бабла нет
источник

AT

Al T in Data Engineers
Panchenko Andrey
я юзаю dataflow и apache beam для пайпланов на питонячем sdk
где тут иконка в телеграме чтоб перекрестить и бесов изгнать
источник

АЖ

Андрей Жуков... in Data Engineers
Al T
где тут иконка в телеграме чтоб перекрестить и бесов изгнать
источник

AT

Al T in Data Engineers
))
источник

PA

Panchenko Andrey in Data Engineers
Al T
где тут иконка в телеграме чтоб перекрестить и бесов изгнать
ну это же не значт, что мне это нравится или я за это топлю, такой стек
источник

D

Dmitry in Data Engineers
Dmitry Zuev
есть автоматизация, есть vcs
Это есть, но решает только часть задачи, а для "запоминания", например, сценариев работы с системой пользователей для обучения и/или технических презентаций я ничего, кроме видео не придумал.

Возможно, не самый хороший вариант, но поэтому и спросил, кто как и чем пользуется.
источник

DZ

Dmitry Zuev in Data Engineers
Так мы про какую документацию говорим? Для разрабов или для пользователей?
источник

AM

Alexandr Myshansky in Data Engineers
T
Я бы посоветовал начать с java, ну с JVM в часности: как сборщики мусора работаю, модель памяти и тд. Потом в скалу будет сильно легче выкатиться меньше wtf будет. Но если время не ждёт то можно сразу в скалу.
Советую все же начать сразу в scala, саму jvm изучать надо в любом случае, но язык тут и не важен. А вот если начать с java, то идеологический код scala будет вызывать это самое wtf т.к. по подходу языки довольно сильно различаются.
источник

T

T in Data Engineers
Alexandr Myshansky
Советую все же начать сразу в scala, саму jvm изучать надо в любом случае, но язык тут и не важен. А вот если начать с java, то идеологический код scala будет вызывать это самое wtf т.к. по подходу языки довольно сильно различаются.
Да но плюс скалы то что на ней можно начать писать как на better java и постепенно переходить на функциональщину
источник

T

T in Data Engineers
Да и потом это же все такие DE тут обычно дальше flatMap ни кто не ходит
источник

DZ

Dmitry Zuev in Data Engineers
куда уж дальше?
источник

AM

Alexandr Myshansky in Data Engineers
Ну тот же cats с эффектами
источник

T

T in Data Engineers
Dmitry Zuev
куда уж дальше?
Ну я имел виду частный случай преобразований над последовательностями, а не общий случай с модками и прочим
источник