N
тут wsl2 хвалили вчера
Size: a a a
2020 October 23
ME
Опытные коллеги, подскажите, пожалуйста, есть ли сейчас какие-то важные преимущества у windows pro по сравнению с windows home в решении стандартных задач дата-инженера? Раньше, например, докер в хоум с бубном toolbox приходилось устанавливать(сейчас это вроде уже не актуально) , есть ли ещё какие-то подобные подвохи с инструментами?
нет, большой разницы нет, можно спокойно пользоваться
AZ
Подскажите, кто-нить в hive настраивал pk и fk? Есть преимущества при последующем постороении планов? (типы выкидывания group by по pk, или откидывания join, если есть fk, но нет полей в select)
Там пилится потихоньку кучка фич вокруг этого (вот к примеру https://issues.apache.org/jira/browse/HIVE-20744), но пока драматического улучшения не ждите - до лучших домов далеко
AZ
Дарья привет, если есть желание работать ДЕ то желательно привыкать к линуксу, можно поставить второй системой
С WSL2 плюс-минус можно жить без дуалбута, я уже два месяца живу и все нормально
А
Там пилится потихоньку кучка фич вокруг этого (вот к примеру https://issues.apache.org/jira/browse/HIVE-20744), но пока драматического улучшения не ждите - до лучших домов далеко
спс, думаю попробовать PK создать и посмотреть, уберется ли group by или count(distinct), а то у нас любят такое писать по первичному ключу
dk
Дарья привет, если есть желание работать ДЕ то желательно привыкать к линуксу, можно поставить второй системой
Да, я про Линукс понимаю, но виндоуз все равно нужен для разных целей, сейчас просто есть возможность выбрать его версию. Спасибо
dk
С WSL2 плюс-минус можно жить без дуалбута, я уже два месяца живу и все нормально
👍 спасибо
AB
Да, я про Линукс понимаю, но виндоуз все равно нужен для разных целей, сейчас просто есть возможность выбрать его версию. Спасибо
А для каких если не секрет))
AZ
👍 спасибо
там мб потребуется повозиться с GUI приложениями, вот мануал к примеру https://medium.com/@ragin/development-under-windows-under-linux-with-wsl2-intellij-860daf601b61
dk
А для каких если не секрет))
Офис нужен
AZ
я пользуюсь вот этим Х сервером, на десктопе все нормально (я слышал на лаптопах бываю проблемы когда сеть переключается) https://x410.dev/
dk
там мб потребуется повозиться с GUI приложениями, вот мануал к примеру https://medium.com/@ragin/development-under-windows-under-linux-with-wsl2-intellij-860daf601b61
Благодарю, изучу)
ЕГ
и если уж так невыносимо хочется докера, то всл2 можно юзать как бэкенд
А там нет проблем с сокетами? Что-то там очень сильно не работало где-то год назад по-моему
AE
Евгений Глотов
А там нет проблем с сокетами? Что-то там очень сильно не работало где-то год назад по-моему
не замечал
nn
Привет ребят такой вопрос
допустим есть файл в hdfs размером в 2 блока и лежат там записи скажем json by line
и в конце файла есть запись которая не умеситлась в размер блока поэтому часть этой записи пошла во 2й блок
я читаю файл спарком в 2 потка и у меня в RDD получаются 2 партиции
вопрос сможет ли спарк корректно распарсить ту запись часть которой лежит на 1 и на 2 блоках?
допустим есть файл в hdfs размером в 2 блока и лежат там записи скажем json by line
и в конце файла есть запись которая не умеситлась в размер блока поэтому часть этой записи пошла во 2й блок
я читаю файл спарком в 2 потка и у меня в RDD получаются 2 партиции
вопрос сможет ли спарк корректно распарсить ту запись часть которой лежит на 1 и на 2 блоках?
АЖ
>>> Был докладчиком на SmartData
но ведь она только в первый раз будет вроде
но ведь она только в первый раз будет вроде
N
>>> Был докладчиком на SmartData
но ведь она только в первый раз будет вроде
но ведь она только в первый раз будет вроде
в 17 была
АЖ
ух, точно
SO
Олды здесь?