Size: a a a

2021 October 20

AZ

Anton Zadorozhniy in Data Engineers
Процессор это не датаменеджмент система, к нему вообще эта терминология не применима
источник

AS

Alexey Stavrov in Data Engineers
Да ну. Есть кеши, всякие буферы и т.д. Запись в ячейку памяти не сразу приводит к этой записи в памяти.
Более того в документации intel даже о каких-то гарантий говорят при записи в память.
источник

AZ

Anton Zadorozhniy in Data Engineers
Убедили, значит это только мне не интересно это обсуждать в применении к локалхосту
источник

ПФ

Паша Финкельштейн... in Data Engineers
Што
источник

ПФ

Паша Финкельштейн... in Data Engineers
Онзиазахэнд я тут пытался понять как работает volatile на itanium и не смог, так что я просто тупой
источник

E

Etki in Data Engineers
Отрицаю. Мы говорим про записи и чтения разными процессами / агентами и как оно для них выглядит.
источник

AZ

Anton Zadorozhniy in Data Engineers
источник

E

Etki in Data Engineers
А какая разница локалхост или нет?
источник

AZ

Anton Zadorozhniy in Data Engineers
как я написал выше, про локалхост мне не интересно
источник
2021 October 21

A

Alexander in Data Engineers
Привет. Подскажите. Есть в сети кластер Hadoop, есть отдельно стоящий сервер RHEL.
Есть какой то способ получить с RHEL доступ к данным Hadoop ?
источник

ЕГ

Евгений Глотов... in Data Engineers
Стащить конфиги хадупа с кластера и положить на сервер
источник

ЕГ

Евгений Глотов... in Data Engineers
Хотя спарком можно экстернал хадуп без проблем читать
источник

A

Alexander in Data Engineers
а сам механизм какой? мне в идеале бы код на питоне)
источник

S

Samat in Data Engineers
там нужно поставить JAVA+SPARK+python code
источник

S

Samat in Data Engineers
настроит все PATH итд на сервере (еще hdfs.xml,hive.xml файлы )
источник

ЕГ

Евгений Глотов... in Data Engineers
Можно хдфс на серваке не настраивать, хайв не нужен ваще
источник

ЕГ

Евгений Глотов... in Data Engineers
Там кода 3 строчки
источник

S

Samat in Data Engineers
+
источник

ЕГ

Евгений Глотов... in Data Engineers
spark.read.format(...).load("hdfs:///namenode_address:8020/path/to/file")
источник

A

Alexander in Data Engineers
это кусок кода вызова на отдельно стоящем серваке?
под установкой spark на этот сервер имеется в виду установка библиотеки?
источник