Size: a a a

2020 October 19

AS

Andrey Smirnov in Data Engineers
Anton Zadorozhniy
хотя заповедники наверное остались, но туда врядли такая элита как тут пойдет работать
да практически любой наш банк из первой десятки, опсосы
источник

AS

Andrey Smirnov in Data Engineers
я лично знаю человека который поработал во всех 4 больших опсосах, ушел на повышение в хуавей
источник

АЖ

Андрей Жуков... in Data Engineers
Andrey Smirnov
я лично знаю человека который поработал во всех 4 больших опсосах, ушел на повышение в хуавей
источник

AE

Alexey Evdokimov in Data Engineers
Andrey Smirnov
я лично знаю человека который поработал во всех 4 больших опсосах, ушел на повышение в хуавей
чувак, который занимался дата саенсом в том стартапе, где я девопс внедрял, до того работал в хуавее. рассказывал, что в хуавее совсем дно
источник

AZ

Anton Zadorozhniy in Data Engineers
я тож работал в крупном опсосе 😞но написали там большую систему стриминговой аналитики, все сами
источник

AZ

Anton Zadorozhniy in Data Engineers
все что я трогал от хуавея было довольно плохим, да
источник

TT

Tsh Tsh in Data Engineers
Anton Zadorozhniy
и конфы к сожалению смотреть надо только от безысходности, на конфы надо ездить, спаивать там каких-нибудь хардкорный опсовых инженеров и выяснять всю поднаготную
Уже одни маркетоиды и эффективные менегеры тусуются
Толком выцепить и допросить и некого
источник

AZ

Anton Zadorozhniy in Data Engineers
Tsh Tsh
Уже одни маркетоиды и эффективные менегеры тусуются
Толком выцепить и допросить и некого
не знаю, кмк полно отличных конференция (было до пандемии)
источник

AZ

Anton Zadorozhniy in Data Engineers
фосдем тот же никуда не делся к примеру
источник

АЖ

Андрей Жуков... in Data Engineers
москоу спарк хороший был и в онлайне! 🙂
источник

AZ

Anton Zadorozhniy in Data Engineers
и новые появляются, я в прошлом году был на прайваси форуме в Лиссабоне, он конечно не прям новый, но там щас очень интересно
источник

AZ

Anton Zadorozhniy in Data Engineers
в этом году кстати он на этой неделе и онлайновый, если кому интересно https://privacyforum.eu/
источник

AE

Alexey Evdokimov in Data Engineers
в пень эту вашу приваси ;D лололо
источник

VP

Vitaly Pismarev in Data Engineers
Anton Zadorozhniy
у флинка есть еще куча преимуществ, но там порог входа серьезно выше, особенно не для обычных разработчиков, а для дата инженеров которые до этого писали SQL и pyspark; поэтому я обычно рекомендую написать сначала на спарке, а если будет сильно жать - переписать
А какие, если кратко?
Кроме трушного реалтайма а не микробатчинга в спарке
источник
2020 October 20

RF

Ruslan Fialkovsky in Data Engineers
Ребят привет. Подскажите пожалуйста как указать схему для базы данных метастора hive при инициализации?
Пробовал через alter role set search_path но чет не помогло
/bin/schematool -initSchema -dbType postgres - упорно создает схему в public
источник

AH

Aliaksandr Heleisha in Data Engineers
Ребята, всем привет. Нужна помощь. Caused by: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Permissions incorrectly set for dir /tmp/hadoop/nm-local-dir/nmPrivate, should be rwx------, actual value = rw-rw-rw-        Мне кажется я уже пробывал все что предлагали на стековерфлоу.
источник

AH

Aliaksandr Heleisha in Data Engineers
hadoop 3.1.3
источник

AH

Aliaksandr Heleisha in Data Engineers
hdfs-site
источник

AH

Aliaksandr Heleisha in Data Engineers
<configuration>
  <property>
      <name>dfs.replication</name>
      <value>1</value>
  </property>
  <property>
      <name>dfs.namenode.name.dir</name>
      <value>C:\hadoop-3.1.3\data\datanode</value>
  </property>
  <property>
      <name>dfs.datanode.data.dir</name>
      <value>C:\hadoop-3.1.3\data\namenode</value>
  </property>
</configuration>
источник

AH

Aliaksandr Heleisha in Data Engineers
Ну и все это на Винде
источник