Size: a a a

2019 October 23

‌‎ in Data Engineers
А если мы нищие, какой софт подходит?
источник

N

Nikita Blagodarnyy in Data Engineers
если у вас только дед в свитере и постгрес на персоналке, налабайте на питоне. там очень удобно и приятно работать с api + sql alchemy
источник

N

Nikita Blagodarnyy in Data Engineers
если дед не умеет в кодинг, посмотрите на бесплатные etl тулы типа Pentaho или Talend
источник

N

Nikita Blagodarnyy in Data Engineers
‌‎
А если мы нищие, какой софт подходит?
а сап у вас тогда откуда, подкинули?
источник

‌‎ in Data Engineers
Nikita Blagodarnyy
а сап у вас тогда откуда, подкинули?
Ну че вы начинаете, нормально же общались
источник

AZ

Anton Zadorozhniy in Data Engineers
‌‎
А если мы нищие, какой софт подходит?
нищие с SAP BW?
источник

‌‎ in Data Engineers
Anton Zadorozhniy
нищие с SAP BW?
Нам подкинули, товарищ майор
источник

AZ

Anton Zadorozhniy in Data Engineers
в казино мб кто-то неудачно сходил
источник

AZ

Anton Zadorozhniy in Data Engineers
‌‎
Нам подкинули, товарищ майор
тогда надо начинать не с аналитики
источник
2019 October 24

А

Алексей in Data Engineers
Sap jco (есть для питона и java) для вызова удаленных rfc
источник

А

Алексей in Data Engineers
Вызывать надо rfc_read_table чтобы считать таблицу через remotecall
источник

M

Mironiken in Data Engineers
Кто-нибудь знает как поведение:
19/10/23 11:26:50 INFO CodeGenerator: Code generated in 4917.271942 ms
19/10/23 11:28:05 INFO TransportClientFactory: Found inactive connection to 104:4048, creating a new one.
19/10/23 11:28:05 INFO TransportClientFactory: Successfully created connection to 104:4048 after 1 ms (0 ms spent in bootstraps)
19/10/23 11:28:06 INFO TransportClientFactory: Found inactive connection to 109:4048, creating a new one.
19/10/23 11:28:06 INFO TransportClientFactory: Successfully created connection to 109:4048 after 1 ms (0 ms spent in bootstraps)
оценить?
Как будто упал конекшн, и мы минуту ждем. Это норм вообще?
источник
2019 October 25

R

Renarde in Data Engineers
всем привет. вопрос по работе с maven-ом.
у меня есть тестовый класс presto-tests, в комплекте к которому идет зависимость io.prestosql.hadoop:hadoop-apache. Мне эта зависимость нужна только при запуске тестового трейта PrestoSupport. Однако, она просачивается и в spark classpath при запуске тестов, в результате чего spark падает, пытаясь ее использовать. как правильно исключить зависимость таким образом, чтобы она не попала в spark при запуске тестов?
источник

A

Alex in Data Engineers
2 модуля разных
источник

R

Renarde in Data Engineers
развел уже. есть главный модуль - presto, в котором на тестах указана зависимость на presto-tests, все равно подцепляет…
источник

A

Alex in Data Engineers
Ну в том модуле где не надо сделать exlude
источник

R

Renarde in Data Engineers
а вот где должен быть этот exclude? если я делаю exclude presto-tests, типа такого:

<dependency>
 <groupId>
org.deps</groupId>
 <artifactId>presto-tests</artifactId>
 <version>${project.version}</version>
 <scope>test</scope>
 <exclusions>
   <exclusion>
     <groupId>io.prestosql.hadoop</groupId>
     <artifactId>*</artifactId>
   </exclusion>
 </exclusions>
</dependency>
источник

R

Renarde in Data Engineers
то при запуске тестов в модуле presto, оно падает с нехваткой этого класса для PrestoSupport
источник

N

Nikita Blagodarnyy in Data Engineers
Так этот экслюд вроде должен идти после dependency, которая его тянет
источник

R

Renarde in Data Engineers
так его и тянет - presto-tests, вот таким образом:
<dependency>
 <groupId>io.prestosql.hadoop</groupId>
 <artifactId>hadoop-apache</artifactId>
 <version>3.2.0-2</version>
 <scope>compile</scope>
</dependency>
источник