AV
а нужна ли она ему?
нужна конечно
Size: a a a
2020 October 19
АЖ
нужна конечно
точно?
АЖ
ну просто часто бизнес не понимает ничего в этих latency
АЖ
и только архи занимаются аутофелляцией, глядя на развесистые пайплайны без задержек
АЖ
А у бизнеса хотелка, чтобы в 9:00 был готов отчет 🙂
AZ
А у бизнеса хотелка, чтобы в 9:00 был готов отчет 🙂
к сожалению я видел не одного клиента где словосочетание real time значило "запрос выполняется меньше 15 минут" 😞
AZ
если в спарке broadcast стримы не подвезли, то для стриминга по прежнему нет ни чего лучше Flink’а
у флинка есть еще куча преимуществ, но там порог входа серьезно выше, особенно не для обычных разработчиков, а для дата инженеров которые до этого писали SQL и pyspark; поэтому я обычно рекомендую написать сначала на спарке, а если будет сильно жать - переписать
MB
@Michaelikus официально нету, на практике некоторые запросы могут подтормаживать
схема у хайва в базе данных печальна и во многих местах где нужны индексы их нельзя построить =(
поэтому при большом количестве партиций может быть не очень хорошо
https://www.slideshare.net/Hadoop_Summit/oraclestore-a-highly-performant-rawstore-implementation-for-hive-metastore
там есть слайды с замерами
схема у хайва в базе данных печальна и во многих местах где нужны индексы их нельзя построить =(
поэтому при большом количестве партиций может быть не очень хорошо
https://www.slideshare.net/Hadoop_Summit/oraclestore-a-highly-performant-rawstore-implementation-for-hive-metastore
там есть слайды с замерами
а почему нельзя построить индексы?
MB
а, сорян, увидел.. нельзя от слова не имеет смысла... но я пару индексов накинул у себя и уже база оживилась существенно
АШ
Всем привет. Мы тут заопенсорсили спарк обертку над hyperscan (сишная либа для матчинга большого кол-ва регулярок) - https://github.com/napalabs-ru/spark-hscan . Пока проверяли только на spark 2.3.2. На продовых данных получили ускорение производительности в 2 раза, относительно обычного like. Может кому-нибудь будет интересно.
UD
Всем привет. Мы тут заопенсорсили спарк обертку над hyperscan (сишная либа для матчинга большого кол-ва регулярок) - https://github.com/napalabs-ru/spark-hscan . Пока проверяли только на spark 2.3.2. На продовых данных получили ускорение производительности в 2 раза, относительно обычного like. Может кому-нибудь будет интересно.
А сильно отличается от либы gliwka ?
АШ
она используется внутри
AA
Всем привет.
Имеется стек: aws s3 для инпута батч процессинга, aws lambda конфиги формируют и стартуют спарк кластер на aws emr, кластер забирает данные с с3, колдует и результаты процессинга и тестов заливается в aws redshift.
Накидайте, пожалуйста, баззвордов аналогов в Azure, хочу погуглить на чем такой стек собрать, чтобы максимально безболезненно переехать, и какие будут проблемы и профит.
Имеется стек: aws s3 для инпута батч процессинга, aws lambda конфиги формируют и стартуют спарк кластер на aws emr, кластер забирает данные с с3, колдует и результаты процессинга и тестов заливается в aws redshift.
Накидайте, пожалуйста, баззвордов аналогов в Azure, хочу погуглить на чем такой стек собрать, чтобы максимально безболезненно переехать, и какие будут проблемы и профит.
AZ
Anton Alekseev
Всем привет.
Имеется стек: aws s3 для инпута батч процессинга, aws lambda конфиги формируют и стартуют спарк кластер на aws emr, кластер забирает данные с с3, колдует и результаты процессинга и тестов заливается в aws redshift.
Накидайте, пожалуйста, баззвордов аналогов в Azure, хочу погуглить на чем такой стек собрать, чтобы максимально безболезненно переехать, и какие будут проблемы и профит.
Имеется стек: aws s3 для инпута батч процессинга, aws lambda конфиги формируют и стартуют спарк кластер на aws emr, кластер забирает данные с с3, колдует и результаты процессинга и тестов заливается в aws redshift.
Накидайте, пожалуйста, баззвордов аналогов в Azure, хочу погуглить на чем такой стек собрать, чтобы максимально безболезненно переехать, и какие будут проблемы и профит.
Azure Data Lake Storage, Azure Data Factory (это скорее конкурент AWS Glue, но получше), HDInsight, Azure Synapse
AA
Azure Data Lake Storage, Azure Data Factory (это скорее конкурент AWS Glue, но получше), HDInsight, Azure Synapse
Спасибо!👍 Убёг сравнивать😊
AZ
самый простой способ наверное перенести текущий ворклоад на HDInsight или Databricks
AE
нтерестно сколько такой переезд может занять сейчас. три года назад (только в обратную сторону) я потратил где-то месяца четыре
АЖ
нтерестно сколько такой переезд может занять сейчас. три года назад (только в обратную сторону) я потратил где-то месяца четыре
там было не так завязано на плюшки азура 🙂
AE
ежели бы у нас тогда использовался голый спарк без ничего, как щас, оно было бы проще. а то любая жёсткая зависимость от облачного компонента в стеке — это боль...
TT
ежели бы у нас тогда использовался голый спарк без ничего, как щас, оно было бы проще. а то любая жёсткая зависимость от облачного компонента в стеке — это боль...
Стало хуже
Пилить - не перепилить
Пилить - не перепилить