Телеграмм чат группы hadoopusers страница 2739

How We Built A Serverless Spark Platform On Kubernetes - Video Tour Of Data Mechanics - Data Mechanics Blog

Посмотрите лучше на будущее https://www.datamechanics.co/blog-post/video-tour-of-data-mechanics-the-serverless-spark-platform

www.datamechanics.co

In this video, we give you a product tour of our serverless Spark platform and its core features: connecting a Jupyter notebook, submitting apps programmatically, monitoring their logs and metrics, tracking their costs and performance over time.

00:14пожаловаться #2

ну такое

00:32пожаловаться #3

датабрикс для бедных?

00:32пожаловаться #4

Серверлесс

00:33пожаловаться #5

Нет никаких кластеров

00:33пожаловаться #6

Серверлесс

я вижу автоскейлинг

00:37пожаловаться #7

https://docs.datamechanics.co/docs/first-application

Нет никаких кластеров

docs.datamechanics.co

Submitting an app | Data Mechanics documentation

** This page describes how to run a first Spark application programmatically through Data Mechanics API.

00:38пожаловаться #8

В общем не понятно, какое новое качество вносится

00:39пожаловаться #9

Нет никаких кластеров

как на подобный стартап получить финансирование?

00:40пожаловаться #10

https://docs.datamechanics.co/docs/first-application

KrivdaTheTriewe

docs.datamechanics.co

Submitting an app | Data Mechanics documentation

** This page describes how to run a first Spark application programmatically through Data Mechanics API.

Эт эндпоинт просто, как s3.amazon.com

00:40пожаловаться #11

KrivdaTheTriewe

как на подобный стартап получить финансирование?

Просто говоришь с ближайшим VC

00:40пожаловаться #12

Просто говоришь с ближайшим VC

00:40пожаловаться #13

я ни одного не знаю

00:40пожаловаться #14

Эт эндпоинт просто, как s3.amazon.com

у нас прост тож стартуют джобы декларативно все, красиво и так далее

00:41пожаловаться #15

а идей мног как все это развивать

00:42пожаловаться #16

KrivdaTheTriewe

у нас прост тож стартуют джобы декларативно все, красиво и так далее

Ну у вас и кластера автоскейлятся и стопятся автоматически, и чарджите вы только за активно бегущие ярн таски?

00:42пожаловаться #17

прост ребята сделали тут обертку над кубер запуском

00:42пожаловаться #18

Плюс свой нормальный устойчивый и масштабируемый шафлсервис

00:43пожаловаться #19

нет конечно, у нас не облако к сожалению, но с апи мы работать умеем и координатор добавить не большая проблема