Телеграмм чат группы hadoopusers страница 4451

Понятно. Всё перечисленное нам не релевантно (не юзаем ни дф, ни удф, ни пуспарк) и можно спокойно пропустить. Тем более что время эфира просто ну крайне неудобное

источник

13:32пожаловаться #3

Grigory Pomadchin in Data Engineers

спасибо что рассказал что не придешь и тебе нерелевантно

источник

16:48пожаловаться #4

Grigory Pomadchin in Data Engineers

Alexey Evdokimov in Data Engineers

анонс мероприятия без программы — так себе анонс

источник

16:49пожаловаться #6

Alexey Evdokimov in Data Engineers

надо ж было прояснить, чё ваще за разговор. вдруг чё-то реально полезное, ради чего можно и поторчать пару лишних часов на работе ночером

источник

16:50пожаловаться #7

Dmitriy Pavlov in Data Engineers

Всем привет! Прямо сейчас начинается наш онлайн-митап по DataOps: https://youtu.be/xuak6VOS6ns
Поговорим о технологиях хранения и обработки данных и послушаем опытных эксплуатантов Spark, Airflow, S3, Trino и других движков. Присоединяйтесь!

YouTube

DataOps Community Meetup

Систематизировать и извлекать из данных ценность помогает DataOps — одна из самых молодых и обсуждаемых концепций в ИТ. Как и в случае DevOps, DataOps — не только принципы организации работы с данными, но и инструменты, облегчающие задачу, и архитектурные паттерны работы с этими инструментами.

Узнать о реальных возможностях использования новых инструментов по обработке данных поможет обмен опытом с коллегами.

Для этого предлагаем собраться онлайн 2 ноября, и на основе опыта экспертов из Yandex.Cloud, Glowbyte Consulting, Beeline, Lamoda и Anabar принять решение об актуальности использования таких инструментов в ваших проектах. А после выступлений обсудить ваши вопросы в неформальной атмосфере — будет организовано пространство для обсуждения онлайн.

Регистрация: https://cloud.yandex.ru/events/460

источник

17:03пожаловаться #8

Dmitriy Pavlov in Data Engineers

В конце будет сессия в зум, можно будет пообщаться со спикерами.

источник

17:04пожаловаться #9

Alexey Evdokimov in Data Engineers

пожелание на будущее: эфиры лучше проводить либо парой часов раньше, либо позже

источник

17:04пожаловаться #10

Dmitriy in Data Engineers

как всегда невовремя)

источник

17:07пожаловаться #11

Dmitriy in Data Engineers

похоже на рекламу яндекс клауда(

источник

17:10пожаловаться #12

T in Data Engineers

Эх, жаль что в середине рабочего дня, запись будет?

источник

17:18пожаловаться #13

Ronin Takeda in Data Engineers

sticker.webp

(18.63 Кб)

источник

17:30пожаловаться #14

Panchenko Andrey in Data Engineers

Ну Ютуб жи. Должна быть

источник

17:30пожаловаться #15

Dmitriy Pavlov in Data Engineers

Да, будет по той же ссылке)

источник

18:57пожаловаться #16

T in Data Engineers

👍

источник

18:57пожаловаться #17

Grigory Pomadchin in Data Engineers

Ребят мне надо через SQL зарегать UDFки (https://docs.databricks.com/spark/latest/spark-sql/language-manual/sql-ref-syntax-ddl-create-function.html) только одно но что они у меня не классами сейчас лежат а это лямбды; можно как-то это обойти или чтобы регать скул надо обязательно что б классы UDF были?

Databricks

CREATE FUNCTION (External) | Databricks on AWS

Learn how to use the CREATE FUNCTION syntax of the SQL language in Databricks.

источник

21:09пожаловаться #18

ЕГ

Евгений Глотов... in Data Engineers

Вроде там исчерпывающий перечень вариантов

источник

21:27пожаловаться #19

ЕГ

Евгений Глотов... in Data Engineers

Это же должен быть объект хайв метастора

источник

21:28пожаловаться #20