Size: a a a

2021 October 20

AZ

Anton Zadorozhniy in Data Engineers
у меня римская единица) я знаю что это значит
источник

AZ

Anton Zadorozhniy in Data Engineers
strict consistency это теоретическая модель, невозможная практически
источник

AS

Alexey Stavrov in Data Engineers
Хм... может вам в яндекс написать, а то они там считают, что они сделали strict consistency БД под названием YDB.

А вообще я легко могу сделать такую БД. Ну смотрите сами:
в один поток обрабатываем все операции в транзакции, при этом внутри транзакции убираем любую интерактивность с пользователем. Т.е. другими словами пользователь готовит набор действий в транзакции и комитит их, а сервер за один раз их применяет.
источник

AS

Alexey Stavrov in Data Engineers
А да, забыл сказать, что она не распределённая. Мне же надо просто доказать, что это возможно.
источник

AZ

Anton Zadorozhniy in Data Engineers
наверное у них не то определение что используется в академии, strict consistency подразумевает моментальную доступность для всех читателей, что невозможно (скорость света мешает)
источник

AZ

Anton Zadorozhniy in Data Engineers
в computer science весь домен consistency models определен для распределенных систем
источник

AZ

Anton Zadorozhniy in Data Engineers
толку в рассуждениях о модели если у вас читатель, писатель и сервер это один и тот же компьютер?
источник

AS

Alexey Stavrov in Data Engineers
Видимо это для случая распределённости.
Окей, давайте добавим реплики к моей выдуманной БД, которые будут применять транзакции.

Будем отдвать ответ пользователю тогда, когда записалось на все реплики.

Появилась распределённая штуковина.
источник

AK

Alex K in Data Engineers
Народ, а посоветуйте, где можно почитать, чтоб написать что-то подобное.
Дали задачу написать джобу, смотрю на код и вообще не понимаю что есть что.

Вроде знаю питон, а тут как китайская грамота
источник

AZ

Anton Zadorozhniy in Data Engineers
Under this model, a write to a variable by any processor needs to be seen instantaneously by all processors.

Вот это невозможно
источник

N

Nikolay in Data Engineers
ну и правды ради надо что бы кто-нибудь независимый потестировал YDB . jepsen, например. так то многие что заявляли.
источник

R

Roman in Data Engineers
Доку по Pyspark, например
источник

AK

Alex K in Data Engineers
эт тип просто pyspark и ничего сверху? Его гуглю и изучаю?
источник

AZ

Anton Zadorozhniy in Data Engineers
Кайл даже не рассматривает модель strict consistency, я с ним это на семинаре обсуждал, это чисто теоретическая модель
источник

E

Etki in Data Engineers
Зачем нам instantaneously, если мы все это говорим про порядок событий, а не время выполнения.

Мы же можем уйти в крайне чопорные варианты с quorum = all на любой запрос.
источник

R

Roman in Data Engineers
По сути да, можешь точечно искать названия классов и методов построчно, чтоб понимать, что происходит в каждой строке.
источник

AZ

Anton Zadorozhniy in Data Engineers
и Jepsen не может тестировать SaaSы, он же играет с сетью, как это для сервиса симулировать?
источник

AK

Alex K in Data Engineers
да, вот с этого и начал
источник

AZ

Anton Zadorozhniy in Data Engineers
академическое определение strict consistency говорит про время
источник

E

Etki in Data Engineers
Вы предлагаете слепо смотреть в определение, не разбираясь?
источник