Size: a a a

2021 October 20

ПФ

Паша Финкельштейн... in Data Engineers
Айсберг красиво обращается с метаинформацией, но вот как они решают проблему изменений мне не очень понятно. В смысле в худи я могу этим управлять
источник

AZ

Anton Zadorozhniy in Data Engineers
ванильный айсберг только-только получает все это
источник

ПФ

Паша Финкельштейн... in Data Engineers
Мне нужна твоя помощь вот тут, видимо
источник

ПФ

Паша Финкельштейн... in Data Engineers
Если у тебя будет время поговорить о господе нашем общении - дай мне знать, пожалуйста
источник

ФЧ

Филипп Чистяков... in Data Engineers
Ребят, кто рабол с amazon rds. Подскажите могу ли я создавать реплику в другую бд? mysql в postgres? Или из старой версии бд в новую?
источник

AS

Alexey Stavrov in Data Engineers
Кстати, вот на это забыл ответить, но пропустил в полёте мыслей.

У Вас в процессоре несколько ядер (ну я точно не знаю, что у Вас, но даже у меня на телефоне такая ситуация сейчас). И максимум, что они вам дадут - это sequential consistency и то, если их правильно использовать (всякие барьеры памяти правильно расставить). Я, правда, не знаю, почему не linearizable, но в статьях так пишут...
источник

AZ

Anton Zadorozhniy in Data Engineers
вы все-таки про NUMA наверное, а не классический SMP
источник

AS

Alexey Stavrov in Data Engineers
Не думал об этом. Но давайте с Вами подумаем вместе)

Если даже и NUMA, то максимум seq. consistency обосновывается сразу же?)
источник

AZ

Anton Zadorozhniy in Data Engineers
в SMP есть global lock, в NUMA его может не быть, и если нет - ее можно рассматривать как распределенную систему
источник

AS

Alexey Stavrov in Data Engineers
Тут основной посыл был в том, что и на одном компьютере можно получить не linearizable. Других мыслей я не вкладывал.
источник

AZ

Anton Zadorozhniy in Data Engineers
CPU не очень важны, модели целостности же про сообщения и стейт
источник

AS

Alexey Stavrov in Data Engineers
Что такое global lock в SMP?
источник

AZ

Anton Zadorozhniy in Data Engineers
лок который все ядра лочит
источник

AS

Alexey Stavrov in Data Engineers
Это оно?
источник

AZ

Anton Zadorozhniy in Data Engineers
кстати раньше были архитектуры где нельзя было сделать лок всем ядрам, вот под них весело было программировать) PARISC был знаменит своими плохими локами
источник

AZ

Anton Zadorozhniy in Data Engineers
это терминология ОС, но да, про тоже самое
источник

AZ

Anton Zadorozhniy in Data Engineers
я слышал историю про то как одна легаси СУБД делала блокировки на вероятностых алгоритмах на PARISC )))
источник

AS

Alexey Stavrov in Data Engineers
Не удалось у меня найти больше информации, чем на wiki.

Но, если я правильно понял, то это что-то софтовое и оно в линуксе на переход в kernel space и уже сейчас не используется (или там не global лок, а какой-то другой 😊).

В любом случае пользователь им не управляет. Поэтому не за счёт этого достигается seq. consistency в многопоточных программах с использованием единой памяти.
источник

AZ

Anton Zadorozhniy in Data Engineers
Я не уверен что понимаю смысл этого мысленного упражнения, мы не рассуждаем про CPU или ядра когда обсуждаем гарантии конкретной data management системы в фреймворке consistency models; вы можете запустить несколько экземпляров strong-1sr системы на SMP или NUMA системе, она останется strong-1sr
источник

AS

Alexey Stavrov in Data Engineers
> она останется strong-1sr

Да, конечно, с локами можно добиться таких гарантий. Я имел ввиду, что без локов процессор не даёт никаких гарантий.
источник