MM
Да я начал смотреть все подряд и успокоился ) все интересно
Size: a a a
2021 April 02
M
А где-то есть лекция, или информация по sticky sessions, про которые говорит Тимур, что благодаря им можно делать stateful сервис
TS
А где-то есть лекция, или информация по sticky sessions, про которые говорит Тимур, что благодаря им можно делать stateful сервис
TS
Но лучше просто websockets
2021 April 03
/
Вспомнился стартап Spill, где решили платить всем одинаковые зарплаты. Вначале было прикольно, а потом пришлось отказаться от такой практики.
О! Почитаю )
M
Но лучше просто websockets
Спасибо)
KH
Я понимаю, что в принципе, простейший алгоритм, но как то лучше сначала узнать кто чего пробовал. Потому что нагрузочные тесты нагрузочными тестами, но, вдруг какая-то бяка вылезет откуда не ждали.
Я использую https://github.com/T-PWK/flake-idgen. Тут ещё есть статья его про это https://blog.abelotech.com/posts/generate-unique-identifier-nodejs-javascript/. Из подводных камней это синхронизация времени, там об этом написано. Если время засинхронится назад, то могут пойти дубли. Ну и надо пристально следить, чтобы при масштабировании в какой-то момент времени не работали одновременно приложения с одним worker id.
L
Я использую https://github.com/T-PWK/flake-idgen. Тут ещё есть статья его про это https://blog.abelotech.com/posts/generate-unique-identifier-nodejs-javascript/. Из подводных камней это синхронизация времени, там об этом написано. Если время засинхронится назад, то могут пойти дубли. Ну и надо пристально следить, чтобы при масштабировании в какой-то момент времени не работали одновременно приложения с одним worker id.
Большое спасибо, посмотрю.
Тимур абсолютно прав в том, что надо или разбираться с исходниками или делать всё самому, чтобы быть уверенным в результатах.
Но, чёрт, это же надо внешний диск к голове и несколько лет к жизни докупать, если много областей сразу.
Тимур абсолютно прав в том, что надо или разбираться с исходниками или делать всё самому, чтобы быть уверенным в результатах.
Но, чёрт, это же надо внешний диск к голове и несколько лет к жизни докупать, если много областей сразу.
L
Остаётся только написать самому)
Не будете ли вы столь любезны объяснить смысл побитового сдвига влево в их алгоритме?
result := (now_millis - our_epoch) << 23;
result := result | (shard_id <<10);
А то я сварщик ненастоящий и в меряться глубиной фундаментальных познаний в этой области заранее сдаюсь.
result := (now_millis - our_epoch) << 23;
result := result | (shard_id <<10);
А то я сварщик ненастоящий и в меряться глубиной фундаментальных познаний в этой области заранее сдаюсь.
Y
Не будете ли вы столь любезны объяснить смысл побитового сдвига влево в их алгоритме?
result := (now_millis - our_epoch) << 23;
result := result | (shard_id <<10);
А то я сварщик ненастоящий и в меряться глубиной фундаментальных познаний в этой области заранее сдаюсь.
result := (now_millis - our_epoch) << 23;
result := result | (shard_id <<10);
А то я сварщик ненастоящий и в меряться глубиной фундаментальных познаний в этой области заранее сдаюсь.
Я их алгоритм ни разу не видел)
Можете скинуть ссылку на строку на GitHub?
Можете скинуть ссылку на строку на GitHub?
L
Я их алгоритм ни разу не видел)
Можете скинуть ссылку на строку на GitHub?
Можете скинуть ссылку на строку на GitHub?
Заранее благодарю. https://instagram-engineering.com/sharding-ids-at-instagram-1cf5a71e5a5c
KH
Я использую https://github.com/T-PWK/flake-idgen. Тут ещё есть статья его про это https://blog.abelotech.com/posts/generate-unique-identifier-nodejs-javascript/. Из подводных камней это синхронизация времени, там об этом написано. Если время засинхронится назад, то могут пойти дубли. Ну и надо пристально следить, чтобы при масштабировании в какой-то момент времени не работали одновременно приложения с одним worker id.
проблема синхронизации времени там решена, а то прозвучало неоднозначно ). Имелось ввиду подводные камни, если самому делать.
Y
Не будете ли вы столь любезны объяснить смысл побитового сдвига влево в их алгоритме?
result := (now_millis - our_epoch) << 23;
result := result | (shard_id <<10);
А то я сварщик ненастоящий и в меряться глубиной фундаментальных познаний в этой области заранее сдаюсь.
result := (now_millis - our_epoch) << 23;
result := result | (shard_id <<10);
А то я сварщик ненастоящий и в меряться глубиной фундаментальных познаний в этой области заранее сдаюсь.
Они так заполняют биты ID, который будет сгенерирован. В тексте все объясняется. Например
(now_millis - our_epoch) << 23
Положит timestamp в первые 41 бит слева
Дальше
result | (shard_id <<10)
положит в следующие 13 бит shard id
А вконце 10 бит автоинкрементируемого числа по модулю 1024
(now_millis - our_epoch) << 23
Положит timestamp в первые 41 бит слева
Дальше
result | (shard_id <<10)
положит в следующие 13 бит shard id
А вконце 10 бит автоинкрементируемого числа по модулю 1024
Y
Если интересно, почему автоинкремент по модулю 1024, там это тоже написано. Чтобы влез в 10 бит
Y
Попробуйте взять числа из их примера в статье и выполнить все вручную шаг за шагом. Должно стать понятнее
L
Попробуйте взять числа из их примера в статье и выполнить все вручную шаг за шагом. Должно стать понятнее
Пробовал, пока что-то не то получается. Спасибо, буду разбираться, вы уже меня натолкнули в правильную сторону подумать.
Y
Они берут 64 бита со всеми нулями, для каждой части id сдвигают ее на нужное количество бит, чтобы справа оказались нули. Потом делают побитовое ИЛИ с теми 64 битами вначале.
Сдвиг делается не для тех 64 бит, которые вконце будут отдаваться, а для частей id, вроде time stamp и shard id. Потом каждая из этих частей (уже сдвинутая) добавляется в оригинальные 64 бит с помощью ИЛИ
Сдвиг делается не для тех 64 бит, которые вконце будут отдаваться, а для частей id, вроде time stamp и shard id. Потом каждая из этих частей (уже сдвинутая) добавляется в оригинальные 64 бит с помощью ИЛИ
Y
Пробовал, пока что-то не то получается. Спасибо, буду разбираться, вы уже меня натолкнули в правильную сторону подумать.
Попробуйте подвигать биты на бумаге. Это проще объяснять визуально, чем на словах
Y
Пробовал, пока что-то не то получается. Спасибо, буду разбираться, вы уже меня натолкнули в правильную сторону подумать.
Если не разберетесь, пишите, попробую позже нарисовать)
L
Если не разберетесь, пишите, попробую позже нарисовать)
Спасибо, уже копаю :)