Size: a a a

F# Flood: Do cshapers dream about fsharp?

2021 January 13

SB

S B in F# Flood: Do cshapers dream about fsharp?
Конкретно сейчас есть сервис, который умеет прочитать граф из приватного хранилища и должен его заимпортировать в Монгу, которую уже выбрал я на время РНД. И заимпортировать должен с учетом разметки, т.е. там этот алгоритм в процессе должен выполниться.
источник

SB

S B in F# Flood: Do cshapers dream about fsharp?
На малых графах до 1000 вершин, тестовых, в основном рэндомных, все быстро работает.
источник

SB

S B in F# Flood: Do cshapers dream about fsharp?
На Запорожье уже неподъемно.
источник

DS

Doge Shibu in F# Flood: Do cshapers dream about fsharp?
А в монгу в каком виде оно закидывается?

Обычно такие графы для того же CH хранят в итоге в кастомных бинарных форматах.
источник

LU

Lars Ulrich in F# Flood: Do cshapers dream about fsharp?
S B
Ряд баз от Постгресиквел до Монги и оперативной памяти (собирается через события поверх Рэббит).
Немного оффтоп, но может полезно будет. Посмотрите на H3 от Uber : https://eng.uber.com/h3/ и процессинг этого дела в ClickHouse https://clickhouse.tech/docs/en/sql-reference/functions/geo/h3/
источник

SB

S B in F# Flood: Do cshapers dream about fsharp?
Doge Shibu
А в монгу в каком виде оно закидывается?

Обычно такие графы для того же CH хранят в итоге в кастомных бинарных форматах.
Неэффективно кидается, но это не проблема, весь алгоритм в РАМе считается, в РАМе полная копия графа
источник

DS

Doge Shibu in F# Flood: Do cshapers dream about fsharp?
S B
Неэффективно кидается, но это не проблема, весь алгоритм в РАМе считается, в РАМе полная копия графа
Я скорее задумался насколько потом эффективно оттуда будет читать и норм ли будет монге
источник

SB

S B in F# Flood: Do cshapers dream about fsharp?
Doge Shibu
Я скорее задумался насколько потом эффективно оттуда будет читать и норм ли будет монге
Меньше чем за 10 секунд вычитывает запорожье в N потоков с учетом RWLock, мной использованного для храрения синглтона-графа
источник

SB

S B in F# Flood: Do cshapers dream about fsharp?
и отдает рединесс
источник

SB

S B in F# Flood: Do cshapers dream about fsharp?
там проблем ваще нет
источник

DS

Doge Shibu in F# Flood: Do cshapers dream about fsharp?
S B
Меньше чем за 10 секунд вычитывает запорожье в N потоков с учетом RWLock, мной использованного для храрения синглтона-графа
А, ну норм тогда.
источник

DS

Doge Shibu in F# Flood: Do cshapers dream about fsharp?
Я просто обычно чуть побаиваюсь монгу, скорее всего зря
источник

SB

S B in F# Flood: Do cshapers dream about fsharp?
и это через триебучие ВПН
источник

SB

S B in F# Flood: Do cshapers dream about fsharp?
то есть, внутри системы будет еще быстрее
источник

SB

S B in F# Flood: Do cshapers dream about fsharp?
Doge Shibu
Я просто обычно чуть побаиваюсь монгу, скорее всего зря
В этом смысле к ней вообще нет претензий, транзакционность там говно полное
источник

SB

S B in F# Flood: Do cshapers dream about fsharp?
то есть, атомарно записать уже сложно сложную транзакцию, хотя там добавили какое-то АПИ
источник

VS

Vasily Shapenko in F# Flood: Do cshapers dream about fsharp?
источник

VS

Vasily Shapenko in F# Flood: Do cshapers dream about fsharp?
Как тонко подмечено
источник

IC

Ilya Chernoudov in F# Flood: Do cshapers dream about fsharp?
Как думаете, Василий унижает окружающих?🤔
источник

AH

Ayrat Hudaygulov in F# Flood: Do cshapers dream about fsharp?
Ilya Chernoudov
Как думаете, Василий унижает окружающих?🤔
Режет правду матку
источник