AT
Вот я смотрю в сторону графовых, там со связями всё супер + не надо в памяти всё держать
ну со связями конечно хорошо а вот с аналитикой не очень
Size: a a a
2020 July 23
R
Вот я смотрю в сторону графовых, там со связями всё супер + не надо в памяти всё держать
Если графы, то neo4j бери, остальное слишком сырое.
CN
Если графы, то neo4j бери, остальное слишком сырое.
Я писал про неё выше...
CN
Al T
ну со связями конечно хорошо а вот с аналитикой не очень
Вообще, я прикинул, мне не очень глубоко нужно копать так что они тут не очень нужны
R
Я писал про неё выше...
Аха. Ну, это на случай, если вдруг решишь именно в графах свою задачу реализовывать.
Но к слову, если тебе для твоих запросов нужно не просто по линкам прыгать, а какие-то подграфы искать - нео это не очень хорошо делает, имей ввиду.
Но к слову, если тебе для твоих запросов нужно не просто по линкам прыгать, а какие-то подграфы искать - нео это не очень хорошо делает, имей ввиду.
N
вот эта вот часть с ценами и стоками..
В клике есть эффективный механизм словарей. Как раз in-memory замена джойна большого и маленького. Типа select key, dictGet(key,price_dictionary) value from large_table
N
Привет, есть сервис для получения отчётов, с малым RPS, но с большой выборкой (счёт на миллиарды записей), думаю над кликхаус, Google BigQuery или Neo4j, что посоветуете?
как сюда neo4j то затесался? вы хотите в граф затолкать временные показатели? и научить bi тул писать match -и по болту?
CN
как сюда neo4j то затесался? вы хотите в граф затолкать временные показатели? и научить bi тул писать match -и по болту?
уже кликхаус начал грызть)
AT
уже кликхаус начал грызть)
вот, наш человек - вовремя одумался
CN
Al T
вот, наш человек - вовремя одумался
Та я слабо в СУБД шарю, за всю жизнь только монгу, постгрес, mysql и dynamodb юзал
CN
что советуют то и юзаю, в разных чатах, включая этот, советовали на клике остановиться
A
что советуют то и юзаю, в разных чатах, включая этот, советовали на клике остановиться
Есть и родной чат по КХ. Там уже предметно помочь смогут по реализации кейса
N
Ну да. Там любят like помочь написать забаненным в sql-ex.
A
Ну да. Там любят like помочь написать забаненным в sql-ex.
Главное, что в Канаде утро, Денис уже проснулся и готов просвещать ))
ME
А если спарк делает
это у него в S3 место кончилось?)
Py4JJavaError: An error occurred while calling o2981.parquet.
: org.apache.spark.SparkException: Job aborted.
...
Caused by: org.apache.hadoop.util.DiskChecker$DiskErrorException: No space available in any of the local directories.
это у него в S3 место кончилось?)
ME
А если спарк делает
это у него в S3 место кончилось?)
Py4JJavaError: An error occurred while calling o2981.parquet.
: org.apache.spark.SparkException: Job aborted.
...
Caused by: org.apache.hadoop.util.DiskChecker$DiskErrorException: No space available in any of the local directories.
это у него в S3 место кончилось?)
нет, локальное на нодах
ME
для воркеров выделите больше места на дисках
ME
там по 50 гигов EBS...
ME
Он когда работает с данными в s3, он промежуточные результаты на локальном диске хранит
ME
ну посмотрите сколько осталось от 50гб