Size: a a a

AI / Big Data / Machine Learning

2016 August 31

SM

Sergey Martynov in AI / Big Data / Machine Learning
Skeptic
Я еще думал насчёт Tarantool, но тогда придется полностью пересматривать структуру базы, приводя ее к key-value схеме. И далеко не факт, что это даст какие-либо преимущества.
Тоже хотел про него упомянуть, но все зависит от задачи. Если она больше напоминает архивирование, да к тому же на одной машине, то преимущества тарантула будут не существенные. Он крут, когда много машин, все синхронизируется, разнородные данные и на них накручнено много бизнес-логики.
источник

ЛЛ

Леонид Л in AI / Big Data / Machine Learning
А делать со строками что планируется? Читать по ключу? Или агрегировать?
источник

a

aodzaki.toko in AI / Big Data / Machine Learning
Ещё стоит подумать о том, на сколько данные "реляционны"? Может стоит глянуть на монгу и её механизм map-reduce
источник

a

aodzaki.toko in AI / Big Data / Machine Learning
Много белых пятен в задаче, для нас)
источник

S

Skeptic in AI / Big Data / Machine Learning
Леонид Л
А делать со строками что планируется? Читать по ключу? Или агрегировать?
Читать по ключу или по LIKEам
источник

S

Skeptic in AI / Big Data / Machine Learning
aodzaki.toko
Ещё стоит подумать о том, на сколько данные "реляционны"? Может стоит глянуть на монгу и её механизм map-reduce
Монга + Toku? Там, скорее, сетевая структура. Просто в реляционных БД сети вполне неплохо хранятся. С монгой надо будет мучаться.
источник

M

Magistr in AI / Big Data / Machine Learning
Я вот быстро и по ключу в Аэроспайке хорошо читал
источник

a

aodzaki.toko in AI / Big Data / Machine Learning
Skeptic
Монга + Toku? Там, скорее, сетевая структура. Просто в реляционных БД сети вполне неплохо хранятся. С монгой надо будет мучаться.
Ясно
источник

S

Skeptic in AI / Big Data / Machine Learning
aodzaki.toko
Много белых пятен в задаче, для нас)
Да я понимаю )))
источник

a

aodzaki.toko in AI / Big Data / Machine Learning
Ладно, пойду спать. Всем спокойной ночи
источник

M

Magistr in AI / Big Data / Machine Learning
Сетевая случаем не граф ?
источник

ЕП

Евгений Поляков in AI / Big Data / Machine Learning
Тарантул - это такой redis + application server, оба плохо работают с большими ключами, ну и хранят только столько, сколько помещается в память. Cassandra не масштабируется при ключах в мегабайты длиной. Вообще, хранить в базе данных что-то большее килобайт - путь к io stalls. Хранить в одном месте байты и мегабайты - похоже на ошибку. Искать по этому с помощью like% - вы точно понмаете, что делаете?
источник

a

aodzaki.toko in AI / Big Data / Machine Learning
Skeptic
Да я понимаю )))
Удачи
источник

ЕП

Евгений Поляков in AI / Big Data / Machine Learning
Начать надо с mysql+innodb и увидеть, где проблемы
источник

ЛЛ

Леонид Л in AI / Big Data / Machine Learning
Учитывая, что озвучено - постгре или току. Выбор зависит от админа. И та и  другая в руках отличного админа в пять раз быстрее, чем в руках хорошего. Поэтому что админ лучше знает.
источник

ЕП

Евгений Поляков in AI / Big Data / Machine Learning
что за строчки в мегабайты длиной в одном ключе? их точно нельзя порезать на части?
источник

ЛЛ

Леонид Л in AI / Big Data / Machine Learning
Евгений Поляков
Тарантул - это такой redis + application server, оба плохо работают с большими ключами, ну и хранят только столько, сколько помещается в память. Cassandra не масштабируется при ключах в мегабайты длиной. Вообще, хранить в базе данных что-то большее килобайт - путь к io stalls. Хранить в одном месте байты и мегабайты - похоже на ошибку. Искать по этому с помощью like% - вы точно понмаете, что делаете?
Поддерживаю про io. Возможно, архитектуру можно улучшить
источник

a

aodzaki.toko in AI / Big Data / Machine Learning
Евгений Поляков
что за строчки в мегабайты длиной в одном ключе? их точно нельзя порезать на части?
Может геном бактерии
источник

ЕП

Евгений Поляков in AI / Big Data / Machine Learning
геномы пакуются через rANS например, и зчем в одной базе бактерия с миллионом букв и тут же бактерия с десятью буквами? такие вообще бывают?
источник

a

aodzaki.toko in AI / Big Data / Machine Learning
Евгений Поляков
геномы пакуются через rANS например, и зчем в одной базе бактерия с миллионом букв и тут же бактерия с десятью буквами? такие вообще бывают?
Не знаю, я предположил
источник