Size: a a a

2020 May 15

AL

Alexander Litvinov in pro.algorithms
Приветствую.
Есть набор объектов с атрибутами, среди атрибутов есть атрибут-множество.
Если сравнивать "похожесть" двух объектов, то в случае когда все атрибуты (кроме атрибута-множества) равны, атрибуты-множество сравниваются так что должно быть минимально-необходимое количество общих элементов (>= 1 например).

И вот не понятно, с одной стороны, можно было бы задать меру расстояний и применить кластеризацию, но как быть атрибутом-множеством - не очень пока ясно.

Может кто-то толкнет к нужном направлении.
источник

АК

Андрей Костяной... in pro.algorithms
Кто-нибудь может поделиться разбором на Е длинного тура открытки, пожалуйста?
источник

MB

Mikail Bagishov in pro.algorithms
Задача там такая: есть два графа (красный и синий) на одном и том же множестве вершин.
У них поровну ребер, и эти ребра разбиты на пары (в каждой паре одно ребро из красного графа и одно ребро из синего).
У каждой пары есть вес.
Множество пар ребер хорошее, если красные ребра этих пар образуют лес, и синие ребра этих пар тоже образуют лес.
Требуется найти хорошее множество максимального веса.
источник

MB

Mikail Bagishov in pro.algorithms
Там довольно очевидное сведение к пересечению матроидов, его можно запихать на 100.
Других решений я не слышал.
источник
2020 May 16

ДС

Дмитрий Синявский... in pro.algorithms
Ребят, задача.
Есть бд медленная на запись, например 1000 оп/с, есть 5 сервисов, которые в нее пишут каждый со скоростью 1000 оп/с. Бд чужая, ее тюнинговать нельзя. Выдачу с сервисов ограничить тоже нельзя.
❓Как организовать запись данных с сервисов в бд, чтобы её не завалить и данные сервисов не терялись
?
🧐Я думал в сторону промежуточного сервиса(ов) накопителя, который в бд будет писать пачками в виде bulk-запросов.
источник

VD

Vlad Doc in pro.algorithms
Дмитрий Синявский
Ребят, задача.
Есть бд медленная на запись, например 1000 оп/с, есть 5 сервисов, которые в нее пишут каждый со скоростью 1000 оп/с. Бд чужая, ее тюнинговать нельзя. Выдачу с сервисов ограничить тоже нельзя.
❓Как организовать запись данных с сервисов в бд, чтобы её не завалить и данные сервисов не терялись
?
🧐Я думал в сторону промежуточного сервиса(ов) накопителя, который в бд будет писать пачками в виде bulk-запросов.
Ты хочешь 5к запихнуть в 1к?
источник

ДС

Дмитрий Синявский... in pro.algorithms
Vlad Doc
Ты хочешь 5к запихнуть в 1к?
Да хочу как-то сгладить/отложить.
источник

VD

Vlad Doc in pro.algorithms
Дмитрий Синявский
Да хочу как-то сгладить/отложить.
И каким образом? Тебе придётся накапливать 4к в секунду.
источник

ДС

Дмитрий Синявский... in pro.algorithms
5к допустим это пик, который нужно разложить. В другие моменты может быть меньше
источник

VD

Vlad Doc in pro.algorithms
Это возможно только если скорость записи в бд в среднем 1к
источник

ДС

Дмитрий Синявский... in pro.algorithms
Ясно дело если бд одна на 1000, а льет всегда 5 - то оно просто не влезет.
источник

ДС

Дмитрий Синявский... in pro.algorithms
Vlad Doc
Это возможно только если скорость записи в бд в среднем 1к
1000 это среднее, гарантированное так сказать
источник

VD

Vlad Doc in pro.algorithms
Дмитрий Синявский
1000 это среднее, гарантированное так сказать
Тебе всё равно придётся всю дельту что не влазит накапливать
источник

ДС

Дмитрий Синявский... in pro.algorithms
Я думал сделать сервис накопитель, копить кусками по 500 и отправлять в бд bulk запросами. Этакий кеш
источник

ДС

Дмитрий Синявский... in pro.algorithms
Копить похоже нужно прямо в память, чтоб это все не замедлилось.
источник

VD

Vlad Doc in pro.algorithms
Рам имеет свойство быстро заканчиваться
источник

ДС

Дмитрий Синявский... in pro.algorithms
Vlad Doc
Рам имеет свойство быстро заканчиваться
Это не суть, если за счет нее можно будет решить - это самое простое
источник

VD

Vlad Doc in pro.algorithms
Я не знаю сколько это 1000 оп/с по объёму. Но если сервисы будут грузить бд больше предела относительно долго то рама закончится.
источник

ДС

Дмитрий Синявский... in pro.algorithms
Vlad Doc
Я не знаю сколько это 1000 оп/с по объёму. Но если сервисы будут грузить бд больше предела относительно долго то рама закончится.
Пусть все строки на вставку одинаковые 1кб
источник

ДС

Дмитрий Синявский... in pro.algorithms
Тогда бд может скушать 1000кб/с, а в пике на вход будет ломиться 5000кб/с
источник