ИП
а их сортировка?
Size: a a a
2019 September 12
AS
а слияние результатов как?
Никак, они не зависят друг от друга.
AS
А вариант слития этих двух миллионов баз в два миллиона других сущностей внутри одного распределенного кластера не рассматривается?
Нет. Зачем?
ИП
то есть на выходе 2 миллиона результатов?
PV
Нет не считаю . Но мы решили запускать новые проекты с аутсорсом постепенно своё наращивая . Ребят посоветуйте компанию партнера . Запускаем проект - новый сайт+ личный кабинет+ онлайн магазин . Все это в интеграции с корпоративными системами (1с, SalesForce, есть RabbitMQ). Желательно чтобы партнёр с хорошим опытом микросервисной архитектуры. Ну то есть просто веб студия не покатит. Своей веб разработки сейчас нет, только большая 1сная , в процессе думаю добавим.
Могу посоветовать партнера для такого рода дата-дривен проектов, это компания ADV. Они и с очередями работают, и начали немного ML тоже
EK
Нет. Зачем?
в качестве варианта решения и наброса мыслей.
СХ
Да, и как ой у Монги поиск по текстам? Вы о чём вообще?
Ну пока да, спарк+btrfs+lz4, но проц и оперативу под кеш я помню тратились
AS
в качестве варианта решения и наброса мыслей.
Если я солью 2 млн баз в одну и сделаю индекс по идентификатору базы, то тогда при каждом поиске будет выбираться максимум 1/2000000 часть полнотекстового индекса. А читаться будет весь полнотекстовый индекс. Окей, не весь, но значительная часть. Так не работает.
MK
Могу посоветовать партнера для такого рода дата-дривен проектов, это компания ADV. Они и с очередями работают, и начали немного ML тоже
Спасибо за совет
СХ
Нет. Своё решение.
Только сделайте хотяб 10 subvol
AS
Зачем? Почему именно 10?
СХ
Ну я ограничивал не более 250к файлов на subvol, если по ним часто читать
VK
Если базы хоть чуть-чуть пересекаются, то я бы посмотрел в сторону zfs
СХ
Гемора больше
VK
зато гораздо больше пруфов, что работает. а дедупликация иногда творит чудеса
AS
Если базы хоть чуть-чуть пересекаются, то я бы посмотрел в сторону zfs
Нет, базы сами по себе не пересекаются. Тексты разные. Просто как и любые тексты на естественных языках они отлично жмутся.
AS
В общем, я запустил тестирование btrfs на 100Тб. Посмотрим, что из этого получится. Если всё ок - запустим на петабайте.
Если кому интересно, результаты к октябрю будут, напомните, отпишусь сюда.
Если кому интересно, результаты к октябрю будут, напомните, отпишусь сюда.
ЮВ
В общем, я запустил тестирование btrfs на 100Тб. Посмотрим, что из этого получится. Если всё ок - запустим на петабайте.
Если кому интересно, результаты к октябрю будут, напомните, отпишусь сюда.
Если кому интересно, результаты к октябрю будут, напомните, отпишусь сюда.
а что оно, такое медленное? )
AS
а что оно, такое медленное? )
В смысле, медленное? Пока перепишется, пока проиндексируется, пока нагрузочные тесты пройдут. У нас же не хипстерская контора, нам надо полный цикл проверок сделать.
СХ
В общем, я запустил тестирование btrfs на 100Тб. Посмотрим, что из этого получится. Если всё ок - запустим на петабайте.
Если кому интересно, результаты к октябрю будут, напомните, отпишусь сюда.
Если кому интересно, результаты к октябрю будут, напомните, отпишусь сюда.
С lzo or lz4?