Телеграмм чат группы dba_ru страница 5503

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

DBA - русскоговорящее сообщество

2756 membersпожаловаться на группу

2021 January 17

D

Denis in DBA - русскоговорящее сообщество

и что

Что и что. Мне колскан по 2 лямам документов делать? Если так флаги соберут что нужные всего 5 документов в конце. Результат человек не дождется

источник

00:24пожаловаться #1

IZ

Ilia Zviagin in DBA - русскоговорящее сообщество

Ну вообще я просто от других людей слышал

У него каждый индекс по каждому запросу отдает совпадение в формате битсета. Внутри lucene все документы хранятся под порядковым номером, поэтому идентификатор документа = его позиция. При нескольких запросах достаточно найти пересечения битсетов, затем вытащить нужные документы. Ну, во всяком случае мне так другие люди рассказывали, я один раз попробовал залезть в lucene и больше не хочу.

На сколько я помню, там не так, нет там никаких порядковые номеров

источник

00:24пожаловаться #2

IZ

Ilia Zviagin in DBA - русскоговорящее сообщество

В том, что у него индексы пересекающиеся. Насколько я помню, монга выбирает в таком случае индекс смотря на worksPlan, и весьма вероятно, он сталкивается с тем, что у него монга выбирает совсем не тот индекс, который он ожидает

Пересекающиеся - это как?

источник

00:25пожаловаться #3

E

Etki in DBA - русскоговорящее сообщество

В эластике нет,а в lucene да. Винить прошу других людей.

источник

00:25пожаловаться #4

SC

Serega Carbon in DBA - русскоговорящее сообщество

Пересекающиеся - это как?

мб индекс на индексе ) типа как btree над gin

источник

00:26пожаловаться #5

c

critskiy in DBA - русскоговорящее сообщество

мб индекс на индексе ) типа как btree над gin

Угу, like that.

источник

00:26пожаловаться #6

D

Denis in DBA - русскоговорящее сообщество

Ну, так проблема в чем?
Монга в индексы не умеет?

Я еще в первом сообщении написал, что решение на монге есть, compund индекс на все комбинации полей из формы (все но без учета порядка). Но только такой сет индексов будет весить раз в 10 больше данных

источник

00:26пожаловаться #7

SC

Serega Carbon in DBA - русскоговорящее сообщество

я не вижу смысла ставить индексы на поля с флагами

источник

00:27пожаловаться #8

SC

Serega Carbon in DBA - русскоговорящее сообщество

не сортировать же по ним и не производить полнотекстовый поиск)

источник

00:27пожаловаться #9

c

critskiy in DBA - русскоговорящее сообщество

Я еще в первом сообщении написал, что решение на монге есть, compund индекс на все комбинации полей из формы (все но без учета порядка). Но только такой сет индексов будет весить раз в 10 больше данных

з о ч е м. Вы на каждую аггрегацию потом вешать будете индекс в монге каждый раз, когда новое поле будете туда добавлять?

источник

00:27пожаловаться #10

D

Denis in DBA - русскоговорящее сообщество

я не вижу смысла ставить индексы на поля с флагами

Ну понимаешь что есть такая комбинация флагов по которой 2 документа из 2 млн. Смотри скрин если позже подключился

источник

00:28пожаловаться #11

SC

Serega Carbon in DBA - русскоговорящее сообщество

Что и что. Мне колскан по 2 лямам документов делать? Если так флаги соберут что нужные всего 5 документов в конце. Результат человек не дождется

я прогонял 40 лямов фильтруя по флагам с btree индексом на одной из сортирующих колонок, всё отработало за 50мс на жестком диске у меня в ноуте, хотя может кэш был прогрет, но не суть)

источник

00:28пожаловаться #12

D

Denis in DBA - русскоговорящее сообщество

з о ч е м. Вы на каждую аггрегацию потом вешать будете индекс в монге каждый раз, когда новое поле будете туда добавлять?

Другое решение подскажешь? Об
Об этом беседу и ведем

источник

00:29пожаловаться #13

c

critskiy in DBA - русскоговорящее сообщество

Другое решение подскажешь? Об
Об этом беседу и ведем

Да. Или переезжай на другое решение, или переделывай схему хранения в монге. Там прям в документации есть целый раздел по моделированию данных :)

источник

00:30пожаловаться #14

c

critskiy in DBA - русскоговорящее сообщество

Все просто :)

источник

00:30пожаловаться #15

IZ

Ilia Zviagin in DBA - русскоговорящее сообщество

Я еще в первом сообщении написал, что решение на монге есть, compund индекс на все комбинации полей из формы (все но без учета порядка). Но только такой сет индексов будет весить раз в 10 больше данных

Ну так а что ж ты хочешь?
Перфоманс стоит денег...

источник

00:31пожаловаться #16

D

Denis in DBA - русскоговорящее сообщество

я прогонял 40 лямов фильтруя по флагам с btree индексом на одной из сортирующих колонок, всё отработало за 50мс на жестком диске у меня в ноуте, хотя может кэш был прогрет, но не суть)

Омг. Разговор о том что есть пул флагов, заранее неизвестно какие из них выберет юзер на фронте
Это все меняет

источник

00:31пожаловаться #17

SC

Serega Carbon in DBA - русскоговорящее сообщество

Омг. Разговор о том что есть пул флагов, заранее неизвестно какие из них выберет юзер на фронте
Это все меняет

неизвестное КОЛИЧЕСТВО флагов или что?

источник

00:31пожаловаться #18

D

Denis in DBA - русскоговорящее сообщество

Да. Или переезжай на другое решение, или переделывай схему хранения в монге. Там прям в документации есть целый раздел по моделированию данных :)

Че за флуд, говори конкретно. Готов поспорить я монгу знаю сильно лучше тебя. И с моделированием у меня в все в порядке там

источник

00:32пожаловаться #19

IZ

Ilia Zviagin in DBA - русскоговорящее сообщество

Да. Или переезжай на другое решение, или переделывай схему хранения в монге. Там прям в документации есть целый раздел по моделированию данных :)

Так а какое ещё решение может быть кроме индексов?
Никакого и нет

источник

00:33пожаловаться #20