Посоветуйте какие есть подходы к сравниванию 2х адресов на похожесть. Кроме SequenceMatcher и Levenshtein distance. Хочется именно алгоритм для адресов т.е чтобы алгоритм знал, что он именно адреса сравнивает, а не просто строки.  Аккуратности указанных 2х не достаточно для нас.

dadata

+

Спасибо. если правильно понял, то это сервис такой. Мне нужен скорее алгоритм.

Ner+ любой vector distance

Была такая поделка lib address

Ну сходство жаро винклера ещё есть

Такая ещё

Спасибо. выглядит интересно.

работает хуево

Доброго дня и вечера. При попытке вывода списка партиций в delta таблице через SHOW PARTITIONS идет ошибка org.apache.spark.sql.AnalysisException: SHOW PARTITIONS cannot run for a table which does not support partitioning;
ShowPartitions. Нагуглил что для V2 таблиц лучше использовать listPartitionsByNames() метод. Но что-то нигде не могу найти пример с этим методом. Кто-то сталкивался с такой ситуацией? Как вы решили?

А парсил ли кто-нибудь аутпут спарковского explain?

Может попадались либы

Знаю что хочу странного

Если не ошибаюсь, то план запроса окончательный каталистом формируется, мб его попарсить.

антересно, чтобы подсмотреть чё он делает, или зачем?

Лайнедж, наверное

Ну вот у меня есть только логи, в виде текста. Там есть SQL для него я парсер уже нагавнякал. А вот от спарка хранятся только вывод explain  думаю как бы его по парсить

У меня триллион команд в огромной организации которые кверят даные я хочу понять какие условия они используют чаще всего