V
Обычно на таких сайтах выдача идёт через JavaScript или фрэймворки. Из того что я нашёл проще всего парсить selenium с нажатием на соответствующие кнопки и т.д.
Спасибо, а beautiful soup наверняка не подойдет?
Size: a a a
2019 November 03
MY
MY
получается не "РЕСП. ТАТАРСТАН" > "ТАТАРСТАН", а " ТАТАРСТАН"
Смотря как идти, если через сплит по пробелу, то все ок. Кроме того всегда есть lstrip
P
окей, спасибо
P
я сначала реплейснул
P
потом стрипнул пробелы
MY
потом стрипнул пробелы
Помни, что порядок слов важен, иначе unique не сработает, а он там пляшет
2019 November 04
А
Добрый день. Есть у меня такая категория данных с названиями регионов. Проблема в том, что в ней огромное количество синонимичных значений, таких как "РЕСП. БАШКОРТОСТАН", "БАШКОРТОСТАН", "РЕСПУБЛИКА БАШКОРТОСТАН" и т.д. Можете посоветовать способ, как их можно было бы сгруппировать в более крупные?
Недавно по работе выполнял похожую задачу, нашёл модуль, который сравнивал два значения между собой и выдавал оценку схожести. Можно взять идеальный список регионов и сравнить с тем, что есть. Название модуля завтра скину, если не забуду
I
Добрый день. Есть у меня такая категория данных с названиями регионов. Проблема в том, что в ней огромное количество синонимичных значений, таких как "РЕСП. БАШКОРТОСТАН", "БАШКОРТОСТАН", "РЕСПУБЛИКА БАШКОРТОСТАН" и т.д. Можете посоветовать способ, как их можно было бы сгруппировать в более крупные?
Можно ещё алгоритмом k-means разбить на k кластеров с k=количество регионов и назначить каждому кластеру имя=название региона))))
MY
всё вышеперечисленное - очень умные варианты, но если есть идеальный список, тогда зачем всё это? он уже есть
P
Недавно по работе выполнял похожую задачу, нашёл модуль, который сравнивал два значения между собой и выдавал оценку схожести. Можно взять идеальный список регионов и сравнить с тем, что есть. Название модуля завтра скину, если не забуду
Не fuzzywuzzy случайно?
P
Можно ещё алгоритмом k-means разбить на k кластеров с k=количество регионов и назначить каждому кластеру имя=название региона))))
Ну это если сильно заморочится) но все равно спс
СМ
Добрый день. Есть у меня такая категория данных с названиями регионов. Проблема в том, что в ней огромное количество синонимичных значений, таких как "РЕСП. БАШКОРТОСТАН", "БАШКОРТОСТАН", "РЕСПУБЛИКА БАШКОРТОСТАН" и т.д. Можете посоветовать способ, как их можно было бы сгруппировать в более крупные?
есть сервис DaData.ru, он чистит и обогащает данные. Работает в том числе с адресами. Есть АПИ. Бесплатное ограничение 10К запросов в сутки.
P
Благодарю
I
На сколько я понял, то ест данные, которые соответствуют какому-то региону. Но при ручном заполнении каждый заполнял как хотел. теперь нужно сгруппировать эти данные в разрезе регионов, а для этого нужно чтобы название региона было одинаково для всех объектов из этого региона.
I
Недавно по работе выполнял похожую задачу, нашёл модуль, который сравнивал два значения между собой и выдавал оценку схожести. Можно взять идеальный список регионов и сравнить с тем, что есть. Название модуля завтра скину, если не забуду
Кажется мне что это обычное косинусное расстояние)))
VN
Кажется мне что это обычное косинусное расстояние)))
Или расстояние левенштейна
MY
Или расстояние левенштейна
можно попросить маленький ликбез? как потом с этим расстоянием работать? какое расстояние будет являться точкой отсечения для принятия решения?
I
можно попросить маленький ликбез? как потом с этим расстоянием работать? какое расстояние будет являться точкой отсечения для принятия решения?
Можно пройти итерацию по списку с неопределенными регионами и сравнивать каждое значение со списком регионов. Где минимальное расстояние там и проводить сопоставление.
MY
Можно пройти итерацию по списку с неопределенными регионами и сравнивать каждое значение со списком регионов. Где минимальное расстояние там и проводить сопоставление.
это понятно, вот и хочу попросить помочь определить минимальное расстояние, оно какое? как определить? где-то оно больше, где-то меньше...