В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Clojure — русскоговорящее сообщество

632 membersпожаловаться на группу
2020 July 27

Ц

Цонстантин in Clojure — русскоговорящее сообщество
pedestal + lacinia + re-frame + re-graph - такой стэк у меня
источник
12:55пожаловаться#1

VK

Vadim Komarov in Clojure — русскоговорящее сообщество
Всем привет.
Знакомлюсь с Clojure, и в качестве образовательного проекта запилил конвертер ФИАС в SQLite. Если кто имел дело с выгрузками ФИАСа, может для себя найти такую штуку полезной. Собстно сам линк: https://github.com/obivan/fiaser
Это мой первый проект на Clojure, так что помидорами сильно не кидайтесь
GitHub
obivan/fiaser
Конвертер ФИАС в SQLite. Contribute to obivan/fiaser development by creating an account on GitHub.
источник
14:30пожаловаться#2

SA

Sergey Andronov in Clojure — русскоговорящее сообщество
> Данные ФИАС конвертируются приблизительно за 2 - 2.5 часа

@vykomarov, сколько же там миллионов записей, если конвертируется так долго?
источник
14:35пожаловаться#3

VK

Vadim Komarov in Clojure — русскоговорящее сообщество
Примерно 70 миллионов домов. 5 миллонов адресных объектов (это промежуточные уровни иерархии: улицы, города, поселки итд). Ну и прочего, типа таблицы помещений тоже много.
Сама выгрузка это примерно 67 GB xml-файлов в одну строку. В формате ГАР налоговая её расширила и теперь это примерно 160 GB
источник
14:39пожаловаться#4

SA

Sergey Andronov in Clojure — русскоговорящее сообщество
понятно, большая штука
источник
14:42пожаловаться#5

I

Igor in Clojure — русскоговорящее сообщество
Vadim Komarov
Примерно 70 миллионов домов. 5 миллонов адресных объектов (это промежуточные уровни иерархии: улицы, города, поселки итд). Ну и прочего, типа таблицы помещений тоже много.
Сама выгрузка это примерно 67 GB xml-файлов в одну строку. В формате ГАР налоговая её расширила и теперь это примерно 160 GB
и сколько это в sqlite получается?
источник
14:43пожаловаться#6

VK

Vadim Komarov in Clojure — русскоговорящее сообщество
В сыром виде 39 и 71 GB для форматов ФИАС и ГАР соответственно. Но они хорошо сжиматься должны по-идее
источник
14:44пожаловаться#7

AL

Arseniy Lebedev in Clojure — русскоговорящее сообщество
Vadim Komarov
Всем привет.
Знакомлюсь с Clojure, и в качестве образовательного проекта запилил конвертер ФИАС в SQLite. Если кто имел дело с выгрузками ФИАСа, может для себя найти такую штуку полезной. Собстно сам линк: https://github.com/obivan/fiaser
Это мой первый проект на Clojure, так что помидорами сильно не кидайтесь
GitHub
obivan/fiaser
Конвертер ФИАС в SQLite. Contribute to obivan/fiaser development by creating an account on GitHub.
Вы бы подняли базу где-нибудь с pgadmin'ом и доступом только на read
источник
14:59пожаловаться#8

AL

Arseniy Lebedev in Clojure — русскоговорящее сообщество
Я думаю многие были бы благодарны
источник
14:59пожаловаться#9

AL

Arseniy Lebedev in Clojure — русскоговорящее сообщество
Чтобы можно было через браузер кваерить её
источник
14:59пожаловаться#10

IG

Ivan Grishaev in Clojure — русскоговорящее сообщество
так ее повалили бы сразу
источник
15:00пожаловаться#11

AL

Arseniy Lebedev in Clojure — русскоговорящее сообщество
Ну пусть донатик повесит)
источник
15:00пожаловаться#12

AL

Arseniy Lebedev in Clojure — русскоговорящее сообщество
Алсо не думаю
источник
15:00пожаловаться#13

AL

Arseniy Lebedev in Clojure — русскоговорящее сообщество
SQL это типа высокий порог вхождения
источник
15:00пожаловаться#14

AL

Arseniy Lebedev in Clojure — русскоговорящее сообщество
И rate limit можно добавить
источник
15:00пожаловаться#15

IG

Ivan Grishaev in Clojure — русскоговорящее сообщество
было бы здорово, ели бы можно было качнуть sqlite-файл
источник
15:01пожаловаться#16

AL

Arseniy Lebedev in Clojure — русскоговорящее сообщество
Ну тип там где тебе нужен sqlite файл то там же ты будешь кваерить его)
источник
15:02пожаловаться#17

VK

Vadim Komarov in Clojure — русскоговорящее сообщество
Да, была идея конвретировать и выкладывать дампы публично. Это будет сделано, надеюсь.
Но что касается pgadmin'a, поинт проекта не в этом. Эксплоринг данных ФИАС в текущем виде мало полезен и информативен, т.к. данные низкого качества и имеют запутанную структуру. Цель была для начала просто сделать их пригодыми к обработке
источник
15:03пожаловаться#18

VK

Vadim Komarov in Clojure — русскоговорящее сообщество
Дальше данные уже можно вычищать, трансформировать и скармливать в metabase или в какой-нибудь движок полнотектового поиска
источник
15:04пожаловаться#19

AL

Arseniy Lebedev in Clojure — русскоговорящее сообщество
Vadim Komarov
Дальше данные уже можно вычищать, трансформировать и скармливать в metabase или в какой-нибудь движок полнотектового поиска
Ну или так
источник
15:05пожаловаться#20