про руосм)

Сегодня вечером начинается вторая по размеру онлайн-конференция про OpenStreetMap. Когда-то на эти дни планировали State of the Map US в Аризоне, но вы сами понимаете. Перенесли на неопределённый срок. А вместо неё сделали короткое, на пару дней, онлайн-мероприятие: Connect 2020.

https://www.openstreetmap.us/connect2020/

Вчера в его рамках был час нетворкинга, а сегодня — день докладов. В 21:00 по Московскому времени выступят лидеры американского сообщества OpenStreetMap, а затем до часу ночи несколько десятков человек будут рассказывать про карту и околокартографические проекты как в США, так и за пределами.

Это, прежде всего, мероприятие для американцев, поэтому фокус на местном сообществе. Иногда может сложиться впечатление, что не для нас. Но говорят там интересные вещи, анонсируют проекты, за которыми вы будете подчищать карту через три года, а люди там просто великолепные. Очень советую — вот я писал про прошлый sotm us, а теперь вам даже не нужно никуда лететь, чтобы испытать это самим.

Завтра будет день групп по интересам, и там тоже классно: вписываетесь в любую тему и начинаете перепалку про тегирование!

Участвовать легко: бесплатно регистрируетесь тут и затем следуйте инструкциям.

Сижу и жду первого доклада на Connect 2020. Обнаруживаю, что ни на сайте, ни в рассылке, ни в слаке нет ссылки на, собственно, просмотр выступлений. Что я мог пропустить?

И тут мой взгляд падает на первую строчку рассылки.

29-31 октября.

Извините, поспешил.

Дорофей пишет: «У всех, кто любит шчучыншчыну, есть уникальная возможность обновить карту Щучина на osm.org. Два года центр не трогали». #шчучыншчына

https://www.openstreetmap.org/#map=14/53.6046/24.7329

Новости адрески: Литва открыла свою базу адресов!

https://www.facebook.com/RegistruCentras/posts/1226573441044853

Петерис Брунс в твитере комментирует, что базу можно найти только в литовском разделе сайта и не очень просто, поэтому делится ссылками на csv и xlsx: https://twitter.com/BrunsPeteris/status/1319291706588626946

«Карты наши были настоящими произведениями искусства. Главные вулканы на них извергали целые потоки огненных струй и искр, заставляя вас опасаться, как бы от этого не вспыхнули бумажные континенты, а самые высокие горные цепи мира сияли такой синевой и белизной ото льда и снега, что, глядя на них, вы невольно начинали ежиться от холода. Наши бурые, прокаленные солнцем пустыни были сплошь покрыты буграми пирамид и верблюжьих горбов, а тропические леса отличались такой густотой, таким буйством, что сквозь них лишь с большим трудом могли продираться неуклюжие ягуары, гибкие змеи и насупленные гориллы. На опушках леса худые туземцы рубили раскрашенные деревья, расчищая полянки, видимо, лишь для того, чтобы на них можно было написать неровными печатными буквами "кофе" или "зерно". Наши широкие, голубые, как незабудки, реки были усеяны лодками и крокодилами. Наши океаны не казались пустынными, так как повсюду, если только там не бушевали свирепые штормы и страшная приливная волна не нависала над одиноким пальмовым островком, бурно кипела жизнь. Добродушные киты позволяли даже самым жалким галеонам, ощетинившимся гарпунами, неотступно преследовать себя; невинные, как младенцы, осьминоги нежно сжимали в своих щупальцах мелкие суда; стаи зубастых акул гнались за китайскими джонками, а закутанные в меха эскимосы пробирались за огромными стадами моржей по ледяным полям, где толпами бродили полярные медведи и пингвины.

Это были карты, живущие своей жизнью, их можно было изучать, обдумывать, кое-что добавлять к ним. Короче говоря, эти карты действительно что-то обозначали».

Кому карты нужны Украины прячте те, что есть. А то новые могут развалиться.
Там начали перемапливать границы всех районов страны.
Адреска и асё такое может пока страдать.

Сейчас выступил Аллан Мастард из Совета со свежими новостями. Они в этом году решили, что осмерские данные нужны слишком дофига кому, и поэтому нужно сфокусироваться на стабилизации платформы. А для этого нужны стратегическое планирование и деньги, много денег.

С деньгами всё хорошо — про это я недавно писал в штосме. Запустили краудфандинг на фоне, только взрослый, когда деньги просят не у обычных людей, а у компаний. И нормально подсобрали, на System Reliability Engineer хватает.

Но ребята в Совете сейчас работают над кучей параллельных задач, и немного подзадолбались. Поэтому у них новая мысль по структуре, за которую мы ещё будем голосовать в декабре: сделать комитеты и распределить между ними задачи. Комитет — это несколько обычных людей и 1-2 члена Совета для руководства.

Это как рабочие группы, только рабочие группы остаются и сохраняют статус добровольцев, а комитеты работают над будущим проекта и управляются Советом.

Мейл продаёт maps.me. В самой новости ничего неожиданного: попытки вписать приложение в экосистему мейла провалились, а прибыльной компания не стала. Хотя 2,45 млн долларов выручки за год — очень хорошо, но меньше, чем рассчитывали. Мейл купил компанию в 2014 году за 12 млн долларов, продал за 20 — кажется, по итогу вышли в ноль.

https://dev.by/news/mapsme-prodaut-pochti-za-20-millionov

Беспокоит тут только одно: покупатель. Daegu Ltd — это корейский банк. Им явно от проекта нужны не карты, а бренд и база пользователей. Которым, по славной традиции вообще всех банков, теперь будут всучивать кредитки.

Что станет с командой и технологиями — непонятно. Едва ли банк будет вкладываться в развитие, или даже в CDN для карт. Многие разработчики давно сбежали в белорусские компании или дальше на запад, так что немала вероятность, что разработка картографической части теперь остановится совсем.

Конечно, я буду рад ошибиться: может, банк купил приложение для головной компании Parity, которая, как замечают в чатике, основана ребятами со славянскими фамилиями и занимается всем понемногу. Тогда команду перевезут в Швейцарию и будут менять плюшки на качественный код. И если очень повезёт, она не будет обрастать фигнёй, медленно превращаясь в супер-апп.

Пока что же maps me — лучшие мобильные карты, работающие без интернета. Вменяемый картостиль, высокая скорость, понятные кнопки. Если закрыть глаза на рассыпанные по интерфейсу попытки заработать, то это вообще идеальные карты, которые не стали хуже с 2014 года.

Если основная ветка засохнет или перейдёт на худшие технологии, всегда есть сборка от F-Droid. А свежие карты с весны собирает Vascom. Как же круто, что в своё время мейл открыл исходные коды приложения! Ничто полезное у maps me не умрёт: кроме карт и кода там, кажется, нужен только сервер с OSRM для подсказки, какие карты нужно скачать для прокладки особо длинного маршрута.

Доротея в рассылке osmf-talk@ напоминает: 12 декабря OSMF проводит ежегодное собрание, на котором снова обновится состав Совета, и до 7 ноября можно выдвинуться в кандидаты.

Прошла неделя с объявления, до дедлайна четыре дня, а в списке ОДИН кандидат. Да и тот — Тобиас, который в Совете уже два года и идёт на перевыборы. Где все? Почему в прошлые годы было по 5-6 новых кандидатов, а теперь пусто?

По-моему, дело в том, что Совет внезапно начал работать. Там ярая движуха: постоянные совещания в закрытом режиме с корпорациями, какие-то решения, резолюции, комитеты, гранты, политика, деньги. Хлопотное дельце! Пойти в Совет — значит обречь себя на несколько часов работы в неделю, сложной и неблагодарной, потому что уже почти никто в сообществе не знает и не понимает, чем Совет занимается.

В основе OpenStreetMap лежит желание починить то, что не работает. Карты отстойны — дорисуем и загрузим в гармин. Классификация неидеальненькая — перессоримся вокруг пропозалов. Когда же система не мешает — то и пусть работает. Во теперь у нас внезапно Совет перестал быть бесполезным пассивным органом — ну и отлично, продолжайте в том же духе и не мешаете нам нажимать кнопки в josm.

Что из этого получается, я сейчас вижу за окном в прямом эфире.

Для тех кто работает с открытыми данными (и просто с данными) напоминание про инструменты полезные для сбора и извлечения данных из самых разнообразных источников

- Tabula [1] инструмент с открытым кодом для извлечения таблиц из PDF файлов.
- Scrapy [2] фреймворк сбора данных из веб страниц.
- Docx2csv [3] утилита и библиотека извлечения таблиц из файлов docx
- Lazyscraper [4] утилита для извлечения таблиц и иных объектов из HTML файлов
- APIBackuper [5] утилита выгрузки данных из API, делает резевную копию данных и сохраняет их в формате JSON lines

Большая коллекция инструментов для сбора данных в Awesome Web Scraping [6].

А также существует несколько десятков онлайн сервисов и компаний которые дают возможность наладить сбор данных на их инфраструктуре или собрать данные на заказ.  Это не самая большая, но вполне состоявшаяся индустрий охватывающая от сбора госданных, до сбора информации с сайтов интернет-магазинов и не только.

Лично я могу сказать что собрать или обработать один набор данных не требует много людей или очень много сил. Это можно делать очень быстро и чаще важнее наличие одного понимающего человека раздающего задачи внешней команде или работающего с внешним сервисом.

Лично я много лет, можно сказать, увлекался темой автоматизации извлечения данных. Не просто собрать и извлечь, а сделать это самым ленивым способом, без перетаскиваний и GUI, и без программирования непосредственно сбора данных. Утилиты вроде APIBackuper или Lazyscraper - это плод моих экспериментов.

Я как-то очень давно писал что много лет назад я "убил много времени" на задачи автоматизации сбора данных. Идея фикс была в том что большая часть разработчиков веб-сайтов думают шаблонами, разрабатывают фреймворки по шаблонам и шаблонами же делают сайты. Есть ограниченно число паттернов по описания объекта, описания коллекции объектов, способов их отображения и так далее, основные отличия скорее языковые, чем какие-либо иные.

Впрочем и имеющиеся инструменты сильно облегчают жизнь тем кто собирает данные.

Ссылки:
[1] https://tabula.technology/
[2] https://scrapy.org/
[3] https://github.com/ivbeg/docx2csv
[4] https://github.com/ivbeg/lazyscraper
[5] https://github.com/ruarxive/apibackuper
[6] https://github.com/lorien/awesome-web-scraping

#scraping #data #extraction

Должен сказать, конференция SCGIS невероятно увлекательная. Не унылое чтение докладов, а бурное общение. Я только что впервые с февраля подписался на доклад — расскажу про деревья через часик!

http://scgisrussia.ru/anticonference

И ещё тут Гоша Потапов выступит с темой, почему нашему сообществу даёшь миллионы распознанных домиков, а оно такое «ага, спасибо, ну мы посмотрим как-нибудь» — и уходит дальше картировать свои дворы.

Как можно догадаться из картинки, «Схемотехника» возвращается! Подобно десятку других картографических конференций в этом году, она пройдёт онлайн. То есть, ехать в Москву не нужно!

Держите вторую половину субботы, 28 ноября свободной: мы не только послушаем несколько десятиминутных выступлений, но и поговорим друг с другом. Благодаря компании Greenpeace и её сотрудникам, у нас есть платформа и идеи по её использованию. Готовьтесь увидеться со знакомыми, которых не слышали с прошлого года.

Регистрируйтесь сейчас, чтобы попасть в комнаты для общения, и придумайте, о чём бы хотелось рассказать: https://forms.gle/moGQqiMw2f4k83po6

Официальный сайт: https://schemo.ru/

Спасибо ребятам из Greenpeace за вдохновение! Айда тусить в субботу через две недели!

Лучшие карты — по-прежнему те, что рисуются руками. Медиазона мало того, что понятно объяснила известную каждому минчанину историю, так ещё и продемонстрировала, что тайлы отстой.

https://mediazona.by/article/2020/11/16/bondarenko

Зачем нужны вопросы?

Классические онлайн-конференции (как State of the Map этого года) невероятно скучны. Их запускаешь из вежливости в отдельной вкладке, и пока там бубнят докладчики, отвлекаешься и забываешь. У меня получалось обращать внимание на экран максимум пару часов, и это сложно.

Главная проблема в онлайне та же, что в офлайне: выступающие недостаточно готовятся, отчего вводные слова длятся полдоклада, постоянно какие-то паузы и отступления. Доклад на час можно подготовить за десять минут, доклад на десять минут нужно готовить целый день. Мало у кого есть столько времени. Но доклад на десять минут досмотрят в сто раз больше слушателей.

Поэтому на следующей «Схемотехнике» ограничение на выступление — десять минут. С одной стороны, стимул лучше подготовиться, чтобы пять из них не объяснять, что такое OpenStreetMap, с другой — заранее понятно, что всю тему не расскажешь, и нужно взять пару ярких моментов и нарастить вокруг них всё выступление. Если сомневаетесь, что сможете, — пишите мне, созвонимся и я помогу со сценарием.

А вот другой пережиток офлайна, вопросы после доклада, мы думаем сохранить. Несмотря на то, что Сергей его ругает — за дело, конечно: https://t.me/geokefir/1021. Зачем слушателям ждать, пока докладчик отвечает на неинтересный им вопрос, и поскольку ответ не подготовлен, то ещё и растекается мыслью на пять минут? Да незачем, конечно, я бы убрал вопросы целиком. Так поступают в «коротких докладах» в офлайне, и так было в онлайне Connect 2020, заменившем SotM US.

Но без вопросов очень, слишком часто вызывают чувство: «а мне-то что с этого?» А у докладчика — вопрос, слушали ли его вообще. Вопрос — это проявление заботы и способ отличить тему, которой докладчик живёт, от темы, с которой его просто послали выступать. Второе, конечно, «схемотехнике» ни к чему, но вот о первом стоит подумать. Как вопросами сделать доклад интереснее, а не скучнее?

Возможно, у нас будут два вопроса на заранее определённые темы, над которыми докладчик сможет подумать заранее и не потеть перед зрителями. В то же время зрители смогут писать темы дальнейших обсуждений и вопросы в чатик. Вопросы и темы мы зачитаем и пригласим интересующихся в кулуары послушать ответы. Кулуары — это место, где выступающий не сможет убежать от ваших уже более конкретных вопросов. Ведь общение — это главное, зачем мы вообще ходили на конференции.

Регистрируйтесь на «Схемотехнику 20» по ссылкам из @schemotechnika. Если появятся мысли, как сделать онлайн интереснее, — пишите мне в @ilyazver.

Карты google не очень хорошо справляются с модернизмом

Внезапно, Ричард объявил о начале тестирования Potlatch 3. (Ну как внезапно, неделю назад, но кто читает блоги osm). Он переписывает редактор на Adobe AIR, который работает только в Windows и MacOS. Mmd в комментариях удалось запустить его из-под wine, и он даже помог Ричарду исправить подтормаживания. Кажется, никто с целевыми операционными системами пока не тестирует — это ваш шанс помочь сделать редактор лучше:

https://www.openstreetmap.org/user/Richard/diary/394825

ButtPoems метко про знание технологий и принципов OSM

Олеся пишет про каменную карту в немецком городе и про то, что каждому городу нужна карта красивых достопримечательностей, чтобы туристы знали, куда идти: https://t.me/cartonews/65

В целом — да, туристические карты рулят. Мне нравится рассматривать уникальную картографию каждой, и реклама по периметру рассказывает, что считают важным или премиальным жители города. И ещё я вспоминаю, как туристические карты делали из OpenStreetMap. Повторяя обычные печатные карты, как на стелах московской навигации, или перегружая информацией, как в почившем osm24. Но классические туркарты — это прошлый век.

Современные приложения для туристов строят «персонализированные» маршруты: всё те же 5-10 достопримечательностей, которые обязаны быть на фотографиях каждого выезжающего из страны (на границе проверят, шпиль в том числе), и три ресторана-tourist trap по маршруту. Лишь состав слегка варьируется, чтобы не слишком далеко отходить от гостиницы. Эти карты — для такого же среднестатистического туриста (взрослого белого мужчины ~70 кг, иногда с вариантом для студента), а значит — ни для кого.

Было бы классно иметь карту, которую никакой набор галочек в настройках не сотворит. Адаптивную карту, которые так и не появились. Хочешь заблудиться — вот подходящий район города. Вот крутой подъём и спуск. Смотри, спрятавшаяся между домов речушка. Граффити на трансформаторных подстанциях. Вот так можно обойти все мосты города, а так — все проходные дворы. Вот детские площадки по маршруту, вот пеленальные столики, и туалеты тут и тут. На обед пройдись по этим улицам и выбери, к чему душа лежит. А потом — посиди в этом парке, там фонтан и он вдалеке от туристических маршрутов.

Такие планы пока могут построить только люди: слишком много неизвестных. Но OpenStreetMap тем и хорош, что всё можно нарисовать и пояснить дополнительными тегами. Нынешние алгоритмы полагаются на популярность, а популярность — это верный способ развлечь экстраверта. Тем, кто хочет избежать толпы, приходится перед выходом полчаса колдовать над maps me и overpass turbo, чтобы построить маршрут. Тем, кто ездит с детьми, или у кого менструация, тоже приходится изворачиваться. Технологии им не помогают. Только тем, кто среднестатистический. Даже если таких в жизни — единицы процентов.