Мы тут недостаточно богаты, чтобы не читать условий использования.

На нынешней работе я улучшаю не OSM, а сервис такси, поэтому канал будет не только про открытые карты. За последнюю неделю я многое узнал про PostGIS и QGIS. Отдельные полезные штуки:

* NextGIS QGIS устанавливается гораздо проще и понятнее официального. Но называется отвратительно, в спотлайте не найти. Проще не закрывать после запуска.

* Если вы не добавляли слой PostGIS в QGIS, вы не жили. Зачем вам они вообще тогда?

* Для PostgreSQL есть менеджер плагинов: pip install pgxnclient и затем, например, pgxn install hexgrid. Правда, клиент кривой — возможно, придётся ручками в его файлах заменить python на python3.

* GROUP BY geometry_field — «а что, так можно было»? Вкупе с ST_GridCell из расширения lostgis получается простое разбиение данных на квадратики. А с ST_Hexagon из hexgrid — на красивые шестиугольнички.

* Расширение TimeManager для QGIS помогает не только смотреть точки в треке, но и банально переключать часы или страницы в данных. Хотите посмотреть тепловые карты по дням или видам транспорта? С TM это делается четырьмя кликами.

* Как получить WKT произвольного региона? Нарисуйте его в geojson.io или share.mapbbcode.org, экпортируйте в WKT и откройте в блокноте. А затем скопируйте в редактор SQL: ’SRID=4326;POLYGON(…)’::geometry.

«Из кода Python уберут слова master и slave по соображениям политкорректности» — удивляются Meduza и все технические блоги. Ох уж эти SJW (воины за социальную справедливость, ироничное название), даже сюда пролезли и портят нам обратную совместимость!

Движение за переименование устоявшихся терминов началось не вчера. Многие уже привыкли говорить they вместо he/she, в России учатся словам «авторка» и «психологиня», а в OpenStreetMap пару лет назад предлагали заменить ключ man_made на human_made. Вы можете не соглашаться с этим, но важно понимать причины как переименований, так и собственного их неприятия.

Язык определяет мышление. Если вы с детства слышите «медсестра», «уборщица», «няня» без мужских эквивалентов и «менеджер», «директор», «врач» без женских, то вы натурально будете считать, что это нормально, что мужчины зарабатывают больше женщин — высокие должности сделаны для них. Одним из фронтов борьбы за равноправие является язык. Как в любой борьбе, случаются перегибы. Но если мы хотим поднять репрезентативность женщин в «традиционно мужских» профессиях, придётся принять феминитивы.

Так и с терминами master («хозяин») и slave («раб»). Мы, технари, не ассоциируем их с рабством. Это просто удобно и понятно: master управляет несколькими slave, отсылая им команды и данные. За десятилетия работы нам сложно представить адекватную замену. Да ещё обратная совместимость: у нас эти слова по всему коду и конфигам разбросаны, переписывать задолбаешься.

Но используя эти слова даже из лучших побуждений, вы определяете мышление — своё и других, тех, кто только знакомится с отраслью и тех, кто рутинно читает ваши код и конфиги. Вам без разницы выбор слов, а темнокожему парню из Флориды, начинающему свой путь в девопсах, каждое такое слово режет глаз: именно так называли его родителей или прародителей. Я бы хотел привести пример слов, которые вас заденут аналогично, но в истории современных белых мужчин таких слов нет. Нам повезло.

Политкорректность — это синоним вежливости. Понимания больных точек собеседника и добровольного их избегания. Вы не будете в разговоре с полной подругой через слово шутить про вес? Переименовать несколько функций в python и других системах не так сложно — проще, чем людям, кого эти слова задевают, привыкнуть и проглотить свои чувства.

Да, их мало. Да, нам неудобно менять свои привычки. Да, это детский сад. Но ещё это вопрос контроля. Сообщество Python и Django держат язык под контролем, поэтому им несложно заменить термины — и они это сделали, чтобы сделать пользователям комфортнее. Сообщество OpenStreetMap не контролирует свои теги, поэтому никакого human_made мы не увидим. Впрочем, это предложение было действительно дурацким, никто так не говорит даже в Штатах.

Мораль проста: для вас это только слова, но для других они могут быть травматичными. Думайте о других. То есть, будьте элементарно вежливыми.

Киев очень красив, сюда хорошо приехать на недельку - но не жить. Сегодня я на конференции Navimotive буду убеждать людей не пользоваться OpenStreetMap. Айда в паб вечером!

Интересная заметка — краткий список проблем, с которыми столкнулись разработчики разных беспилотных машин при их тестировании.

— Модифицированные дорожные знаки. Систему компьютерного зрения можно обмануть легким изменением объекта. Например, наклеить на знак "Стоп" пару стикеров — и беспилотная машина будет видеть в нём совсем другой знак.

— Снег и дождь вводят сенсоры машины в заблуждение — программа воспринимает их как огромное количество маленьких препятствий.

— Чайки не пугаются электрических автономных машин и спокойно преграждают их путь. Инженеры были вынуждены научить машины медленно надвигаться на чаек, чтобы спугнуть их.

— Специальная звукопоглощающая пена может делать препятствия невидимыми для сенсоров беспилотного авто. И наоборот — недорогой генератор звуковых волн может обмануть машину, создавая видимость препятствия там, где его нет.

—  При движении на малой скорости беспилотные машины не могут отслеживать дорожную разметку. Они пристраиваются за едущей впереди машиной и могут даже по ошибке свернуть за ней с главной дороги.

— При езде по холмистой местности беспилотные машины не могут видеть дорожную разметку впереди и начинают вилять по сторонам в поисках своей полосы.

— Мосты тоже создают проблемы для беспилотных машин. На них часто нет вообще ничего кроме дороги, из-за чего машина не может ориентироваться в пространстве.

— Некоторые беспилотные машины неправильно распознают тени от деревьев и тормозят посреди дороги.

— В Австралии проблемой для тестируемых беспилотных машин стали кенгуру. Система машинного зрения принимает дорогу за базовый уровень, поэтому когда кенгуру находится в воздухе, система считает, что он находится далеко, а когда приземляется, оказывается, что он близко. Кроме того, кенгуру сидя, стоя и в полёте выглядят по-разному, и это вносит дополнительную путаницу.

Восстание машин отменяется: оказалось, что нельзя научить компьютер водить машину, просто скармливая ему кучу данных о том, как это делают люди.

Специально приеду из Минска, чтобы посмотреть, как нынче живёт «Урбика», и похвастаться своей жизнью за эээ границей!

Дождались! Следующая встреча всего через две с половиной недели. В новом просторном офисе, с новыми интересными докладами. Шлите свои темы и регистрируйтесь: http://schemo.ru

Заметка в блоге «народных карт» про автоматический импорт данных из справочника меня зацепила: ведь больше года я занимался подобными импортами в OSM и собрал все шишки, что были в этом лесу. Начал писать сюда отклик и понял, что не только хочется многое объяснить, но и недавние новости про новые редакторы и базы тоже липнут к этой теме. Поэтому вот первая половина рассказа, почему OSM — не справочник и что с этим делать:

http://shtosm.ru/all/agentam-spravochnika-vhod-vospreschyon/

Кристоф Хорманн, мой любимый блогер в осме, продолжает осмыслять, что не так с развитием OpenStreetMap. Он замечает, что сила проекта не в количестве и качестве данных и не в открытой лицензии, но в том, что проект смог прожить 14 лет без существенной перестройки своих принципов, модели данных. Другим крупным картографическим проектам приходится всё перелопачивать раз в несколько лет.

Вместе с тем, необычность модели OSM вкупе с экосистемой открытого кода долгие годы обеспечивала поток инноваций в картографических инструментах. Ну вы помните: mapnik, cartocss, osrm, postgis, векторные тайлы. Но теперь другие поставщики данных более-менее догнали и воспользовались этими инновациями, поэтому OSM от них стал отличаться только геоданными — но не технологиями. И многих участников проекта это корёжит, они начинают писать статьи про неизбежный провал проекта, если мы не улучшим модель данных и инструменты.

Но главный риск, как пишет Кристоф, в реакции сообщества на утрату лидерства в технологиях, а не в самих технологиях или данных. Сообщество либо пытается изменить подход к картированию, когда все данные проверены глазами, поворачиваясь к ботоправкам, импортам, машинному обучению. Либо делает вид, что OSM лучше всех, а вся другая картография всё равно умрёт и поэтому неактуальна.

Оба подхода опасны. OpenStreetMap останется успешным в будущие десятилетия только если мы не будем делать резких движений и продолжим рисовать тёплую ламповую карту, где за каждый домик и тропинку отвечают живые люди.

http://blog.imagico.de/openstreetmap-challenges-of-a-changing-world/

(Не скажу, что согласен с выводом, потому что он выглядит парафразом второй реакции)

В голове вертится мысль, которая тематически связана с нынешними постами в блог, но в текст никак не впихнуть. Насчёт справочника, импортов и плотности данных.

Удивительно, что картографов возмущает массовый импорт официальных данных магазинов или иных заведений, но при этом они хвалят человека, собравшего все магазины в каком-нибудь большом торговом центре. Особенно если со схемой навигации внутри помещения.

То есть, ладно, мнения насчёт импортов расходятся. Но я ни разу не видел, чтобы человека, который обошёл и закартировал ТЦ, недоумённо спросили: «нахрена ты это сделала?» Рисователей поребриков и слишком детальных парков спрашивают, а авторов POI — нет.

Если подумать, в первом случае мы получаем не просто полноту в каком-то слое, но и регулярные обновления. А во втором — единоразовый дамп, который устареет уже через неделю, и который почти невозможно актуализировать. Лёгкие для редактирования и обновляемые данные против мешанины в отдельном куске карты, куда больше никто не сунется.

Почему такое нелогичное отношение картографов к этим двум случаям? Кажется, это из-за возведения принципа самостоятельного картографирования в абсолют. Не важна карта, важен процесс. Если прошла и собрала данные сама — то молодец, прониклась духом старой школы. А импорт — это когда в наш уютный проект суётся бездушная капиталистическая машина. Не важно, что там внутри тоже живые люди. Им платят, а значит, есть какой-то скрытый корыстный мотив. В OSM нельзя иметь мотива.

Октябрь получается очень насыщенным на картографические мероприятия в Москве, решил собрать небольшой дайджест:

19 октября, пройдёт встреча любителей открытой картографии «Схемотехника-18» — серия докладов и обсуждения:
https://www.facebook.com/events/461466521007453/

20–21 октября, NASA проводит по всему миру Space Apps Challenge Hackathon, в Мскве мероприятие проводит сообщество Russian Hackers. Организаторы приглашают «...разработчиков, дизайнеров, специалистов других областей и просто всех, кто хочет попробовать себя в разработке продуктов, которые могут сделать этот мир лучше.»
Регистрация и детали:
https://2018.spaceappschallenge.org/locations/moscow

и в эти же дни 20–21 октября на площадке МИИГАиК, в честь 10-летия Росреестра, пройдет хакатон по ГИС, картографии и геоинформатике РЕЕСТР-Hack.
Детали и регистрация:
http://hack.miigaik.ru/

23–25 октября пройдёт 24-я конференция Esri в России и странах СНГ от EsriCIS.
24-я конференция Esri в России и странах СНГ  

и в конце месяца: 27–28 октября, интенсив «Масштаб» — двухдневный курс по визуализации данных и работе с картами, который мы проводим в Урбике. Сейчас довольно бодро идёт набор группы:
http://scale.urbica.co/

Не хватает двух событий. В Санкт-Петербурге прямо завтра, 13 октября, в Институте наук о Земле на 10-й линии острова пройдёт семинар о цифровых геотехнологиях. Доклады, дискуссии, мастер-классы, бесплатный вход, начало в 11:00. Больше информации и программа дня — в соседнем канале.

И в Минске 31 октября пройдёт десятая встреча byGIS, аналог «схемотехники» с местным колоритом. Странным образом у проекта нет официального сайта, но вы всё равно приходите в EventSpace к 19:00. Открыт приём заявок на доклады.

А вот и длинное чтение на выходные: вторая часть рассказа про то, как нам сделать из OpenStreetMap адекватный справочник, и всё остальное тоже вытянуть в 2018 год из 2008.

http://shtosm.ru/all/skovannye-odnim-sloem/

Сегодня прочитал небольшую заметку в New York Times про хобби. Тим Ву удивляется, что многие признаются ему в отсутствии увлечений, хобби. Он считает, что это отчасти от того, что общество предъявляет завышенные требования к хобби: если ты бегаешь — то готовишься к марафону, не иначе. Рисуешь — наполняешь портфолио для галереи. Ты должен быть лучшим во всём, что ты делаешь, особенно в том, что делаешь для себя. Иначе это же пустая трата времени!

https://www.nytimes.com/2018/09/29/opinion/sunday/in-praise-of-mediocrity.html

Просто рисовать OSM недостаточно: вот вам рейтинги, ваше место — в первой тройке по вашему региону и в сотне по стране. Иначе вы — случайный человек в проекте, гость, а не хозяин.

Через пять лет активному осмеру странно всё ещё рисовать карту — писал я не раз в штосме. Нет, вы должны участвовать в жизни сообщества, писать вики, выступать на конференциях, завести блог. Учить новичков.

Где грань, отделяющая хобби от второй работы? Она в основной заповеди для картографов: получайте удовольствие. Если не получаете — попробуйте подойти к OpenStreetMap с другой стороны. Или сделать перерыв. У нас нет KPI, нет цели: только удовлетворение от упорядочивания мира вокруг.

Вот только эту заповедь больше не найти в вики и на сайте. Сейчас искал — а она пропала. «Хорошо ли ваш район выглядит на карте?» — пассивно-агрессивно спрашивает страница «о проекте». Да и мне самому сложно смириться, что почти все предпочитают сделать пару правок и уйти заниматься своими делами, а не погрузиться в проект с головой, как я. Очень сложно. Давайте лучше на баррикады свободной картографии. «Лучшая карта мира» — помните?

Пока в mapsme считают ворота по маршруту и учитывают access=destination, в народных картах Яндекса следуют замечательному пункту правил 3.3.1.7.1: «ограничение на выезд с территории отделенной КПП не ставится». Очень удобно: не нужно писать специальные правила маршрутизации, всё просто: въехать нельзя, а если уж оказался внутри, то маршруты строятся.

Теперь возьмём СНТ, куда въезд через один шлагбаум, а выезд через другой. Внезапно, если поставить шлагбаум на выезде, то маршруты ломаются! С этим столкнулся один из редакторов, который сначала побился с модераторами и сотрудниками Яндекса, а потом оформил свою фрустрацию в заметку в клубе:

https://yandex.ru/blog/narod-karta/shlagbaumy

Каждый раз, как только редакторы начинают думать, что рисуют карту, правила сервиса дают им по лбу. «Есть на земле — есть на карте» — это принцип немного другого проекта.

name - самый бесполезный ключ в osm. Я бы даже сказал самый вредный. Если уж и писать названия то не в name, а в name_ru/en/fr и прочие теги

Классная заметка Рауля Марина про то, как они в Carto перевели генерацию тайлов MVT с мапника на PostGIS (через ST_AsMVT, разработку которого сами частично спонсировали):

https://carto.com/blog/inside/An-update-on-MVT-encoders/

Она не только про то, что постгис выполняет эту задачу быстрее, чем мапник — кроме кодирования полигонов, которое пока медленнее из-за проверки на валидность. Самое важное в заметке в начале: «пару недель назад мы решили заменить node-mapnik на ST_AsMVT в нашем тайлере». То есть, это production-решение, затрагивающее всех их клиентов. И в Carto довольны переходом.

Кто следит за миром векторных тайлов, знает, что самое сложное в их использовании — настроить нарезку. Потому что для этого нужно собирать mapnik, следить, чтобы его связка с nodejs не порвалась, терпеть его размер и скорость, и ради чего — преобразовывать один векторный формат в другой? Потому что рендеринг давно происходит в браузере.

Мапник не нужен. Так получилось, что очень должно системы доставки тайлов были заточены под мапник — наследие времён, когда мы делали растровые тайлы. Но теперь всё. Мапник остался уделом тех, кто сидит на стеке рендеринга десятилетней давности, типа осмеров. Современная цепочка: база данных → тайлер → nginx → клиент.

Чего тут не хватает? Картографии. Получается, что сервер выдаёт не кусочки карт (тайлы), а просто наборы независимых векторных данных. Точки и линии с атрибутами. Каждый слой самостоятелен и может использоваться в отрыве от остальных. А браузер их раскрашивает в соответствии со стилем. Где тут картография? Цвета и шрифты — это лишь дизайн.

Важна также взаимосвязь объектов: даже просто чтобы расставить подписи, нужно выделять важные и не важные объекты и правильно определять позиции подписей. Сейчас это делается костылём в специальном слое MVT. Достаточно сложный стиль почти невозможно переделать в векторные тайлы, потому что вот эту взаимосвязь — не только подписей — очень сложно представить, и количество слоёв, в итоге, будет чрезмерным. Достаточно заглянуть в исходники osm-carto, чтобы понять, что картография — это сложно.

И это мы ещё не вспоминаем, что сам формат CartoCSS (и все остальные популярные) плохо пригоден для хороших карт: всю важную работу в превращении раскрашенных точек и линий в нормальную карту делают сложные эвристические алгоритмы и живые люди, тупо двигая объекты туда-сюда.

13 ноября 2008 года, 10 лет назад,  карты Яндекса стали доступными всем веб-разрботчикам. Так появилось API Яндекс.Карт. Мало кто знал из нас тогда к чему это всё приведёт (привело к тому, что JS API Яндекс.Карт используют 670 тысяч. сайтов, карта показывается пользователям 41 миллион раз в день), но уже тогда казалось, что публикуя технологии наружу, мы в целом улучшим-прокачаем картографический рынок в рунете. Сложно даже вспомнить как только Яндекс.Карты не использовали для различных сайтов и проектов.

Поздравляю всех ребят в команде API Карт и разработчиков, которые используют Карты Яндекса, вы большие молодцы! 👏👏👏

Памятная запись в блоге с анонсом:
https://yandex.ru/blog/company/14167

(стоит ли напоминать, что у openstreetmap такого api нет до сих пор, и даже бесплатных надёжных сторонних решений без гуглоподобных ограничений вы не найдёте)

Очень не хочется превращать ещё и телеграм-канал в вестник НЯК, но в их клубе опубликовали такую прекрасную историю человека, который ушёл к яндексу от OSM, что нельзя не проанализировать.

https://yandex.ru/blog/narod-karta/istoriya-esche-odnogo-kartografa

Из неё мы узнаём, что:

* «Большая часть моей работы связана с сервисами яндекса» — главная причина ухода. Спорить с этим — значит, требовать что-то от компании.
* Человек буквально с нуля отрисовал Китай, но пришёл сотрудник яндекса и прогнал его оттуда в Россию! Разбирательств не было, ничего.
* Сдвиг снимков — катастрофа планетарного масштаба для картографов. В России сдвиг чинят, в других странах терпите.

Ближе к началу ещё интересное отличие закрытого проекта от открытого OSM: на встречах НЯК «сотрудники выступают в роли психологов, а картографы пациенты, рассказывающие за всю боль». Это ощущение удивительно совпало с тем, что я увидел в комментариях ко вчерашней хабростатье про суржи в яндекс-такси. Если обобщить, то недостаток власти в проекте компенсируется заботой. Пару лет назад яндекс вырастил в НЯК много коммьюнити-менеджеров, которые почти свели на нет претензии к технологиям через психологию. И это работает!

Обратный пример — Google Map Maker, который пришлось закрыть, потому что вместо заботы участники сталкивались с невежеством индийских модераторов. Или Here Map Creator, где вообще не знают, что делать с сообществом. Участники викимапии, наверное, испытывают жуткую фрустрацию, когда в собеседниках — только белая безразличная стена, по углам покрытая рекламой. В краудсорсинговых проектах рулит забота. Яндекс это понял, поэтому на сообщество НЯК сейчас приятно посмотреть. Ну, если не вчитываться между строк.

На фоне всех упомянутых сервисов, дискуссии в каналах OpenStreetMap — верх здравомыслия и продуктивности, конечно. Какие-то классификации, конвертеры, инструменты обсуждают, везде что-то происходит, люди чувствуют, что всё зависит от них. Не хватает только психологии: позитивного отклика всё так же мало, с одной стороны, и адекватной критики вообще почти нет, если с другой.