Про открытые данные я могу писать и разговаривать очень и очень долго, впрочем сейчас важны уже не только они, а и то что открывать не следует. Огромные объёмы персональных данных и иной "чувствительной информации" публикуется в открытом доступе.

Всё это последствия того что Роскомнадзор мается ерундой с блокировкой сайтов вместо реального дела, а при открытии различных государственных банков данных ответственные чиновники про приватность как-то забывают. Я ранее выступал с лекцией про "темную сторону открытых данных", а скоро выйдет моя статья в одном из федеральных СМИ на эту тему.

Вообще у меня уже столько фактуры накопилось что захоти я устроить "крестовый поход против открытости" то у меня бы всё получилось. Но, реальная проблема тут не в открытости/закрытости, а в бессистемной госполитике. А сами открытые данные безусловно несут более чем значительные возможности для создания новых бизнесов. Другое дело что те кто такие бизнесы создает вовсе не горит желанием об этом рассказывать.  Но это давняя проблема и её можно было бы давно решить возникни хоть у кого-то помимо меня желание решать.
#opendata #opengov #privacy

(вопросы можно задавать мне на @ibegtin)

-= Открытые образовательные данные =-

Почему в России так плохо с данными о системе образования, средних баллах ЕГЭ по школам, успешности обучения в ВУЗах и другой информации? Ведь, с одной стороны, например данные о госфинансах раскрываются массово, а на то чтобы узнать насколько качественно обучение в школе или в университете приходится приложить немало усилий.

Причины этого многочисленны и я приведу самые основные:
- малая доля среднего класса.

Востребованность госданных и готовность их использовать в том числе готовность платить коммерческим сервисам предоставляющих информацию о качестве жизни - это одна из характеристик именно среднего класса. Да, данные по образованию особенно детей интересны всем категориям граждан, но готовность платить выражают очень немногие. В России сервисы мониторинга качества жизни и сбора гиперлокальных данных до сих пор находятся либо в технологически отсталой нише, либо исключительно хипстерские именно из-за дефицита платежеспособных потребителей.
- низкая мобильность населения.
Помимо того что платежеспособной части населения немного, она еще и маломобильна. Малая мобильность резко снижает востребованность информации. Информацию о качестве образования и вообще качестве жизни в своем городе большинство жителей знают и так
- доминирование государства.
В ситуации когда на _рынке образования_ в России государство являются монополистом единственное что может принудить его к раскрытию информации - это сильный общественный запрос. Но такого запроса нет по первым двум причинам, а самостоятельное раскрытие информации регулирующими органами интересует не столько самих граждан, сколько игроков на административном рынке заинтересованных в перераспределении государственных ресурсов между школами, подрядчиками департаментов образования и так далее.

Следствием этого всего является ситуация когда реальных потребителей для открытых образовательных данных в России крайне немного. Стартапы и сервисы возникающие на их основе пока еще находятся в зачаточном состоянии и не имеют своей сильной ниши и один из главных индикаторов того что резкий прорыв тут маловероятен в том что коммерческие порталы посвященные образованию и гиперлокальные региональные и городские сайты использовали эту информацию в очень ограниченном объёме.

Так есть ли ниша и спрос на продукты на этих данных? Спрос мог бы быть в двух направлениях. В создании систем аналитики для лиц принимающих решения. Это точечный спрос в некоторых регионах и кроме данных по образованию в них надо собирать много больше других данных, не столь доступных и очевидных.

И, конечно, спрос на уровне университетов. Многие ВУЗы давно работают со школами в партнерстве или же размещают рекламу в соц сетях, в контекстной рекламе и не только. Для них знание приоритетов по привлечению студентов - это чистый маркетинг. Подобный сервис и аналитика под их потребности может быть вполне востребовано.

#opendata #opengov

(вопросы можно задавать мне на @ibegtin)

В The New York Times вышла статья о том как должны меняться рейтинги оценки госпиталей и образовательных учреждений и то насколько текущие KPI не соответствуют реальному качеству http://www.nytimes.com/2016/01/17/opinion/sunday/how-measurement-fails-doctors-and-teachers.html А я не могу не отметить что одной из причин/следствий деградации госуправления в России привело появление огромного числа внутригосударственных рейтингов. Рейтинг качества финансового управления, рейтинг открытости, рейтинг выживаемости губернаторов и ещё десятки других. А вся палочная система МВД основана на тех же рейтингах и оценках раскрываемости. Эта вся ситуация сводится к ответу на вопрос - а как же работает продвижение любой темы в России. Вначале регулирование, поручения правительства, потом придумывание какого-нибудь рейтинга, не обязательно совсем официального, он может иметь полуформальный статус, но быть ассоциированным с каким-то публичным лицом. Ну а далее публикация самого рейтинга государственными и окологосударственными структурами. Эти рейтинги подменяют фактическую качественную работу. Например, Минэк придумавший мониторинг сайтов органов власти и дающий такие рейтинги на регулярной основе вместо качественной работы с организациями ответственными за размещение информации, публикуют очередной бесполезный их перечень. Но как можно строить рейтинг на том что должно быть по закону? По хорошему все их требования и оценки - это предмет работы вообще не Минэка, а Генпрокуратуры. И не для рейтинга, а массовых проверок органов власти на соблюдение законов. Но это пока совсем маловероятная перспектива. #opendata #opengov #publicpolicy

Центр науки Великобритании выпустил исследование по использованию distributed ledget (blockchain) в различных отраслях -

само исследование очень по делу и подписано двумя министрами. Фактически они рекомендуют эту технологию как фокус и приоритетную. Очень осмысленный документ, к тому же под  Open Government Licence #opengov #bitcoin #blockchain

-= Об истории темы открытых данных в России =-
В пока еще не записанной в книгах истории появления открытых данных в России я не смогу не расказать о том как я сам этим занялся. К 2011 году я много лет очень плотно занимался темой автоматизации госзакупок и всё более погружался в то насколько криво и косо организована сама система госзаказа в России. Законы противоречащие смыслу, ведомства лоббирующие запредельные права и не только. У меня было имя созданное в этом поприще, запущенные проекты по анализу закупок (аналог нынешнего Госзатраты) и невероятная аллергия на всю эту тему. Помимо политизации и Навального, о котором я ещё отдельно напишу, это выражалось в ощущении что _тут уже ничего поправишь_. И тогда я собственно и использовал те возможности что у меня были чтобы развить открытые данные.

Если поднять мои статьи и публикации 2011-2012 годов то я только и делал что упоминал открытые данные через всё что было возможно. Госзакупки, e-government, госсайты и всё-всё-всё. Вводил термин в оборот и прикладывал массу усилий чтобы его хоть кто-то начал понимать. Поэтому есть ли доля моей вины в том что открытые данные оказались отчасти политизированы? Безусловно есть. Я мог бы делать всё это совершенно иначе, не через политическую повестку, а через Министерство образования, доступность данных научных исследований и формирования общих приниципов управления государственной информацией.

То же что получилось в итоге оказалось удручающим. После того как Россия не вступила в OGP повестка открытости государства резко изменилась, а после Украинского кризиса свелась к отрицательной величине. Россия перестала быть частью G8, международная хартия открытых данных G8 выпала из повестки ну а всё что стало происходить в России в этой теме свелось почти полностью к разным формам административного лоббизма. Где-то с учетом интересов общества, но чаще в банальном закрытии поручений Правительства теми кто за это отвечал.
#opendata #opengov
вопросы можно задавать мне на @ibegtin)

-= Как развивались открытые данные или почему Минэкономразвития стоит остерегаться =-

Любая тема в России связанная с государством развивается в двух стадиях: до того как у неё появляется выгодоприобретатель внутри властной группы и после того как он вырисовывается. В том что касается открытости государства всё было сложнее. Ключевая тема Открытости государств в мире - это именно открытые данные. Вплоть до того что в Канаде это практически синонимы, во многих странах (Ирландия, США, Великобритания и Канада) - это часть политической программы различных партий и  это же ключевая повестка для многих межгосударственных инициатив.

У открытых данных в России на стадии зарождения такого политического интересанта не было.  Когда тема только-только начала созревать после серий публичных выступлений, разработки национальной хартии по открытости, то стало понятно что то что называют «Открытым Правительством» таким интересантом быть не может в виду отсутствия бюджета и полномочий и то что есть два ведомства: Минкомсвязи и Минэкономразвития на стыке полномочий которых открытые данные находились.

Причем первые совещания и мероприятия проходили так что представители Минкомсвязи ратовали за единый портал, а представители Минэкономразвития за то чтобы всё публиковать на официальных сайтах ведомств. Причём со стороны Минэкономразвития это делал никто иной как Алексей Херсонцев, ныне зам председателя Совета по открытым данным. Что немало удивляло, поскольку такие централизованные порталы создавались по всему миру и нормальная практика была когда представители ведомств публиковали данные сразу на портале. Так сейчас работает data.gov (США) и data.gov.uk (Великобритания) и практически все европейские порталы открытых данных.

Причина такой позиции оказалась прозаичной. В то Минэкономразвития инициировало разработку первой версии методрекомендаций по публикации данных, конкурс выиграло НИУ ВШЭ которое привлекло меня помочь в этой работе. Где-то на середине работы сотрудники Минэка стали «вводить» в этот проект представителей одного из их подрядчиков, ЗАО «Госбук». Компанию которая вот уже много лет занималась по их заказу мониторингом госсайтов на предмет соблюдения 8-ФЗ о свободе доступа к информации. Бинго! «Ларчик открылся» очень просто - стало понятно зачем Херсонцев так сильно сопротивлялся единому порталу. Вначале они дождались когда в течении полугода ведомства опубликовали множество наборов данных на своих сайтах, а затем уже написали ТЗ на единый портал в котором ключевая роль отводилась мониторингу официальных сайтах и созданию центрального портала как агрегатора данных. А финальная цель, конечно же, этот конкурс не мог не выиграть ЗАО «Госбук». О том как Госбук выиграл в итоге конкурс Минэкономразвития я писал здесь - http://habrahabr.ru/company/infoculture/blog/198644/

История весьма постыдная тем что ради победы «придворного подрядчика» с самого начала сотрудники Минэкономразвития исказили работу с данными, де-факто отказались от интеграции государственных систем в общую инфраструктуру и навязали всем ведомствам публиковать данные на своих сайтах, резко обременив их тем что у них по факту не были готовы, ни их сайты, ни персонал.

Сейчас Алексей Херсонцев является заместителем совета по открытым данным и, как говорят, потенциальным главой Росаккредитации. Уникален ли его случай или другого пути в карьере госслужащего нет? Как знать, вполне возможно мы ещё увидим его Министром какого-нибудь министерства в будущем правительстве.

А вся эта история была одной из причин почему совет по открытым данным не заседал более года. Несколько заседаний состоявших из, фактически, ругани меня и представителей Минэка в лице Херсонцева и его подчиненных делали его работу бессмысленной.

#opendata #opengov
(вопросы можно задавать мне на @ibegtin)

-= ОНФ, депутаты и пиар губернаторов =-

Свежая новость об уголовной ответственности за самопиар губернаторов http://lenta.ru/news/2016/01/21/turma_gubernator/
Почему ОНФ и депутаты так сильно хотят прижать губернаторов и запретить им «пиариться»  за госсчет?

Причина проста, процесс монополизации ресурсов на федеральном уровне. В данном конкретном случае - это медийные ресурсы и их концентрация в АП. Фактически, губернаторы «пиариться» не прекратят, но теперь те из них кто будет делать это не по правилам, окажутся в зоне риска. В чём причина такого ужесточения контроля? Вот это я не берусь судить. Но могу сказать точно что расходы властей субъектов федерации, за исключением мэрии Москвы, не сравнимы с федеральной поддержкой СМИ ни коим образом.

Федеральная власть через субсидии, распределение частот, лицензии и тд и тп контролирует большую часть СМИ. Но контроль «анти-оппозиционный» не подходит для противодействия пиару губернаторов.

Самое главное не путать эту тему с противодействием коррупцией в госзакупках. Это перестройка адм рынка и централизация ресурсов, не более того.
#opengov #procurement #media
(вопросы можно задавать мне на @ibegtin)

-= Программа стартапов Open Data Institute =-

Какие-то свои активности я не афиширую слишком публично. например, вот уже какое-то время я являюсь ментором программы стартапов в ODI и участвую в их оценке. Это волонтерская работа позволяющая узнать главное - кто и как в мире зарабатывает и хочет зарабатывать именно на открытых данных. Из 28 стартапов 14 происходят из UK и остальные из еще 7 стран европы - Франция, Греция, Германия и другие. Безусловно это не дает полной картины рынка повторного использования информации, но определенную картину точно дает. Например то что в приоритете - это качество жизни, повышение эффективности госорганов, цены/закупки и экомониторинг

#opengov #opendata #ODI
(вопросы можно задавать мне на @ibegtin)

-= Открытое правительство =-
Этот текст был написал в рамках большого исследования, но из него потом был сознательно удален дабы не смешивать политику и предметную работу.
---
С самого начала своего создания Открытое правительство в Российской Федерации являлось (и является) политической конструкцией, выполняющей координирующие и медийные функции в действующей системе госуправления на федеральном уровне. Публично эти функции были обозначены как механизмы коммуникации с гражданским обществом[1].

Эта функциональная роль изначально предопределила всю последующую деятельность Открытого правительства и его медийную роль в поддержании политической репутации действующего кабинета министров.
Эта роль позволила значительно продвинуть вперед тему открытых данных и обеспечила высокий уровень открытости во многих областях, таких как открытость данных о проверках бизнеса контрольно-надзорными органами, государственных и муниципальных финансах и многих других данных.

В то же время, если в других странах где тема открытости деятельности государства также была вынесена на публичную повестку, её акценты были сфокусированы на вопросах свободы доступа к информации и открытых данных, то российская модель открытости приобрела многочисленные расфокусирующие атрибуты, и тема открытых данных оказалось представленной наряду с темами, не относящимся к открытости государтсвенного управления – такими, как: регулирование госкорпораций, реформа госзакупок, общественные советы и многое другое.

Подобные направления, несомненно, важны и актуальны в вопросах реформирования системы государственного управления в России. Однако, как показывает международный опыт, тему открытых данных лучше развивать как особое специализированное направление.
Например, инициатива Open Government в Канаде полностью сфокусирована на теме открытых данных[2], а развитие темы Open Government в Великобритании происходит, в первую очередь, по инициативе коалиции НКО в рамках UK Open Government Civil Society Network[3] и также сфокусировано на открытых данных.

На сегодняшний день необходимо констатировать, что сформировалась ситуация, когда Россия не вступила в Open Government Partnership, де-факто не следует Хартии открытых данных G8 и не прилагает усилий к участию в международной Хартии открытых данных.
Результатом этого является обособленное состояние инициатив по открытости государcтва в России в сравнении с наиболее развитыми странами мира и искажение этих инициатив именно по причине их изолированности.

[1] Заседание рабочей группы по формированию системы «Открытое правительство» 17 апреля 2012 года http://kremlin.ru/events/president/news/15057
[2] Open Government initiative Canada http://open.canada.ca/en
[3] The UK Open Government Civil Society Network http://www.opengovernment.org.uk/


#opengov #opendata
(вопросы можно задавать мне на @ibegtin)

На встречах по открытых данных меня участники очень часто спрашивают о том почему вообще наши Российские чиновники открывают хоть что-то. Я писал об этом на русском языка, а последняя статья была на английском для digital russia http://article.digital-russia.com/open-data/ о том какую политическую цену мы платим за существующую открытость и что является её настоящим драйвером #opendata #opengov

В США в проекте Open Syllabus (открытые учебные планы) энтузиасты собрали около 1 миллиона учебных планов университетов и колледжей http://opensyllabusproject.org/ #opendata #opengov #openedu #openscience

Open Data Challenge series ( http://opendatachallenges.org/ ) - это серия конкурсов по открытым данным которые проводят The ODI и NESTA в Великобритании. 7 проведённых тематических конкурсов и оценка их экономического эффекта. #opendata

В файле результаты оценки эффективности программы соревнований по открытым данным. Оценку проводило британское подразделение PwC и оно включает множество цифр по итоговому влиянию конкурсов на развитие "creative business" и открытых данных в Великобритании

Например, особенно интересно что максимальные результаты ожидаются от Food Challenge и именно эта тема может быть наиболее востребована конечными потребителями сервисов стартапов #opendata

OD Impact ( http://odimpact.org/ ) - совместный проект The Gov Lab Бет Новак и Omidyar Network по систематизации примеров того как проекты на открытых данных влияют на нашу жизнь. Множество примеров, особенно в развивающихся странах #opendata #opengov

-= Вопросы госзакупок/госрасходов которые не всплывают в публичном пространстве =-

Во всех темах касающихся денег и их распределение ключевым является не то о чём все говорят, а то о чём все отмалчиваются, не хотят вспоминать или уже считают частью «правил игры» и даже не замечают. Я приведу лишь несколько примеров подобного:

- Полное отсутствие учёта и анализа трудозатрат госслужащих.

Это те самые транзакционные издержки создаваемые любым новым нормативным регулированием будь то закон о госзакупках, закон о госслужбе, постановление о нормировании или об учёте информационных систем. Нигде, ни в одном законе анализа трудозатрат не проводится, как следствие учителя, врачи, участковые завалены адским количеством ручной работы по составлению отчетности. К примеру в США одним из важнейших доводов к публикации открытых данных было то что они с самого начала ввели учет трудозатрат чиновников отвечающих на запросы на получение информации (FOI) и именно экономия этих трудозатрат и являлась одним из доводов почему проще выложить всю базу чем отвечать на сотни запросов в месяц.
В случае госпроектов трудозатраты госслужащих на процедуры - это лишь часть транзакционных расходов. Туда же можно добавить стоимость простоя при строительстве, финансовые издержки при рассинхронизации поставок и многое другое.

- Отсутствие ответственности за подлог в заявках участниках

В большинстве исследовательских и не только научно-исследовательских работ блоком выбора подрядчика является квалификация. При этом контракты зачастую выигрывают организации не имевшие и не имеющие опыта, а по качеству итогового результата можно убедится что качество работы крайне низкое. До сих пор нет практики проверки достоверности заявок участников на то что в исполнении контракта участвуют именно те сотрудники кто заявлен от организации, нет даже практики проверки вообще числятся ли они в ней. И это вопрос работы аудиторов, для того чтобы такая практика была нужны требования по хранению всей рабочей переписки в рамках госоргана и в рамках исполнителя контракта. По аналогии с законом Сарбейнза — Оксли в США.

- Конкурсная комиссия из статистов

Случаи когда конкурсные комиссии голосуют не единогласно - это один на сотню тысяч. Они крайне редки и большинство из комиссий - это бессмысленное времяпрепровождение и потеря трудовых часов их участников, это к вопросу о трудозатратах. Плюс это коллективизация безответственности, размывание принятия решения руководителем которые всегда на комиссию может сослаться.

#procurement

Сегодня после лекции будущим журналистам НИУ ВШЭ по курсу журналистика данных, я собрался и написал awesome data journalism list на github'е  https://github.com/infoculture/awesome-datajournalism по аналогии с awesome python и awesome data science. Но что характерно то как мало в России понимают тему журналистики данных сами журналисты. Много проектов было сделано в этом направлении, но только немногие явным образом самоидентифицируют себя с этим направлением. Ну и совсем единицы участвуют в международных инициативах #opendata #datajournalism