О снижении порога технических навыков для получения данных о госконтрактах (расширение для браузера и телеграм-бот).

Данные о госконтрактах официально публикуются на портале zakupki.gov.ru (и на FTP-сервере ЕИС). Но формат, в котором предоставляются данные на FTP-сервере нельзя назвать удобным и оптимальным.

Проект "Госзатраты" (clearspending.ru) предоставляет еще несколько способов получения данных:

1. можно открыть поиск по контрактам на сайте и скачать контракты, попавшие в выборку (но их число ограничено 500 и в файле ограниченное количество полей).

2. программисты могут использовать API проекта, строить любые выборки и получать данные в режиме реального времени, но для этого нужны технические навыки, которых нет у аналитиков или журналистов.

3. можно скачать файлы с данными из раздела "Открытые данные", то они разбиты только по законам (44, 94 и 223) и годам. Полученные файлы очень большие и обычные программы с ними не справляются.

4. исследователи и НКО могут отправить запрос на получение нужной выборки контрактов (при условии упоминания проекта "Госзатраты" в качестве источника данных).

В этом месяце мы запустили еще три сервиса, снижающих порог технических навыков, требующихся для получения нужной выборки контрактов:

1. Телеграм-бот (@csdownloaderbot). Для получения выборки контрактов пользователю теперь нужно заполнить наш шаблон интересующими его параметрами (регион, ФЗ, даты, суммы, ...), отправить этот файл боту и указать почту, на которую ему придут данные (Подробнее: https://clearspending.ru/news/telegram-bot-dlya-polucheniya-dannyh-o-goskontraktah/).

2. Скрипт для выгрузки данных (преимущества и ссылки на документацию опубликованы тут: https://clearspending.ru/news/telegram-bot-dlya-polucheniya-dannyh-o-goskontraktah/).

3. Расширение для браузера. Если пользователь заходит на сайт организации, являющейся госзаказчиком, то при запуске расширения пользователю отобразится окно, содержащее статистику госзаказа для данной организации. В первой версии расширения содержится информация о 110 тыс. сайтов (bit.ly/clearspending_ext)

Вот этот бот (анонс в фэйсбук) [1] мы делали давно и наконец-то сделали к концу года. Он умеет структурировано давать информацию по участию организации в получении госконтрактов и использует только открытое API Госзатрат.

Его можно опробовать по ссылке [2]
А API Госзатрат здесь [3]

В нем немного наших наработок по РобоЖурналистике или РобоАналитике, как не назови. Это самое начальное представление,  того как можно автоматически создавать тексты с описанием, например, организаций. Бот работает очень просто. Ему кидается ИНН и по ИНН он формирует текст рассказывающей о контракт организации. Очень рекомендую тем что ищет ответы на вопросы: "Ты чей?", "Они чьи?", "Она чья?", "А они при ком?" и так далее.

Ссылки:
[1] https://www.facebook.com/clearspending/photos/a.485640574881032/1777006529077757/?type=3&theater
[2] https://t.me/csParticipantStatsBot
[3] https://clearspending.ru/page/for-developers/

#opendata #clearspending #api #bots #telegram

Данные о федеральных субсидиях, их распределителях и получателях теперь доступны в проекте "Госзатраты".

Госзаказ, данные о котором мы предоставляем с момента запуска проекта Госзатраты, - это лишь один из механизмов распределения бюджетных средств. Другим способом являются субсидии, в которых, в отличие от госзакупок, нет конкуренции, а лишь решение органа власти, Правительства или Президента.

Данные о субсидиях публикуются Минфином России и Федеральным Казначейством в виде “Реестра соглашений о предоставлении субсидий федерального бюджета” на Едином портале бюджетной системы. Открытые данные из этого реестра мы сопоставили с Реестром участников и неучастников бюджетного процесса и на их основе разработали базу данных, которая содержит информацию о субсидиях, распределителях субсидий и получателях. Сегодня мы запускаем бета-тестирование раздела “Субсидии” (https://sub.clearspending.ru) на портале проекта “Госзатраты”. Помимо веб-интерфейса, для журналистов, исследователей и программистов доступны обновляемые дампы базы и API.

На сегодняшний день раздел “Субсидии” содержит данные о: 92 961 субсидии из федерального бюджета; 188 распределителях субсидий; 7 511 получателях субсидий.

Общий объем распределенных субсидий - 15,4 триллиона рублей. Часть этих средств может быть перераспределена получателями в форме госзаказа. К тому же субсидии могут быть многолетними, поэтому часть этой суммы получателям может быть еще не выплачена. Например, Мариинскому театру в 2018 году распределили субсидию размером в 12,2 млрд руб., но только 4 млрд должны были быть выплачены в 2018 году (а фактически перечислено всего 2 млрд руб.).

По причине многолетности и их продления, самые ранние субсидии датированы 1991 и 1995 гг, хотя сам реестр публикуется с 2015 года. С учетом этих и других особенностей подготовка аналитики по субсидиям или их интерпретация требует аккуратности.

Всего (на день обновления базы данных) за 2018 год было распределено 16 826 субсидий, из них 1 611 соглашений о субсидиях на сумму 92,67 млрд руб. были заключены в декабре, а треть этой суммы (33 млрд) была распределена за три рабочих дня последней недели года (с 24 по 26 декабря).

С комментариями, сообщениями об ошибках и предложениями пишите на почту op@clearspending.ru.

Все контракты заключены, все федеральные субсидии распределены, можно отвлечься от обновления данных и напомнить об инструментах и материалах, которые мы подготовили в 2018 году:

- данные о федеральных субсидиях, распределителях и получателях теперь доступны для бета-тестирования в разделе "Субсидии" (https://clearspending.ru/news/dannye-o-subsidiyah-iz-federalnogo-byudzheta-i-ih-poluchatelyah-teper-dostupny-v-proekte-goszatraty/);

- телеграм-бот @csParticipantStatsBot - отправьте ИНН организации и получите справку об ее участии в госзаказе (https://clearspending.ru/news/telegram-bot-dlya-polucheniya-statistiki-uchastnika-goszakaza-po-inn/);

- телеграм-бот @csDownloaderBot и скрипт - задайте интересующие вас параметры и получите выгрузку контрактов в машиночитаемом формате (https://clearspending.ru/news/telegram-bot-dlya-polucheniya-dannyh-o-goskontraktah/);

- установите расширение для браузера Google Chrome, заходите на сайт интересующей организации и получайте сводку по ее участию в госзаказе (https://clearspending.ru/news/kak-poluchit-dannye-o-goszakazchikah-v-odin-klik/);

- узнать о том, "Как быстро разбогатеть на госзакупках", можно в русскоязычной версии руководства (https://clearspending.ru/news/russkoyazychnaya-versiya-rukovodstva-kak-bystro-razbogatet-na-goszakupkah/);

- в видеозаписи вебинара можно узнать, как использовать OpenRefine для работы с данными о контрактах и субсидиях (https://clearspending.ru/news/videozapis-vebinara-ob-ispolzovanii-instrumenta-openrefine-dlya-raboty-s-dannymi-o-goskontraktah-i-subsidiyah/);

- о самых дорогих контрактах по 44-ФЗ по отраслям (лекарства и медоборудование, наука, информационные технологии, здравоохранение, реклама, строительство, образование) можно узнавать из нашего телеграм-канала https://t.me/clearspending;

- рейтинг автономности регионов расскажет, какую часть госзаказа регионы "отдают" своим поставщикам (https://clearspending.ru/news/rejting-avtonomnosti-regionov-kakuyu-chast-goszakaza-regiony-otdayut-svoim-postavshikam/);

- разобраться с бюджетом на следующий год поможет статья "Как разобраться в федеральном бюджете?" (https://clearspending.ru/news/kak-razobratsya-v-federalnom-byudzhete/);

- статистические сведения о субсидиях за первый квартал 2018 года и их визуализация доступны по ссылке https://clearspending.ru/news/234-trilliona-rublej-summa-federalnyh-subsidij-za-3-mesyaca-2018-goda/;

- вспомнить и посмотреть все выступления с секции "Государственные данные", которые прошли в День открытых данных в Москве, можно на сайте проекта "Госзатраты" (https://clearspending.ru/news/234-trilliona-rublej-summa-federalnyh-subsidij-za-3-mesyaca-2018-goda/);

- узнать, хорошо ли вы ориентируетесь в российских реалиях супергеройской жизни, можно из нашего теста "Супергерой госзаказа" (https://clearspending.ru/news/quiz-superhero/).

Новый год - новый федеральный бюджет. Данные о расходах федерального бюджета и разные графики по нему можно скачать по ссылке: https://medium.com/@olya.parkhimovich/расходы-федерального-бюджета-на-2019-год-dc1697c1f5d6, а весь Закон о бюджете опубликован на портале budget.gov.ru

О качестве данных федерального бюджета

Пользуясь новогодними выходными наконец-то добралась до Закона о федеральном бюджете. Начиная с 2019 года, он "вносится в Гос. Думу в электронном виде путем размещения на портале Электронного бюджета". В это же время он стал доступен для граждан в веб-интерфейсе ЕПБС, откуда его можно выгрузить в нескольких форматах.

С одной стороны, это, конечно, прогресс - теперь его можно, помучившись, скачать и хотя бы не парить pdf. С другой - не хватает возможности скачивать архив с бюджетом и приложениями в один клик. И нужно это не только для удобства, но и для уверенности в отсутствии ошибок при экспорте данных с портала budget.gov.ru.

За пару часов работы с выгруженными данными обнаружилось:

- данные принятого Закона о федеральном бюджете выгружаются с заголовком "Проект федерального закона о федеральном бюджете";

- выгруженные приложения, содержащие несколько однотипных таблиц, не пригодны для автоматизированной обработки без предварительного преобразования;

- в некоторых таблицах в суммах не указывается год (а бюджет, как известно, составляется на три года);

- в некоторых таблицах указаны неверно названия регионов (например, они содержат символы "/n", "Ненецкий авономный округ" или вместо "город федерального значения Москва" указано "города федерального значения Москва", при этом в ФЗ, размещенном на сайте Консультанта, таких ошибок нет);

- при выгрузке приложений с несколькими таблицами нигде не указаны названия этих таблиц (то есть при выгрузке приложения о межбюджетных трансфертах вы получите xls файл, который содержит 146 таблиц, размещенных друг под другом, нигде в файле не будет содержаться направление расходов этой субсидии или хотя бы номера таблицы, годы в каких-то таблицах будут не указаны совсем, а в некоторых 2019, 2020, 2021 год не будут идти друг под другом);

- файлы содержат техническое поле, описания которого нет (и которое вряд ли нужно пользователям).

Поэтому не нужно недооценивать объем предварительной работы по очистке и преобразованию "машиночитаемых" данных о федеральном бюджете. Какие-то из приведенных примеров незначительны и их можно исправить одной командой, но найдя столько "багов" нельзя быть уверенным, что они не встретятся и в суммах.

Несмотря на необходимость публикации открытых данных, отказываться от дублирующей публикации документов (законов) в формате pdf или текстовом формате на сайтах вроде Консультанта, на сегодняшний день нельзя, - файлы, экспортируемые из портала Электронного бюджета, без них интерпретировать невозможно. По крайней мере на сегодняшний день.

ФНС снова запустила сервис Прозрачный бизнес https://pb.nalog.ru.

Первый запуск был около двух лет назад, тогда сайт проработал пару дней и был закрыт. Данные, на основе которых работает сервис, были опубликованы ФНС в прошлом году в три этапа (https://www.nalog.ru/rn77/news/activities_fts/8165638/). В них содержатся сведения о суммах недоимки и задолженности по налогам и сборам организаций, данные о наличии налоговых правонарушений, сведения о среднесписочной численности работников юр. лиц, данные о специальных налоговых режимах и др. Не все опубликованные в 2018 году наборы данных уже добавлены на сайт "Прозрачный бизнес".

Также на портале "Прозрачный бизнес" есть функция, с помощью которой представитель компании может сообщить об ошибке в данных своей компании, но для этого нужна Электронная подпись. Впрочем, ошибки в данных есть - после публикации данных журналисты и исследователи нашли организации, численность которых, согласно данным, превышает 600 тыс. чел. (https://www.rbc.ru/economics/02/08/2018/5b62c4659a79473c2cd07ae1). После сообщений СМИ об ошибках в данных, их обновления или исправления не последовало.

Интересно, что на сайте ФНС опубликован внутренний регламент работы с обращениями об ошибках в наборах данных (https://www.nalog.ru/opendata/reglod/) - подобный документ у ФОИВа встречаю впервые. Проверка его работоспособности будет одной из первых задач этого года :).

ЕИС в сфере закупок (zakupki.gov.ru) снова доступна. Интерфейс системы обновлен частично и функционал пока работает не весь. Например, карточки контрактов и организаций открываются в старом интерфейсе, а статистика на главной странице пуста и относящиеся к ней кнопки не кликабельны. Главное, раздел "Открытые данные" остался и доступен по ссылке: http://zakupki.gov.ru/epz/opendata/search.html

Онлайн-курс «Использование открытых данных для цифрового бизнеса» теперь доступен на сайте https://www.futurelearn.com/courses/open-data-business.

Онлайн-курс поможет узнать, как зарабатывать на открытых данных и как их использовать для трансформации вашей организации. Авторы курса обещают создать новое понимание истории открытых данных, плюсов и минусов их использования, рассказать о бизнес-кейсах и бизнес-моделях, связанных с публикацией и использованием открытых данных.

Курс длится три недели и потребует от слушателей 2 свободных часа в неделю. Участие бесплатно (без получения сертификата).

Звучит малореалистично, но ФНС обновила сервис получения выписок из ЕГРЮЛ/ЕГРИП и ввод капчи теперь не требуется https://egrul.nalog.ru/index.html

Минфин России опубликовал изменения в Приказ 243н "О составе и порядке размещения и предоставления информации на Едином портале бюджетной системы РФ".

Этот приказ регулирует, какая информация, в каком составе и в какие сроки будет размещена на портале budget.gov.ru. Поэтому, если вы интересуетесь данными о кассовом исполнении, региональными и муниципальными бюджетами и другими финансовыми данными, то Приказ 243н ответит на многие вопросы о них.

Какие изменения вносятся в Приказ?

1. Публикация информации финансовых органов муниципальных образований переносится с 1 января 2019 года на 1 января 2020 года, а значит, муниципальных бюджетов не будет еще как минимум год. С одной стороны, это ожидаемо - данные по регионам до сих пор не опубликованы, хотя, согласно Приказа, должны были быть размещены с 1 января прошлого года (а первым публично озвученным сроком было начало 2016 года).

2. Из состава публикуемой информации исключаются:

- кассовые планы исполнения бюджетов (на мой взгляд, это одно из самых критичных обновлений. К тому же, эти данные могли бы помочь России подняться в международных рейтингах по открытости);

- данные о порядках формирования и использования бюджетных ассигнований Инвестиционного фонда РФ;

- отчеты об исполнении консолидированного местного бюджета (тоже довольно странное решение, т.к. бюджеты и отчеты муниципалитетов - одни из самых востребованных);

- базовые и ведомственные перечни госуслуг и мун. услуг и работ и правила их формирования и ведения;

3. В состав публикуемой информации добавлены:

- проекты законов (решений) о внесении изменений в законы о бюджетах и представляемые одновременно с ними документы и материалы;

- перечни казенных учреждений с указанием сведений об основных видах деятельности, руководителях, местоположении, деятельности учреждений и показателях финансово-хозяйственной деятельности.

4. Вместо "статистики исполнения судебных актов" будет публиковаться "информация об исполнении судебных актов". Без структуры данных сложно предсказать, что понимается под "информацией" и "статистикой, и что из этого было бы полезнее гражданам.

В целом, перенос на год публикации муниципальных бюджетов и исключение публикации кассовых планов исполнения бюджетов очень расстраивают, но спасибо Минфину России и Федеральному казначейству, что портал ЕПБС существует и данные на нем публикуются.

Изменения опубликованы в формате pdf в стиле "в абзаце 37 заменить "..." на "...". Поэтому, если вы хотите изучить изменения полностью, приготовьтесь отсчитывать в нужном пункте указанное количество абзацев (полный текст приказа опубликован по ссылке: https://www.minfin.ru/ru/document/?id_4=126454).

Изменения перечня информации опубликованы еще "удобнее" - это 70-страничная отсканированная pdf-таблица, которую нужно вручную сопоставить с такой же отсканированной pdf-таблицей из исходной версии приказа. Поэтому о перечне информации напишу в другой раз :).

На сайте Минфин России опубликован проект Постановления Правительства о внесении изменений в госпрограмму РФ "Управление государственными финансами и регулирование финансовых рынков". Содержание госпрограммы довольно интересно, оно включает в себя и портал Электронный бюджет, и мероприятия по открытости, и конкурс BudgetApps, и инициативное бюджетирование.

Любопытно, что год от года Минфином России занижаются планируемые показатели по количеству баллов в рейтинге Open Budget Index (в том числе и благодаря которому началась активная публикация данных о госфинансах).

В прошлом году Россия не смогла повысить свои позиции или хотя бы сохранить набранное количество баллов (баллы уменьшились с 74 до 72) - о результатах рейтингах и причинах "низких" баллов подробно писала для Polit.ru: http://polit.ru/article/2018/01/31/budget_open/.

В новых изменениях госпрограммы планируемые показатели по OPen Budget Index снова уменьшаются. Достижение значения в 74 балла запланировано к 2022 году (74 балла - это фактический показатель 2014 года).

Сложно сказать, является ли снижение показателей "звоночком" к тому, что интерес Минфина России к открытости снижается, но объективно, в повестке открытости и информатизации Минфина России данный рейтинг давно не упоминается, да и каких-то действий по повышению позиций в нем, на мой взгляд, не проводится.

В РБК  вышла колонка [1] "Тихие омуты: как распределяются субсидии и субвенции российского бюджета" на основе данных проекта Госзатраты.Субсидии [2].
...
Всего, по данным на 14 января 2019 года, в 2018 году было заключено 17 253 соглашения о субсидиях на общую сумму 2,88 трлн руб. Напомним, что все расходы федерального бюджета в прошлом году составили 16,8 трлн руб.
...
И много других подробностей о том как субсидии устроены.

Ссылки:
[1] https://www.rbc.ru/opinions/economics/18/01/2019/5c407c0f9a7947e05b486207
[2] http://sub.clearspending.ru

#opendata #spending #clearspending

Об обновлении реестра субсидий.

Помимо Приказа Минфина России 243н, который регулирует порядок и состав информации, публикуемой на портале Электронного бюджета (budget.gov.ru) существует Приказ Минфина России 263н о порядке ведения реестра субсидий из федерального бюджета (http://docs.cntd.ru/document/556499685).

Согласно этого приказа, Федеральное казначейство должно в течение трех рабочих дней со дня заключения соглашения (договора) о предоставлении субсидии разместить информацию о ней в реестре. Это значит, что 14 января все субсидии за 2018 год должны были быть внесены в реестр.

Как раз 14 января мы делали дамп базы для подготовки статьи о субсидиях для РБК (https://www.rbc.ru/opinions/economics/18/01/2019/5c407c0f9a7947e05b486207). За 2018 год субсидий на тот момент было 17 253.

На сегодняшний день в реестре 17 370 субсидий, датированных 2018 годом. То есть, с момента подготовки статьи было добавлено более 100 субсидий. Причем, не самых маленьких. Например:  - субсидия Федерального агентства лесного хозяйства в размере 12,7 млрд руб., выданная ФГБУ «Рослесинфорг», с датой заключения соглашения 28.12.2018, была добавлена не ранее 15 января (хотя запись реестра датирована датой 28.12 и обновлением 15.01). Номер субсидии: 05318P35000003. Эта субсидия входит в ТОП-20 за год;  - субсидия «Роскосмоса» на 5,9 млрд руб., выданная ФГБУ «Научно-исследовательский центр подготовки космонавтов им. Ю.А. Гагарина» с датой заключения соглашения 28.12.2018 фактически была добавлена не раньше 15.01, а по данным реестра запись создана 28.12 и после этого не была изменена. Номер субсидии: 73018P13000000. Эта субсидия входит в ТОП-50 за год;  - субсидия Минтранспорта на 5,9 млрд руб., выданная ПАО «Государственная транспортная лизинговая компания» с датой заключения соглашения 29.12.2018 фактически была добавлена не раньше 15.01, а по данным реестра запись создана 29.12 и после этого не была изменена. Номер субсидии: 10318P0H000000. Эта субсидия входит в ТОП-50 за год.  Какие из этого можно сделать выводы?

1. По каким-то причинам субсидии добавляются намного позже сроков, указанных в Приказе 263н (по каким причинам это может быть пока не уточняла у Минфина и Казначейства).  2. Даты добавления  и обновления записей в реестре, указанные на портале ЕПБС, могут не совпадать с реальными датами добавления/обновления информации.  3. При подготовке любой аналитики о субсидиях (даже за давно прошедший период) необходимо указывать дату выгрузки реестра и не удивляться, если ваши подсчеты не совпадут с подсчетами того, кто будет делать аналитику по тому же периоду, например, через неделю.

Пост похвалы Минфину России #1 (скоро будет еще один). Первый раз страница в соц. сетях Минфина замечена в участии в флешмобах  :)

Ровно 5 лет назад, 4 февраля 2014 года, был открыт проект КГИ «Госзатраты». Основная цель проекта - повышение прозрачности госфинансов и предоставление данных о госконтрактах. Все эти годы проект разрабатывался при поддержке АНО Инфокультура.

За первую пятилетку мы обработали и опубликовали более 32,5 млн госконтрактов и 96 тыс. субсидий из федерального бюджета. Сформировали профили 1,6 млн поставщиков и 316 тыс. заказчиков, 188 распределителей субсидий и 7 тыс. получателей субсидий. Автоматически выявили более 13 млн аномалий и неточностей в данных о государственных контрактах.

Сайт проекта посетили 6,5 млн уникальных пользователей из 192 стран. Почти половина пользователей сайта - люди от 25 до 34 лет, а пик активности посещений совпадает с рабочим временем в будни.

За эти годы мы опубликовали на сайте несколько сотен новостей, более 600 постов в Facebook и получили более 500 упоминаний в СМИ. Нашими подписчиками в Facebook стали 2000 человек, и мы всегда рады новым ;-).

Были проведены несколько десятков мероприятий, в т.ч. хакатоны, лекции, вебинары, дата-среды, встречи с разработчиками, и подготовлены несколько десятков обращений в госорганы про открытые данные.

Напоминаю наши основные ресурсы, на которых вы можете получать информацию о государственных финансах:

- https://clearspending.ru (сайт проекта «Госзатраты», на котором публикуются закупки, контракты, данные о поставщиках и заказчиках, доступны ежедневные дампы базы данных и ссылки на API);

- https://sub.clearspending.ru (спецпроект «Субсидии», содержащий данные о субсидиях из федерального бюджета, распределителях и получателях);

- телеграм-бот @csParticipantStatsBot (делится статистикой госзаказа организации по ИНН);

- телегам-бот @csDownloaderBot (формирует выборку контрактов по необходимым вам фильтрам);

- телеграм-канал @clearspending (каждый день будет присылать вам три самых крупных контракта по отраслям и оповестит, если в базе появятся очень крупные контракты);

- расширение для браузера Google Chrome bit.ly/clearspending_ext (позволит вам просматривать статистику госзаказа организации, находясь на ее сайте).

Помимо этого, вы всегда можете скачать наш публичный отчет (bit.ly/csReport2017), и узнать о том, как заработать на госзакупках из руководства, переведенного нами в прошлом году (bit.ly/csMoneyGuide).

Инфографику с результатами нашей работы вы можете посмотреть и скачать на сайте проекта (https://clearspending.ru/news/5-let-nazad-byl-zapushen-proekt-kgi-goszatraty/), а мы напоминаем, что всегда рады вопросам, пожеланиям и запросам от пользователей.

Вы всегда можете спросить о том, как в России устроены госфинансы, где найти интересующие вас данные, как разобраться в данных о контрактах, если вы представляете СМИ, НКО или проводите исследование, то можете запросить и нужную вам выборку данных.