Правительство Российской Федерации
Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "Высшая школа экономики"
|
|
|
УТВЕРЖДАЮ
|
|
Проректор Национального исследовательского университета "Высшая школа экономики", к.э.н., доцент
|
|
__________А.В. Клименко
"____"____________ 2012 г.
|
АНАЛИТИЧЕСКИЙ ОТЧЕТ
об актуальной нормативно-технической документации, устанавливающей требования, применимые к открытым данным
по теме:
Разработка Концепции открытых данных РОССИЙСКОЙ ФЕДЕРАЦИИ
(заключительный)
Этап 2
Руководитель работ,
|
|
|
Директор Дирекции по экспертно-аналитической работе НИУ ВШЭ, Директор центра анализа деятельности органов исполнительной власти ИГМУ НИУ ВШЭ
|
________________ (подпись, дата)
|
А.Б. Жулин
|
СПИСОК ИСПОЛНИТЕЛЕЙ
Руководитель работы:
Директор Дирекции по экспертно-аналитической работе НИУ ВШЭ, Директор центра анализа деятельности органов исполнительной власти ИГМУ НИУ ВШЭ
|
__________________________
подпись, дата
|
А.Б. Жулин (Введение, Заключение)
|
Исполнители работы:
|
|
|
|
|
|
Заместитель директора ИГМУ НИУ ВШЭ
|
______________________
подпись, дата
|
С.Н. Сергеев (п. 1.2)
|
Начальник отдела административного моделирования ИГМУ НИУ ВШЭ
|
____________________________
подпись, дата
|
А.А. Костырко (п. 3.2)
|
Зам. директора Дирекции по экспертно-аналитической работе НИУ ВШЭ,
Начальник отдела организационного проектирования ИГМУ НИУ ВШЭ, к.э.н.
|
__________________________
подпись, дата
|
С.М. Плаксин (п.3.4)
|
Начальник отдела финансового планирования ИГМУ НИУ ВШЭ
|
__________________________
подпись, дата
|
Е.В. Клочкова (п. 3.2.1)
|
Ведущий научный сотрудник ИГМУ НИУ ВШЭ, к.э.н.
|
___________________________
подпись, дата
|
О.А. Науменко (п. 3.3)
|
Старший научный сотрудник ИГМУ НИУ ВШЭ, к.с.н.
|
______________________
подпись, дата
|
Е.М. Стырин (п. 3.5)
|
Научный сотрудник ИГМУ НИУ ВШЭ
|
_____________________________
подпись, дата
|
Л.Х. Синятуллина (п. 4.1)
|
Научный сотрудник ИГМУ НИУ ВШЭ
|
___________________________
подпись, дата
|
А.В. Кнутов (п. 4.2.3)
|
Младший научный сотрудник ИГМУ НИУ ВШЭ
|
_______________________
подпись, дата
|
О.С. Минченко (п. 4.1.3)
|
Младший научный сотрудник ИГМУ НИУ ВШЭ
|
________________________
подпись, дата
|
А.А. Карабчук (п. 4.3.2)
|
Аналитик Дирекции по экспертно-аналитической работе НИУ ВШЭ
|
___________________________
подпись, дата
|
Р.Е. Артамонов (п. 4.2.1)
|
Стажер-исследователь ИГМУ НИУ ВШЭ
|
___________________________
подпись, дата
|
А.Е. Сарватдинов (п. 4.2.2)
|
Стажер-исследователь ИГМУ НИУ ВШЭ
|
___________________________
подпись, дата
|
А.В. Чаплинский (п. 4.1.5)
|
Стажер-исследователь ИГМУ НИУ ВШЭ
|
___________________________
подпись, дата
|
Б.А. Щиголев (п. 4.1.4)
|
|
|
|
Старший научный сотрудник ИИТ НИУ ВШЭ
|
___________________________
подпись, дата
|
Г.С. Дробязко (п.п. 4.3)
|
Старший научный сотрудник ИИТ НИУ ВШЭ, к.т.н.
|
___________________________
подпись, дата
|
Д.Л. Огороднийчук (Прил. Б)
|
Научный сотрудник ИИТ НИУ ВШЭ
|
___________________________
подпись, дата
|
А.Г. Щаров (п. 3.1)
|
Научный сотрудник ИИТ НИУ ВШЭ
|
___________________________
подпись, дата
|
И.А. Радченко (Прил. Г)
|
Научный сотрудник ИИТ НИУ ВШЭ
|
___________________________
подпись, дата
|
Н.В. Апарова (п. 5)
|
Заместитель директора ИИТ НИУ ВШЭ
|
___________________________
подпись, дата
|
В.П. Клинцов (Прил. В)
|
Эксперт ИГМУ НИУ ВШЭ
|
___________________________
подпись, дата
|
И.В. Бегтин (п.2)
|
Эксперт ИГМУ НИУ ВШЭ
|
___________________________
подпись, дата
|
О.А. Романова (Прил. А)
|
Эксперт ИГМУ НИУ ВШЭ
|
___________________________
подпись, дата
|
С.В. Архипов (п. 1.1)
|
РЕФЕРАТ
Отчет с., 2 табл., 16 источников, 4 прил.
НАУЧНО-ТЕХНИЧЕСКАЯ ИНФОРМАЦИЯ, ИСТОЧНИК ИНФОРМАЦИИ, ИНФОРМАЦИОННЫЙ РЕСУРС, СВЯЗАННЫЕ ДАННЫЕ, LINKEDDATA, ОТКРЫТЫЕ ДАННЫЕ, ГОСУДАРСТВЕННЫЕ ДАННЫЕ, OPENDATA
Объектом исследования является научно-техническая документация, устанавливающая требования к открытым данным.
Цель работы – систематизировать российский и зарубежный опыт установления требований к открытым данным и сформировать технологические требования к форматам передачи открытых данных, регламент по обеспечению свободного доступа к открытым данным, регламент формирования единого реестра открытых государственных данных в Российской Федерации, а также порядок и формат сбора информации о них от ведомств
При выполнении работы использовались системный подход и методы системного анализа.
Результаты работы включают:
аналитический отчет об актуальной нормативно-технической документации, устанавливающей требования, применимые к открытым данным,
технологические требования к форматам передачи открытых данных для внешней компьютерной обработки;
регламент по обеспечению свободного доступа к открытым данным;
регламент формирования единого реестра открытых государственных данных в Российской Федерации, а также порядок и формат сбора информации о них от ведомств.
Указанные результаты могут использоваться при реализации концептуальных положений по открытию государственной информации.
СОДЕРЖАНИЕ
ВВЕДЕНИЕ 11
1 Определение общего состава требований к технической части предоставления открытых данных и их передачи. 13
1.1 Анализ опыта по проектам 13
1.1.1 Data.gov (США) 13
1.1.2 Data.gov.uk (Великобритания) 14
1.1.3 Publicdata.eu (Европейский союз) 14
1.1.4 Data.gov.nz (Новая Зеландия) 14
1.1.5 Data.gov.au (Австралия) 17
1.1.6 Data.worldbank.org (портал открытых данных Всемирного Банка) 17
1.1.7 Data.un.org (портал открытых данных ООН) 18
1.1.8 Data.norge.no (Норвегия) 18
1.1.9 Dati.gov.it (Италия) 19
1.1.10 Dados.gov.pt (Португалия) 20
1.1.11 Data.gc.ca (Канада) 21
1.1.12 Data.gouv.fr (Франция) 21
1.1.13 Opendata.cz (Чехия) 22
1.1.14 Data.gov.sg (Сингапур) 22
1.1.15 Другие проекты 23
1.2 Анализ опыта по общественным инициативам 24
1.2.1 World Wide Web Consorcium (W3C) 24
1.2.2 Open Knowledge Foundation 27
1.2.3 Sunlight Foundation 29
2 Анализ актуальной нормативно-технической документации, устанавливающей требования, применимые к открытым данным 33
2.1 Зарубежный опыт 33
2.2 Российский опыт 34
2.3 Выводы 49
2.3.1 Состав нормативно-технической документации и ее положения, которые должны применяться при открытии государственных данных 49
2.3.2 Технические области деятельности, связанные с открытием государственных данных, недостаточно регламентированные существующей нормативно-технической документацией 50
2.3.3 Положения рассмотренной нормативно-технической документации, которые можно толковать неоднозначно (в контексте темы открытия государственных данных) 50
2.3.4 Противоречивые положения рассмотренной нормативно-технической документации 50
2.3.5 Положения нормативно-технической документации, соответствующие положениям Концепции 50
2.3.6 Положения нормативно-технической документации, противоречащие положениям Концепции или в недостаточной степени регламентирующие их 50
2.3.7 Положения Концепции, недостаточно подкрепленные существующей нормативно-технической документации. 51
3 Методическая, организационная и техническая части регламентирующей документации к порядку и форматам публикации, хранения и предоставления доступа к открытым данным 52
3.1 Схема процессов деятельности по открытию государственных данных 52
3.2 Процесс “Публикация государственных данных органами государственной власти” 55
3.2.1 Загрузка данных из информационных систем органов государственной власти в среду (портал) публикации данных 55
3.2.2 Конвертация загружаемых данных в форматы реляционных баз данных и RDF 58
3.2.3 Внесение изменений в опубликованные наборы данных 59
3.2.4 Организация обратной связи от органов государственного управления к службам обеспечения эксплуатации и развития системы публикации государственных данных 60
3.3 Процесс “Обработка и хранение опубликованных государственных данных, управление предоставлением услуг по доступу к ним” 61
3.3.1 Хранение наборов государственных данных; 61
3.3.2 Контроль целостности опубликованных наборов данных 61
3.3.3 Мониторинг и сбор статистики по публикации, обновлению и использованию наборов государственных данных 62
3.3.4 Контроль исполнения запланированных публикаций и обновлений наборов данных 63
3.3.5 Оповещение органов государственной власти о приближении плановых сроков публикации и обновления наборов данных 64
3.3.6 Сбор и систематизация информации обратной связи 64
3.3.7 Повышение ценности данных 65
3.4 Процесс “Использование опубликованных государственных данных гражданами и представителями бизнеса” 66
3.4.1 Доступ к опубликованным данным; 66
3.4.2 Поиск необходимых опубликованных данных; 68
3.4.3 Получение необходимых государственных данных в машиночитаемом виде 68
3.4.4 Ознакомление с планами публикации государственных данных 70
3.4.5 Обеспечение обратной связи от граждан и представителей бизнеса к службам обеспечения эксплуатации и развития системы публикации государственных данных 71
3.4.6 Обеспечение обучения, распространения передового опыта по использованию государственных данных. 72
3.5 Процесс “Организация и управление развитием системы открытия государственных данных Российской Федерации” 73
3.5.1 Сбор информации от площадок публикации государственных данных (сайтов органов исполнительной власти) о планах и фактических результатах публикации и использования государственных данных 73
3.5.2 Ведение единого реестра открытых государственных данных Российской Федерации 74
3.5.3 Анализ информации о планах и фактических результатах публикации и использования государственных данных 76
4 Технические и организационно-административные требования к форматам хранения и передачи открытых данных 79
4.1 Открытые форматы 79
4.1.1 XML – стандарт публикации структурированных данных от W3C 79
4.1.2 CSV/TSV – формат публикации табличных данных; 85
4.1.3 RDF/Linked Data – стандарты публикации структурированных интегрированных данных 86
4.1.4 KML – стандарты публикации информации о георасположении объектов 88
4.1.5 JSON – популярный стандарт публикации данных используемый для их предоставления через веб-сервисы 89
4.1.4. OWL – язык описания онтологий для семантического веба 92
4.1.6 SOAP – простой протокол доступа к объектам, базирующийся на технологии веб-служб 94
4.1.7 REST – стиль построения архитектуры распределенного приложения 95
4.2 Специализированные спецификации: 96
4.2.1 IATI Specification – стандарт раскрытия информации о международной экономической помощи 96
4.2.2 General Transit Feed Specification – стандарт раскрытия транспортной информации об остановках и маршрутах 96
4.2.3 Open311 API Specification – стандарт регистрации сообщений от граждан 97
4.3 Другие популярные форматы 98
4.3.1 DBF 98
4.3.2 XLS/XLSX 99
4.3.3 ODS (ODF) 100
4.3.4 ZIP 102
4.3.5 RAR 104
4.3.6 ShapeFile 105
4.3.7 NetCDF 106
4.4 Итоговые рекомендации 107
5 Перечень и состав требований регламентов по обеспечению свободного доступа к массивам открытых данных через сайты органов исполнительной власти 108
5.1 Перечень и состав требований регламентов по обеспечению свободного доступа к массивам открытых данных через сайты органов исполнительной власти 108
5.2 Структура реестра открытых государственных данных 109
ЗАКЛЮЧЕНИЕ 111
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 112
ПРИЛОЖЕНИЕ А
Технологические требования к форматам передачи открытых данных для внешней компьютерной обработки 114
A.1 Основные термины и сокращения 114
A.2 Базовые требования к форматам файлов 115
A.2.1 Требования 115
A.3 Публикация редко обновляемых данных 115
A.3.1 Требования 115
A.3.2 Рекомендации 116
A.4 Публикация динамических данных 116
A.4.1 Требования 116
A.4.2 Рекомендации 117
A.5 Условия использования 118
A.5.1 Требования 118
A.5.2 Рекомендации 118
A.6 Метаописание структур файлов и документирование 118
A.6.1 Требования 118
A.6.2 Рекомендации 119
A.7 Отраслевое применение форматов файлов (в случаях ведомственной и отраслевой специфики) 120
A.7.1 Требования 120
A.7.2 Рекомендации 120
A.8 Рекомендации по организации повторного использования данных в представленных форматах файлов 120
A.8.1 Рекомендации 120
ПРИЛОЖЕНИЕ Б
Схема (модель) процессов деятельности по открытию государственных данных 122
ПРИЛОЖЕНИЕ В
Регламент по обеспечению свободного доступа к открытым данным 130
ПРИЛОЖЕНИЕ Г
Регламент формирования единого реестра открытых государственных данных в Российской Федерации, а также порядок и формат сбора информации о них от ведомств 150
ОПРЕДЕЛЕНИЯ
В настоящем документе применяют следующие термины с соответствующими определениями:
ОТКРЫТЫЕ ДАННЫЕ (англ. open data) - информация (в том числе документированная), созданная в пределах своих полномочий государственными органами, их территориальными органами, органами местного самоуправления или организациями, подведомственными государственным органам, органам местного самоуправления, либо поступившая в указанные органы и организации, которая подлежит размещению в сети Интернет в формате, обеспечивающем ее автоматическую обработку в целях повторного использования без предварительного изменения человеком (машиночитаемый формат), и может свободно использоваться в любых соответствующих закону целях любыми лицами независимо от формы ее размещения (простая совокупность сведений, база данных и т.д.).
ГОСУДАРСТВЕННЫЕ ДАННЫЕ – данные в виде документов, файлов, баз данных и иной информации, создаваемые органами государственной власти и другими государственным учреждениям в процессе осуществления ими их функций.
ПУБЛИКАЦИЯ ДАННЫХ – предоставление данных для доступа к ним широкой аудитории.
ИСПОЛЬЗОВАНИЕ ОТКРЫТЫХ ДАННЫХ – применение открытых данных в целях создания социально-значимых Интернет-сервисов и программных приложений.
МАШИНОЧИТАЕМЫЕ ДАННЫЕ (ИНФОРМАЦИЯ, ВИД ПРЕДСТАВЛЕНИЯ) – данные представленные в форматах пригодных для повторного автоматического или автоматизированного использования.
ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ
W3C – Консорциум Всемирной СетиWWW
API – Application Program Interface – интерфейс прикладных программ
СУБД – Система управления базами данных
SaaS – Software as a Service, ПО как платформа
ПО – программное обеспечение
RDF – Resource Description Framework, модель описания ресурсов
OWL - Web Ontology Language
ВВЕДЕНИЕ
Настоящий аналитический отчет разработан федеральным государственным автономным образовательным учреждением высшего профессионального образования «Национальный исследовательский университет «Высшая школа экономики» в рамках выполнения Государственного контракта № ГК-142-ОФ/Д01 от 5 сентября 2012 г. с Министерством экономического развития Российской Федерации.
Отчет содержит систематизированный российский и зарубежный опыт установления требований к открытым данным, технологические требования к форматам передачи открытых данных
Документ состоит из пяти разделов и четырех приложений.
В первом разделе приводится определение общего состава требований к технической части предоставления открытых данных и их передачи, полученное на основе анализа опыта проектов по открытым данным.
Второй раздел посвящен анализу актуальной нормативно-технической документации, устанавливающей требования, применимые к открытым данным.
В третьем разделе приведены предложения по методической, организационной и технической частям регламентирующей документации к порядку и форматам публикации, хранения и предоставления доступа к открытым данным. Эти предложения легли в основу требований и регламентов, представленных в приложениях.
Четвертый раздел посвящен анализу технических и организационно-административных требований к форматам хранения и передачи открытых данных.
И в пятом разделе приведен материал по перечню и составу требований регламентов по обеспечению свободного доступа к массивам открытых данных через сайты органов исполнительной власти.
В приложениях приведены:
технологические требования к форматам передачи открытых данных для внешней компьютерной обработки;
модель процессов деятельности по открытию государственных данных;
регламент по обеспечению свободного доступа к открытым данным;
регламент формирования единого реестра открытых государственных данных в Российской Федерации, а также порядок и формат сбора информации о них от ведомств.
|
