1.1.2 Поняття відкритих даних

Тема
Матеріали

Отже, продовжуємо знайомити вас з основними поняттями курсу. В цьому відео ми розповідаємо, що таке відкриті дані, звідки і для чого взялось це поняття. Після перегляду ви знатимете, які правила формують політику відкритих даних, і розумітимете різницю між відкритими даними та публічною інформацією. 

Урок 1. Тема 1.2_презентація

Відкриті дані – це концепція, яка відображає ідею про те, що певні дані мають бути вільно доступними для обробки машинним способом та подальшого використання і розповсюдження без жодних обмежень і контролю, в тому числі з комерційною метою. Для звільнення даних від обмежень авторського права можна використовувати так звані вільні ліцензії, зокрема Creative Commons license.  

Відкриті дані – це в першу чергу можливість легкого, ефективного та стандартизованого обміну даними між усіма зацікавленими сторонами, в тому числі самими органами влади. Це дієвий механізм, який не лише “змушує” ділитися інформацією, але й допомагає отримувати дивіденди від цього.  

Дані – це ресурс, яким потрібно ділитися, тому відкриті дані мають бути опубліковані в мережі Інтернет у машиночитаному форматі – тобто форматі, який придатний для автоматизованого обробки комп’ютерними системами та програмами. Громадяни, бізнес, громадські організації, наукові установи можуть вільно публікувати, копіювати, поширювати, використовувати відкриті дані для одержання економічної, соціальної, культурної чи екологічної вигоди.   

 Важливим аспектом відкритих даних, є той факт, що їх можна вільно використовувати, зокрема з комерційною метою. Також ці дані можуть бути поєднані з іншою інформацією або включені їх до складу власного продукту із зазначенням джерела їх отримання.   

 Загалом можна виділити декілька ознак чи прикладів відкритих даних:  

  • дані не мають бути агрегованими, іншими словами, вони мають бути первинними та максимально деталізованими;  
  • дані мають бути у відкритому доступі, щоб їх легко було знайти для використання та поширення; 
  • дані мають бути у машиночитному форматі для автоматизованої обробки. Мова йде про формати CSV, JSON та XML, адже оприлюднення таблиць у сканованому вигляді – це не відкриті дані.   

Політика відкритих даних — це система цілей, заходів та інструментів, що спрямована на впровадження принципів оприлюднення відкритих даних та стале використання відкритих даних управлінцями, підприємцями та громадськістю. Варто пам’ятати, що відкриті дані дозволяють повторно і необмежено використовувати інформацію, поєднувати її між собою, зменшити або виключити зайві витрати на дублювання та опрацювання великих масивів даних, реєстрів, довідників, баз даних тощо, створених в різних органах влади. Саме тому важливо дотримуватись кількох базових правил відкритих даних:  

  1. Без оплати та вимоги реєстрації 
  2. Без обмежень щодо використання  
  3. Без ліцензійних обмежень (всі дані повинні бути доступні)  
  4. Без обов’язкового посилання на джерело (за світовою практикою користувачі даних в своїх продуктах посилаються на першоджерело даних).  

Ідея загального суспільного блага від відкритості даних не є новою. Проте спершу вона стосувалась результатів наукових досліджень і була висловлена ще у 1942 році. ЇЇ автором став американський соціолог, один із засновників школи структурно-функціонального аналізу Роберт Кінг Мертон. Теорія, що носить його ім’я, демонструє важливість того, що результати дослідження повинні бути доступними для всіх. Мертон вважав, що кожен дослідник повинен здійснити свій внесок до “загального банку” і відмовитися від прав інтелектуальної власності в ім'я прогресу знань.  

Термін “відкриті дані” вперше з’явився у 1995 році у документі Американського наукового товариства і стосувався розкриття геофізичних та геологічних даних, зокрема їхнього “повного та відкритого обміну”. Сучасні принципи, які сьогодні дозволяють нам визначати і оцінювати відкриті дані, були сформульовані у 2007 році на зустрічі теоретиків та активістів Інтернету, що відбулась поблизу Сан-Франциско у Себастополі.  Одними з авторів цих принципів стали Тім О'Рейлі – активіст руху за вільне програмне забезпечення з відкритим вихідним кодом, один з головних ідеологів Web 2.0 , та Лоуренс Лессіг – професор права Стенфордського університету та засновник організації Creative Commons.  

Ідея, що лежить в основі даних принципів, полягає в тому, що публічні дані – це спільна власність, якою можна ділитися і яку можна використовувати. По суті, це ті ж самі принципи, що лежать в ідеології програмного забезпечення з відкритим вихідним кодом: відкритість, участь та спільна робота. Можливо, у 2007 році пропоновані принципи звучали як утопія, але вже за рік президент США Барак Обама підписав три президентських меморандуми, що стосувалися прозорості даних і відкритого уряду. Відтоді озвучені ідеї почали ставати реальністю. У 2009 році був запущений урядовий портал відкритих даних США1 – data.gov, за рік ініціатива стала дійсністю у Великій Британії2 – data.gov.uk. В Україні аналогічний веб-ресурс data.gov.ua був запущений3 у 2015 році.  

Українське законодавство встановлює, що публічна інформація у формі відкритих даних – це публічна інформація у форматі, що дозволяє її автоматизоване оброблення електронними засобами, вільний та безоплатний доступ до неї, а також її подальше використання. Розпорядники інформації зобов’язані надавати публічну інформацію у формі відкритих даних на запит, оприлюднювати і регулярно оновлювати її на єдиному державному веб-порталі відкритих даних та на своїх веб-сайтах.  

Проте, не дивлячись на певну схожість публічної інформації та відкритих даних, між цими двома поняттями існує принципова різниця. Вона полягає в тому, що використання публічної інформації визначається законодавством, наприклад, доступ до неї можна отримати, надіславши відповідний запит про доступ до публічної інформації.  

Натомість суть відкритих даних полягає у зворотному – органи влади повинні публікувати дані в Інтернеті ще до того, як вони комусь знадобляться, тобто незалежно від того чи хтось подає відповідні запити. Така особливість відкритих даних дає можливість бути актуальною відповіддю на існуючі проблеми чи виклики, дає змогу незалежно від бажання влади, створювати корисні сервіси: від розкладу руху громадського транспорту до прозорості правоохоронних органів.  

Що таке RDF?

RDF (Resource Description Framework) – це розроблена консорціумом W3C технологія семантичної павутини, яка включає в себе середовище опису ресурсів (англ. Resource Description Framework, RDF), визначає загальну архітектуру метаданих і призначена для забезпечення сумісності метаданих за допомогою спільної семантики, структури та синтаксису. Технологія семантичної мережі передбачає розширення можливостей інтернету завдяки механізмам надання інформації чітко визначеного значення, яке дозволяє ефективно використовувати її у спільній роботі як комп'ютерів, так і людей.

Ресурсом в RDF може бути будь-яка сутність - як інформаційна (наприклад, веб-сайт або зображення), так і неінформаційна (наприклад, людина, місто або якесь абстрактне поняття). Твердження, що висловлюється про ресурс, має вигляд "суб’єкт - предикат - об’єкт"" і називається триплетом. Твердження "трава зеленого кольору"" в RDF-термінології можна представити таким чином: суб’єкт - "трава", предикат - "має колір", об’єкт - "зелений". Для позначення суб’єктів, відносин і об’єктів в RDF використовуються URI.

RDF сам по собі є не форматом файлу, а лише абстрактною моделлю даних, тобто описує пропоновану структуру, способи обробки та інтерпретації даних. Для зберігання і передачі інформації, покладеної в модель RDF, існує цілий ряд форматів запису.

Для обробки RDF-даних пропонується реалізувати мови запитів: SPARQL (стандарт W3C), RQL, RDQL.

Для запису і передачі RDF використовується кілька форматів, в тому числі:

  • RDF/XML – запис у вигляді XML-документу;
  • RDF/JSON – запис у вигляді JSON-даних;
  • RDFa – запис всередині атрибутів довільного HTML- або XHTML-документа;
  • N-Triples, Turtle, N3 – компактні форми запису тверджень.

Яким має бути портал для публікації відкритих даних?

Якщо у Вас немає можливості створити окремий портал відкритих даних, ось перелік способів як це зробити без нього:

  • Перш за все, є можливість публікувати відкриті дані (це в першу чергу стосується органів влади) на Єдиному порталі відкритих даних України gov.ua.
  • Ви можете створити окремий розділ “Відкриті дані” на локальному сайті і там публікувати дані, наприклад, у форматі CSV.
  • Можна зареєструватись на GitHub3 і там ділитися даними, проте на офіційному сайті потрібно обов’язково зробити відповідне посилання.