Лекція 1. Знайомство з мовою програмування R

Вступ до аналізу даних

       Одним з основних інструментів пізнання світу є обробка даних, які людина одержує з різних джерел. Суть сучасного статистичного аналізу полягає в інтерактивному процесі, що складається з дослідження, візуалізації та інтерпретації потоків інформації, що надходять із зовні.

       Історія останніх 50 років – це також історія розвитку технології аналізу даних. У минулому високопродуктивні комп’ютери й доступне програмне забезпечення дозволяли реалізувати повний цикл інформаційно-технологічного процесу. У загальному, цей процес складається з таких кроків:

• доступ до оброблюваних даних, їхнє завантаження з різних джерел і об’єднання сукупності взаємопов’язаних вхідних таблиць;
• редагування завантажених показників, заміна або видалення пропущених значень, перетворення ознак у зручний для роботи вигляд;
• анотування даних (щоби пам’ятати, що являє собою кожний фрагмент); отримання загальних відомостей щодо структури даних;
• графічне представлення даних і результатів обчислень зрозумілою інформативною формою (одна картинка насправді іноді варто тисячі слів); моделювання даних (знаходження залежностей і тестування статистичних гіпотез);
• оформлення результатів, підготовка таблиць і діаграм прийнятної публікаційної якості.

       Проте за останні два десятиліття методи аналізу даних принципово змінилися. З появою персональних комп’ютерів та інтернету обсяги даних значно зросли. Комерційні компанії володіють терабайтами даних про споживачів; урядові, академічні та приватні дослідні інститути оперують великими архівними даних і матеріалами обстежень за багатьма галузями. Витяг інформації (не кажучи вже про знання) з цих величезних обсягів даних перетворилося на самостійну галузь діяльності. Водночас подання інформації в легкодоступному й засвоюваному вигляді стало більш складним завданням.

       Розвиток наук, присвячених аналізу даних (статистика, психометрія, економетрика, машинне навчання), не відстає від кардинального зростання обсягу даних. До епохи персональних комп’ютерів та інтернету нові статистичні методи розроблялися вченими-теоретиками, які публікували свої результати у вигляді статей у спеціалізованих журналах. Могли пройти роки, перш ніж ці методи доходили до програмістів і вбудовувалися в широко доступні програми для статистичної обробки даних. У наш час нові методи з’являються щодня. Дослідники-статистики публікують нові і вдосконалені методи разом із програмним кодом на легкодоступних веб-сайтах.

       Поява персональних комп’ютерів змінила підхід до аналізу даних ще одним чином. Коли аналіз даних проводився в обчислювальних центрах, комп’ютерний час був дорогим і важкодоступним. Аналітики заздалегідь ретельно встановлювали всі параметри аналізу. Коли аналіз завершувався, висновок результату займав десятки або сотні сторінок. Аналітик повинен був переглянути їх усі, залишаючи потрібне і відсіваючи зайве. Багато поширених статистичних програм винайдено в ту епоху й досі певною мірою дотримуються цього алгоритму.

       З появою дешевого та легкого доступу до аналізу даних відбулася зміна парадигми. Замість попередньої установки всіх параметрів аналізу, процес став значною мірою інтерактивним. Водночас результати кожного етапу аналізу слугує вхідними даними для подальшого етапу. Схема типового аналізу даних приведена на рис. 1.1.

Рисунок 1.1

       На будь-якому етапі аналізу здійснюється трансформація даних, вставка пропущених значень, додавання або видалення змінних, після чого процес триває. Завершується цей процес тоді, коли аналітик вважає, що він або вона повністю дослідив (-ила) дані й відповів (-іла) на всі пов’язані зі справою питання, на які можна було відповісти.

       За можливості використання десятків пакетів прикладних програм, актуальною є проблема вибору: яке програмне забезпечення аналізу даних слід обрати для практичної роботи? Зазвичай береться до уваги специфіка розв’язуваного завдання, ефективність настройки алгоритмів обробки, витрати на покупку програм, а також особисті вподобання аналітика. Наприклад, шаблонна Statistica з її механічним комплексом кнопок меню, не завжди може задовольнити потреби творчого дослідника, що віддає перевагу самостійному контролю за ходом обчислювального процесу. Комбінувати різні типи аналізу, мати доступ до проміжних результатів, управляти стилем зображення даних, додавати власні розширення програмних модулів і оформляти підсумкові звіти в необхідному вигляді дозволяють комерційні обчислювальні системи, що включають високорівневі засоби командної мови, такі як Matlab, SAS, IBM SPSS, Stata, Microsoft Office та ін. Прекрасною альтернативою їм є програмне середовище R, що ефективно виконує функції статистичної платформи загального призначення.

       R – це мова програмування й середовище для статистичних обчислень і графічного аналізу. R є мовою для аналізу даних із відкритим кодом, яка підтримується великою та активною дослідницькою спільнотою у всьому світі. Однак є багато подібних програм для статистичної та графічної обробки даних. Навіщо переходити на R?

       У R є багато особливостей, які дозволяють рекомендувати саме цю програму:

• більшість комерційних статистичних програм коштують тисячі, якщо не десятки тисяч доларів. R – це безоплатна програма!
• R – це потужна статистична програма, у якій реалізовані всі способи аналізу даних;
• R має сучасні графічні можливості. Якщо вам потрібно візуалізувати складні дані, то враховуйте, що в R реалізовані різноманітні й потужні методи аналізу даних;
• отримання даних із різних джерел у доступному для використання вигляді може бути складним завданням. В R є можливість імпортувати дані з різних джерел, включно з текстовими файлами, системами управління базами даних, іншими статистичними програмами та спеціалізованими сховищами даних. R може також записувати дані у форматах усіх цих систем;
• R є платформою для простого написання програм, що реалізують нові статистичні методи;
• в R реалізовані складні статистичні процедури, ще недоступні в інших програмах. Насправді нові функції стають доступними для завантаження щотижня.
• якщо ви не хочете вчити нову мову, є безліч графічних інтерфейсів, призначених для користувача.

       Демонстрацію графічних можливостей R можна бачити на рис. 1.2. Ця діаграма, створена з допомогою одного рядка програмного коду, описує залежності між доходом, освітою і престижем для представників робочих, конторських і спеціальних професій. Це матриця, складена з діаграм розсіювання, з позначенням різних груп із допомогою кольорів і символів, двома типами апроксимуючих ліній – лінійна регресія й так зване локально-зважене згладжування (Locally Weighted Scatterplot Smoothing, LOESS), що позначають межі довірчих інтервалів еліпсами та двома типами зображення щільності розподілу точок на діаграмі (ядерна оцінка функції щільності – kernel density estimation і графік-щітка – rug plot). Крім того, найбільший викид на кожній діаграмі розсіювання автоматично підписаний. Не турбуйтеся, якщо ці терміни Вам не знайомі. Ми детально розглянемо їх у наступних лекціях.

       Ось головне, що показує цей графік:

• між рівнями освіти, доходу і престижу роботи простежується лінійний зв’язок;
• в середньому робітничі професії характеризуються нижчим рівнем освіти та престижу, а спеціальні професії – більш високим. Конторські професії займають проміжне положення;
• існує кілька цікавих виключень. Інженери на залізницях (RR.engineer) заробляють багато, але мають низьку освіту. Бути міністром (minister) престижно, але не прибутково;
• рівні освіти та (меншою мірою) престижу професії розподілені бімодально, тобто низькі і високі значення цих показників трапляються частіше, ніж середні.

       На прикладі рис. 1.2 важливо зрозуміти, що в R можна створювати витончені, інформативні, легко настроювані діаграми простим і логічним способам. Створення подібних діаграм із допомогою інших статистичних програм було б складним, довгим або неможливим процесом.

       Сьогодні R є безумовним лідером поміж вільно розповсюджуваних систем статистичного аналізу, про що говорить, наприклад, той факт, що у 2010 році система R стала переможцем щорічного конкурсу відкритих програмних продуктів Bossie Awards в декількох номінаціях. Провідні університети світу, аналітики найбільших компаній і дослідницьких центрів постійно використовують R під час проведення науково-технічних розрахунків і створення великих інформаційних проектів. Широке викладання статистики на базі пакетів цього середовища і всебічна підтримка науковим товариством зумовили те, що приведення скриптів R поступово стає загальновизнаним “стандартом” як у журнальних публікаціях, так і в разі неформального спілкування вчених усього світу.

Історія виникнення й основні принципи організації середовища R

       Система статистичного аналізу та візуалізації даних R складається з таких основних частин:

• мови програмування високого рівня R, що дозволяє одним рядком реалізувати різні операції з об’єктами, векторами, матрицями, списками тощо;
• великого набору функцій обробки даних, зібраних в окремі пакети (package);
• розвиненою системою підтримки, що включає оновлення компонентів середовища, інтерактивну допомогу й різні освітні ресурси, призначені як для початкового вивчення R, так і для подальших консультацій щодо виникаючих ускладнень.

       Початок шляху належить до 1993 року, коли двоє молодих новозеландських вчених Росс Ихак (Ross Ihaka) і Роберт Джентльмен (Robert Gentleman) анонсували свою нову розробку, яку назвали R. Вони взяли за основу мову програмування розвиненої комерційної системи статистичної обробки даних S-PLUS і створили її безоплатну вільну реалізацію, що відрізняється від свого прабатька легко розширюваною модульною архітектурою. Незабаром виникла розподілена система зберігання й поширення пакетів до R, відома під абревіатурою “CRAN” (Comprehensive R Archive Network – http://cran.r-project.org), основна ідея організації якої – постійне розширення, колективне тестування й оперативне поширення прикладних засобів обробки даних.

       З часом такий продукт безперервних і добре скоординованих зусиль потужного “колективного розуму” тисяч безкорисливих розробників-інтелектуалів виявився значно ефективнішим комерційних статистичних програм, вартість ліцензії яких може становити кілька тисяч доларів. Оскільки R є улюбленою мовою професійних статистиків, усі останні досягнення статистичної науки дуже швидко стають доступними для користувачів R у всьому світі у вигляді додаткових бібліотек. Жодна комерційна система статистичного аналізу так швидко сьогодні не розвивається. У R є численна армія користувачів, які повідомляють авторам додаткових бібліотек і самої системи R про виявлені помилки, що в подальшому оперативно виправляються.

       Мова обчислень R, хоча і вимагає певних зусиль для освоєння, неабияких пошукових навичок і хорошої пам’яті, проте дозволяє ефективно виконати розрахунки, за своєю різноманітністю практично «настільки ж невичерпні, як атом». Ентузіастами з усього світу станом на липень 2014 р написано 6739 додаткових бібліотек для R, що включають 137 506 функцій (див. http://www.rdocumentation.org), які суттєво розширюють базові можливості системи. Досить складно уявити будь-який клас статистичних методів, який ще не реалізований сьогодні в R, разом з усім “джентльменським набором”: лінійні й узагальнені лінійні моделі, нелінійні регресійні моделі, планування експерименту, аналіз часових рядів, класичні параметричні й непараметричні тести, байєсівську статистику, кластерний аналіз та методи згладжування. З допомогою потужних засобів візуалізації, результати аналізу можна узагальнювати у вигляді різноманітних графіків і діаграм. Крім традиційної статистики, розроблений функціонал включає великий набір алгоритмів чисельної математики, методів оптимізації, рішення диференціальних рівнянь, розпізнавання образів та ін.

       Безпосереднє навчання практичній роботі в R складається з а) освоєння конструкцій мови R і знайомства з особливостями виконання функцій, які виконують аналіз даних, і б) надбання навичок роботи з програмами, що реалізують специфічні методи аналізу та візуалізації даних. Питання вибору засобів для користувача інтерфейсу R неоднозначний і залежить від вподобань користувачів. Єдиної думки немає навіть у авторитетних фахівців. Одні вважають, що немає нічого кращого стандартного консольного інтерфейсу R. Інші для зручної роботи обирають будь-яку з наявних інтегрованих середовищ розробки (IDE) з багатим набором кнопкових меню. Наприклад, відмінним варіантом є безплатне інтегроване середовище розробки RStudio.

       Один з R-експертів, Джозеф Рикерт, вважає, що процес вивчення R можна розділити на етапи:

1. Знайомство із загальними принципами культури R-спільноти та програмного середовища, у якій розроблялась і функціонує мова R. Знайомство з основними й допоміжними ресурсами. Інсталяція R на комп’ютері користувача і виконання перших тестових скриптів.
2. Зчитування даних зі стандартних файлів операційної системи і впевнене використання R-функцій для виконання обмеженого набору звичних користувачу процедур статистичного аналізу.
3. Використання базових структур мови R для написання простих програм. Написання власних функцій. Ознайомлення зі структурами даних, з якими може працювати R, і більш складними можливостями мови. Робота з базами даних, веб-сторінках і зовнішніми джерелами даних.
4. Написання складних програм на мові R. Самостійна розробка та глибоке розуміння структури об’єктів так званих S3- і S4-класів.
5. Розробка професійних програм на мові R. Самостійне створення додаткових модулів-бібліотек для R.

       Більшість рядових користувачів R зупиняються на стадії 3, тому що отриманих до цього часу знань їм цілком достатньо для виконання статистичних завдань за профілем їхньої основної професійної діяльності. Приблизно в цьому обсязі ми й наводимо опис мови R в рамках Школи аналітики.

       Встановити й налаштувати базову комплектацію статистичної середовища R вельми просто. Завантажити дистрибутив системи разом із базовим набором із 29 пакетів (54 мегабайта) можна абсолютно безкоштовно з основного сайту проекту http://cran.r-project.org. Процес інсталяції системи з завантаженого дистрибутива труднощів не викликає й не вимагає жодних особливих коментарів.

       Для зручності зберігання скриптів, вхідних та вихідних даних варто виділити на комп’ютері користувача спеціальний робочий каталог. Вельми небажано використовувати в назві робочого каталогу символи кирилиці. Шлях до робочого каталогу й деякі інші опції налаштувань доцільно розмістити, змінивши будь-яким текстовим редактором системний файл C:Files-3.00.2.site (на Вашому комп’ютері він може мати інше місце розташування). У представленому нижче прикладі модифіковані рядки виділено курсивом.

# Все, що слідує за символом коментаря «#» середовищем ігнорується
# options(papersize = "a4")
# Options(editor = "notepad")
# Options(pager = "internal")
# Встановити тип відображення довідкової інформації
# options(help_type = "text")
options(help_type = "html")
# Встановити місце розташування локальної бібліотеки
# .Library.site <- file.path(chartr("\\", "/", R.home()), "site-library")
# В разі завантаження середовища запустити меню R Commander
# Поставити знаки «#», якщо запуск Rcmdr не потрібен
local({
  old <- getOption("defaultPackages")
  options(defaultPackages = c(old, "Rcmdr"))
})
# Визначити шлях до робочого каталогу (будь-який іншій на Вашому комп’ютері)
#setwd("D:/R/Process/Resampling").

       Що стосується «хорошого вступного підручника», то будь-які наші рекомендації матимуть суб’єктивний відтінок. Проте, слід згадати офіційно визнане введення в R У. Венеблеза і Д. Сміта (Venables, Smith, 2014 року) і книгу Р. Кабакова (Kabacoff, 2011). Зазаначимо також традиційне “навчання для чайників” (Meys, Vries, 2012) і керівництво (Lam, 2010), написане із завидною голландською педантичністю.