• Анонс нового сезона или коротко о продолжении курса
• Краткое содержание предыдущих серий
• Информационные технологии
• Domain-Specific Languages

• Формат
• Домашние работы
• Контрольные работы
• Предварительная формула оценок
• Содержание

• В 3 и 4 модулях — семестровый курс (лекция + практика в неделю)
• Сайт курса: http://courses.nosoc.io/ (все обновления, начиная со сл. недели)
• Почта курса: intropro2013@nosoc.io

• Приблизительно раз в две недели
• “Вычислительный” кусок (сделать что-то в R) + “теоретический” [+ чтение]

• Начинать можно на пр. занятии

• Начиная с середины или ближе к концу этого модуля – мини-проект

• 3 контрольных и зачёт
• Скорее всего, 2 к/р в этом модуле, 1 и зачет в следующем
• Практическая часть в аудитории (очень сильно основывающаяся на Д/З) + вопросы по теории

Оцениваем не потенциал, а реализацию

• Домашние работы – основа оценки (если нет навыков, результат курса = 0) (50%)
• Контрольные (30%)

• Зачёт (20%)

• Теория и глубокое понимание – водораздел между 7 и 8-9-10, но не могут добавить первые 7

Information technology (IT) is the application (of computers and telecommunications equipment) to store, retrieve, transmit and manipulate data, often in the context of a business or other enterprise. Wikipedia

Информационные технологии:

• аналоговые
• компьютерные (цифровые)

• Store (Технологии хранения информации)
• Retrieve (Технологии поиска (и выборки) информации)
• Transmit (Технологии передачи информации)
• Manipulate (Технологии обработки информации)

• Не говорим про уровень “железа”

• Много говорим про данные и форматы – принцип “чёрного ящика”
• На примере R рассматриваем “Обработку информации” – делаем ящик прозрачным

• Двоичное (бинарное) и текстовое представления
  • Форматы двоичных файлов
  • Текстовое представление (не Word)
• Преимущества бинарного представления
  • Большая компактность

• Преимущственно хранят неструктурированную (с точки зрения автоматической обработки), или слабоструктурированную информацию.
• Преимущества бинарного представления
  • Скорость обработки
  • Vendor lock-in (для вендора)
• Преимущества текстового представления
  • Универсальный доступ (с текстом умеют работать все программы)
  • Возможность структурирования (добавления и использования семантики)
  • Fallback: возможность обработки семантически сложного формата как текста

• “Связанные таблицы”
• Преимщуественно, хранение сильноструктурированных данных
• Обычно, много числовых данных, хорошо работают с ними:
  • Типовые операции
  • Агрегационные функции (группировки, суммы, средние)
  • БОЛЬШИЕ ОБЪЁМЫ числовых данных
• Много хуже работают с неструктурированными данными (или данными неподходящей структуры)

• domain-specific markup languages,
• domain-specific modeling languages (more generally, specification languages),
• and domain-specific programming languages. Wikipedia

Язык разметки – система аннотирования (добавления метаинформации) к документу способом, делающим её отличной от текста

Примеры:

• Markdown
• HTML
• XML (Является ли DSL)
• BibTeX

# An h1 header


Paragraphs are separated by a blank line.

2nd paragraph. *Italic*, **bold**, `monospace`. Itemized lists
look like:

  * this one
  * that one
  * the other one

An h1 header

Paragraphs are separated by a blank line.

2nd paragraph. Italic, bold, monospace. Itemized lists look like:

• this one
• that one
• the other one

<CATALOG>
<PLANT>
<COMMON>Bloodroot</COMMON>
<BOTANICAL>Sanguinaria canadensis</BOTANICAL>
<ZONE>4</ZONE>
<LIGHT>Mostly Shady</LIGHT>
<PRICE>$2.44</PRICE>
<AVAILABILITY>031599</AVAILABILITY>
</PLANT>
<PLANT>
<COMMON>Columbine</COMMON>
<BOTANICAL>Aquilegia canadensis</BOTANICAL>
<ZONE>3</ZONE>
<LIGHT>Mostly Shady</LIGHT>
<PRICE>$9.37</PRICE>
<AVAILABILITY>030699</AVAILABILITY>
</PLANT>
<CATALOG>

• Не визуальная, а семантическая разметка
• Отделение смысла от представления:
  • http://www.w3schools.com/xml/simple.xml
  • http://www.w3schools.com/xml/simplexsl.xml

@book{adler,
  abstract = {Presents a guide to the R computer language, covering such topics as the user interface, packages, syntax, objects, functions, object-oriented programming, data sets, lattice graphics, regression models, and bioconductor.},
  address = {Sebastopol, CA},
  author = {Adler, Joseph},
  isbn = {9780596801700 059680170X},
  keywords = {R},
  publisher = {O'Reilly},
  title = {R in a nutshell},
  year = 2010
}

• Harvard: Adler, J. (2010), R in a nutshell , O'Reilly , Sebastopol, CA.
• APA: Adler, J. (2010). R in a nutshell. Sebastopol, CA: O'Reilly. ISBN: 9780596801700 059680170X

• Описывают формальную модель какой-либо области

• Gellish Formal English

Средство выборки и обработки (Retreive/Manipulate) данных

Содержимое “ящика” (processing)

• GPL (Языки программирования общего назначения) (C (C#, C++, …), Python (Ruby, Perl, …) Go, Java, …) – могут описывать любые(*) преобразования данных, за счёт “бОльшей многословности”
• Domain-Specific Languages позволяют в своей области выполнить задачу меньшим количеством “слов” (но хуже подходят для других задач)
• Сложнее отделить от ЯП общего назначения (почти всегда могут всё, но многое плохо)
• Если ЯП что-то делает хорошо – повод ли это считать его DSL?
• Программные библиотеки

• “Микрояызки” в “больших языках” (embeded DSL)

y ~ wage + gender

• Может играть роль ЯП общего назначения (но не всегда удачно)
• Очень хорош в своей области (интерактивное стат. моделирование/работа с данными)
• Не безнадёжен в автоматизированной работе с данными (в последнее время)

data(iris)
library(ggplot2)
data(diamonds)
kable(head(diamonds))

• Лекцию читал: Илья Леонидович Мусабиров
• Лекция подготовлена: И. Л. Мусабиров, П. В. Окопный,
  при участии канд. пед. наук. доц Н. Г. Дмошинской
• Сайт курса: http://courses.nosoc.io
• E-mail курса: intrpro2013@nosoc.io