Group Report

Рекомендательные системы

В ходе проектной работы были разработаны две рекомендательные системы. Для их совершенствования были отобраны и применены наиболее влиятельные характеристики фильмов, выбор которых будет объяснен далее. В проекте помимо самих рекомендательных систем, вы увидете разработанный нами холодный старт (для двух случаев) и подробное объяснение его функционирования.

Участники проекта и их роли: Старостин Николай – руководитель группы, главный помощник и редактор работ, разработка рекомендательной системы (коллаборативная фильтрация). Кустова Ксения – сбор и анализ дополнительных данных, выявление весомых характеристик для фильма, помощь другим участникам. Тетер Анастасия – кластерный анализ сети жанров, текстовый анализ, помощь другим разработчикам. Быханова Кристина – сбор и анализ дополнительных данных, расчет коэффициентов регрессии, выявлении наиболее значимых факторов, подготовка презентации. Бухаринова Дарья – разработка рекомендательной системы (характеристики фильмов), кластерный анализ сети жанров и расчет ассортативности.

Выявление значимых характеристик - анализ дополнительных данных

Перед тем как перейти к рекомендательным системам, мы выявим значимые характеристики фильмов, которые были применены для совершенствования рекомендательных систем. А также выявили те, что не подходят, то есть являются бесполезными для её усовершенствования.

В качестве дополнительных данных была добавлена такая информация как: режиссер фильма, сценарист фильма, актерский состав, возрастной рейтинг и главная звезда.

Есть ли зависимость между оценками фильма и его возрастным рейтингом?

Как можно заметить из графика между оценкой фильма и его возрастным рейтингом есть прямая связь. Иными словами, чем выше возрастной рейтинг - тем ниже оценка фильма. Так, фильмы предназначенные для всех возрастов обладают самой высокой медианной оценкой. В целом, такое явление объяснить просто: в этих фильмах отсутствуют насилие, наркотики, неприличные выражения и грубости. Данные фильмы приятно смотреть в любом возрасте. Соответственно, чем выше возрастной рейтинг фильма тем больше в нем насилия, наготы, ругательств, что существенно снижает медианную оценку фильму. Таким образом, в нашей рекомендательной системе одной из характеристик фильмов, по которой его можно рекомендовать, будет - возрастной рейтинг.

Влияет ли наличия оскара или номинация на него на оценку с фильмом?

Рассмотрев график, можно сделать важный и значительный вывод: от наличия оскара или номинации на него зависит оценка фильма. Так, фильмы получившие Оскар в той или иной номинации практически не имеют оценки ниже 4. В то время как фильмы, номинированные на Оскар не имеют оценки выше 4, а их медианная оценка чуть выше 3,75. Самыми низкими оценками от 3,125 и почти до 3,75 обладают фильмы не участвующие в Оскаре.

Таким образом, наличие оскара является весомой характеристикой, которая была добавлена в нашу рекомендательную систему.

В результате поиска дополнительной информации были найдены также следующие переменные: imdb rating, original source.

После объединения двух датасетов для дальнейшего анализа было отобрано 66 фильмов с наиболее высоким рейтингом. В полученном датасете есть imdb рейтинг, который любопытно сопоставить с изначально имеющимся в датасете.

Два рейтинга совершенно не совпадают друг с другом, поэтому такая переменная не подходит для улучшения рекомендательной системы. То, что человек предпочитает фильмы на определённом сайте с высоким рейтингом, совсем не означает, что фильм с низким ему не подойдёт в связи с неоднозначностью оценок на разных ресурсах.

##Кластеризация по жанрам

Проанализируем сеть фильмов по жанрам:

Посмотрим на распределение силы связи между фильмами:

Мы можем попробовать удалить все связи, у которых сила ниже 0.03.

Разделим все вершины на кластеры с помощью методов сетевого анализа. Изображение кластеров:

У нас получилось 7 кластеров по жанрам. На данном изображении видно, что некоторые из них достаточно обособлены от других, а некоторые смешаны с другими. Теперь проинтерпретируем некоторые из получившихся кластеров:

В кластере 1 в основном встречаются драмы и триллеры.

В кластере 2 чаще можно наблюдать опять драмы, но у же совместно с комедиями и приключениями.

В кластере 5 представлен только один фильм - Рембо: первая кровь часть2, который совмещает в себе триллер, экшн, приключения и военную тематику. Это может значить, что в нашем датасете нет фильмов, которые по жанрам тесно перекликались бы с этой частью Рембо.

Кластеризация по компаниям производителей

Проанализируем сеть компаний производителей фильмов:

Снова посмотрим на распределение силы связи между фильмами:

На этот раз удалим все связи, у которых сила ниже 0.07.

Разделим все вершины на кластеры с помощью методов сетевого анализа. Изображение кластеров:

У нас образовалось 37 кластеров по разным компаниям производителей. Как и в предыдущие разы, некоторые кластеры отделены более четко, а некоторые смешаны с другими. Но в то же время, здесь присутствует разбиение кластеров на 2 группы, между которыми вообще не существует какой-либо связи. То есть, условно можно поделить все компании производилей на две обособленные друг от друга группы. Причем, в одной группе наблюдается более тесная связь между кластерами. В то время как в другой группе производители из разных кластеров работают более изолированно друг от друга. Стоит отметить, что в “изолированной” группе кластеры сами по себе намного меньше по размеру.

Рекомендательная система (Коллаборативная фильтрация)

Рекомендательная система на основе UBCF советует 15 фильмов, после этого применяются специальные функции, которые ранжируют эти фильмы от наиболее подходящих к наименее. На выходе показывается 3 (или немного больше из-за одинакового совпадения фильма). Пользователь может выбрать какое ограничение (из системы рейтингов Американской киноассоциации) накладывается на рекомендованные фильмы.

Оценка модели

В нашей модели не используется eval_sets, потому что мы сами рассчитываем в дальнейшем процент совпадения с предпочтениями пользователя и выбираем лучшее (аналог параметра goodRating). Соответственно мы также используем все оценки пользователей, поэтому для оценки у нас используется параметр given=-1, goodRating был оставлен на 4. Согласно таблицам оценок, метод UBCF выигрывает IBCF. Все измерения ошибок у него меньше. Также мы используем UBCF, потому что нам важнее смотреть на паттерны пользовательских оценок, которые можно не “выловить”, если использовать коллаборативную фильтрацию относительно фильмов. (первая таблица - UBCF, вторая - IBCF)

##      RMSE       MSE       MAE 
## 1.0485424 1.0994412 0.8195204

##     RMSE      MSE      MAE 
## 1.795231 3.222856 1.370556

Холодный старт (первый случай)

Был добавлен холодный старт из 15 фильмов. Они выбираются следующим образом:
1. Берутся самые популярные по количеству оценок фильмы со средней оценкой >= 3
2. Из них выбираются те, у которых более трёх жанров (это необходимо, чтобы точнее определить веса для итогового ранжирования)
3. Далее берется 5 самых популярных фильмов из каждого ограничения (PG, PG-13, R) и предлагаются пользователю на оценку.
4. Оценки добавляются в датасет ratings.
5. Пользователь, проходивший холодный старт должен ввести ID 100.
(так как постичь shiny не удалось, придется вводить вектор с оценками ручками) Ниже можно увидеть таблицу с новыми оценками.

Выбор ограничения по рейтингу

• PG - Детям рекомендуется смотреть фильм с родителями.
• PG-13 - Просмотр не желателен детям до 13 лет.
• R - Лица, не достигшие 17-летнего возраста, допускаются на фильм только в сопровождении одного из родителей, либо законного представителя.
• Nevermind - Рейтинг не важен

Было решено оставить их, так как остальных мало.

Процент совпадения

Процент совпадения с предпочтениями пользователя расчитывается после ранжирования фильма. Вместе с теми же весами, которые используются для ранжирования, рассчитывается вес “идеальной комбинации жанров”. Для этого берется среднее количество жанров оцененных фильмов (например, 3.66), после берется сумма из n (1:3) элементов наибольших весов, к этой сумме добавляется n+1 (4) элемент, который домножается на среднее - n (3.66-3). Это и будет нужный вес. Далее веса предсказанных фильмов делятся на идеальный и умножаются на 100%. Из-за особенностей формулы, если у фильма много жанров, то его Match может быть больше 100%

Примеры рекомендаций. Первая система

Текстовый анализ

В части текстового анализа мы решили изучить, какие ключевые слова являются наиболее частыми у разных жанров. Их можно использовать для создания весов альтернативной рекомендательной системы. Полученные результаты можно увидеть в таблице ниже:

Рекомендательная модель (характеристики фильмов)

Построим рекомендательную систему для пользователей на основе похожих фильмов (тех, что были оценены пользователем достаточно высоко)

## 
##  Spearman's rank correlation rho
## 
## data:  data_meta$mean_rate and data_meta$popularity
## S = 8761600, p-value = 1.343e-11
## alternative hypothesis: true rho is not equal to 0
## sample estimates:
##       rho 
## 0.3199972

Холодный старт (для второго случая)

В качестве холодного старта для пользователей у которых нет оценок 5, будем использовать оценки 4, а если их нет или оценок нет вообще, будем рекомендовать самые популярные фильмы. Выбираем id пользователя, например, 2140261 У него достаточно много оценок по 5 баллов. Порекомендуем ему 5 фильмов, чтобы он мог смотреть их после работы каждый день рабочей недели :) Этому пользователю нравились странные драмы, и система порекомендовала ему странные драмы (да, бетмен тоже драма)