Оценка эффективности работы службы поддержки игр Conflict of Civilazations, Seaborne Invasion и Wealthy Farmer.

Для того, чтобы выявить качество работы службы поддержки игр Conflict of Civilazations, Seaborne Invasion и Wealthy Farmer, мы используем данные об обращениях пользователей в службу поддержки по тем или иным проблемам в играх. Каждому обращению соответствует свой id; агент, обработвший обращение; наименование игры, по котороый поступило обращение; время обращения; тег (язык или тема обращения); а так же предыдущий статус обращения (если исходная проблема возникает не впервые) и статус после обработки агентом. На основе этих данных мы с делали определенные выводы.

ticket_id agent game created_time
165153365 Marlen Conflict of Civilazations 2014-01-01 20:06:57
963669136 Nicole Conflict of Civilazations 2014-01-02 22:55:35
948902923 Albert Wealthy Farmer 2014-01-04 10:19:52
359445066 Marlen Wealthy Farmer 2014-01-06 21:01:17
208285984 Marlen Wealthy Farmer 2014-01-13 00:01:10
268433965 Albert Conflict of Civilazations 2014-01-04 20:55:03
149517210 Nicole Conflict of Civilazations 2014-01-06 22:22:44
559605905 Nicole Wealthy Farmer 2014-01-09 12:06:51
84117480 Albert Conflict of Civilazations 2014-01-06 07:59:16
299947301 Nicole Wealthy Farmer 2014-01-14 06:05:37
ticket_id tag tag_type
165153365 ES lang
963669136 lost_village desc
948902923 donations desc
948902923 ES lang
359445066 FR lang
208285984 lost_village desc
208285984 FR lang
268433965 lost_village desc
149517210 lost_village desc
149517210 FR lang
ticket_id tag tag_type
54224592 : 4 EN : 371 desc:2475
503160511: 4 ES : 354 lang:3733
515969948: 4 FR : 352 NA
659188778: 4 DE : 254 NA
906642985: 4 SV : 254 NA
2259009 : 3 IT : 253 NA
(Other) :6185 (Other):4370 NA
ticket_id status previous_status updated_time
165153365 rejected new 2014-01-01 22:07:46
963669136 solved new 2014-01-03 00:06:51
948902923 rejected new 2014-01-04 11:47:55
359445066 open solved 2014-01-06 23:00:10
359445066 solved open 2014-01-06 23:00:10
208285984 open solved 2014-01-13 01:03:43
208285984 solved new 2014-01-13 01:03:43
268433965 solved new 2014-01-04 21:11:45
149517210 rejected new 2014-01-07 00:05:38
149517210 solved open 2014-01-07 00:05:38

C помощью исходного датасета мы рассмотрели количество обращений в каждый день января по каждой конкретной игре, что отражено на графике 1.

Наибольшее количество обращений было обработано 6 января, что возможно связать с наступающий праздником Рождества и освобождением времени. Однако это так же может означать увеличение количества сбоев в программном обеспечении игр.

Зависимость предыдущего статуса обращения от статуса на выходе и влияние обоих показателей на эффективность службы

Мы так же рассмотрели зависимость предыдущего статуса обращения от статуса на входе.

График показывает, что обращений, которые уже были ранее разрешены, а затем открыты вновь - меньшинство. Так же можно сделать вывод, что ранее не разрешенные обращения (open) во второй раз в большинстве случаев все-таки разрешаются, пробретая статус solved (третий слева столбец).

На основе Графика 2 можно сделать вывод об относительной эффекивности службы поддержки. Однако значительная часть обращений все же остается открытой (open) или вообще отклоненной (rejected) - почти 35 % (если сложить вместе первый и второй столбы и сопоставить с общий количеством обращений).

Тем не менее совсем новые обращения (new) в большинстве случаев разрешаются.

По этому показателю можно сделать вывод, что служба поддержки более эффективно решает новые проблемы, чем старые.

На графиках 3 и 4 отображена обработка обращений во времени в зависимости от их статуса. Несложно заметить, что большинство обращений пришло в службу поддержки в период с 6 по 12 января. Нерешенных вопросов со статусом (open) стало больше к 10 января, в то время как число отклоненных (rejected) к этому времени наоборот уменьшается.

Возросшее количество обращений с 6 по 12 января негативно повлияло на способность решения службой поддержки возникающих проблем, так как число нерешенных обращений увеличилось.

Количество описательных и языковых обращений

На графике 5 показано количество обращений с тегами “описательный” или “языковой”.

Очевидно, что языковых обращений много больше, что означает неспособность или нежелание пользователями указать конкретную тематику проблемы обращения.

Проверка предположения о предпочтениях агентами обращений, основанных на игре

Для выявления паттернов поведения агентов службы поддержки, мы сначала обратились к простому графику 6, который не выявил явных предпочтений в выборе агентами той или иной игры.Единственное, что возможно в данном случае утверждать, это то, что Николь обработала больше запросов по игре “Conflict of Civilizations”, Альберт по играм “Welthy Farmer” и “Conflict of Civilizations”, а Сандра - “Seaborn Invasion”.

Однако утверждать о намеренных предпочтениях в обработке именно этих игр у указанных агентов на основании графика 6 мы не можем, так же как и не можем утверждать, что у остальных агентов этих предпочтений нет.

  Conflict of Civilazations Seaborne Invasion Wealthy Farmer
Adolf 83 84 72
Adrian 77 70 68
Albert 116 57 133
Gerhard 78 65 61
Giselle 74 83 77
Josephine 55 75 68
Katarina 70 81 84
Lulu 76 77 82
Magda 68 76 72
Markus 63 73 63
Marlen 111 87 110
Nicole 129 70 121
Sandra 74 84 56
Vanessa 70 68 82

Для того, чтобы утверждать о наличии и отсуствии предпочтений, мы введем нулевую гипотезу о том, что взаимосвязи между агентом и выбором обращения по конкретной игре нет. И проверим её с помощью теста хи-квадрат.

## 
##  Pearson's Chi-squared test
## 
## data:  tbl_games
## X-squared = 67.845, df = 26, p-value = 1.359e-05

Полученное p-value = 1.359e-05 = 0.00001359 < 0.05 доказывает сильную несостоятельность нулевой гипотезы, что означает, что паттерн зависимости в общем случае существует. Однако необходимо так же рассмотреть коэффициенты Пирсона для того, чтобы утверждать, для каких конкретно агентов эта зависимость наибольшая.

  Conflict of Civilazations Seaborne Invasion Wealthy Farmer
Adolf 0.1341 1.031 -1.119
Adrian 0.3993 0.3007 -0.6859
Albert 1.103 -3.989 2.713
Gerhard 0.9802 0.1157 -1.089
Giselle -0.6791 1.108 -0.3821
Josephine -1.55 1.624 -0.006454
Katarina -1.162 0.8368 0.3594
Lulu -0.4927 0.3712 0.1368
Magda -0.6882 0.9903 -0.26
Markus -0.6179 1.328 -0.6526
Marlen 0.5455 -0.9902 0.4023
Nicole 1.863 -3.043 1.05
Sandra 0.0897 2.047 -2.047
Vanessa -0.6092 -0.1323 0.7343

Коэффициенты Пирсона действительно показывают склонность агентов Сандры, Николь и Альберта к обработке определенных игр.

Отсюда необходимо сделать вывод, о неэффективности прицнипа обработки всех игр каждый агентом. Возможно, специализация для каждого агента в соответствии с предпочтениями улучшила бы работу службы поддержки.

Проверка взаимосвязи статуса обращения и агента, его обработавшего

Та же самая процедура была проделана для оценки взаимосвязи статуса обращения и агента, его обработавшего.

В основном у каждого агента больше решенных, чем нерешенных вопросов, однако у Альберта, Марлен и Николь больше всех отклоненных обращений, а открытых (нерешенных) - у Альберта и Марлен.

  open rejected solved
Adolf 90 93 382
Adrian 83 93 356
Albert 156 159 490
Gerhard 74 100 345
Giselle 104 91 411
Josephine 66 100 317
Katarina 95 79 418
Lulu 103 110 404
Magda 78 105 348
Markus 72 98 329
Marlen 136 141 537
Nicole 123 145 513
Not Available 67 65 251
Sandra 84 94 374
Vanessa 85 93 385

Проверим эти взаимосвязи с помощью теста хи-квадрат.

## 
##  Pearson's Chi-squared test
## 
## data:  tbl_all
## X-squared = 36.044, df = 28, p-value = 0.1415

Полученное p-value = 0.1415 < 0.05, что означает что стопроцентно эффективных, как и стопроцентно неэффективных агентов по показателям разрешенности обращений в службе поддержки нет. Однако зависимость между отпределенным статусом и агентом существует.

  open rejected solved
Adolf -0.05065 -0.7064 0.3901
Adrian -0.238 -0.1259 0.1821
Albert 2.385 1.376 -1.884
Gerhard -0.9998 0.8428 0.0558
Giselle 0.7057 -1.576 0.4678
Josephine -1.291 1.563 -0.1736
Katarina 0.01996 -2.524 1.295
Lulu 0.4216 0.06922 -0.243
Magda -0.7631 1.13 -0.2089
Markus -0.8851 1.024 -0.09404
Marlen 0.4942 -0.2638 -0.1066
Nicole -0.1854 0.5678 -0.2024
Not Available 0.7233 -0.344 -0.1777
Sandra -0.468 -0.3807 0.4268
Vanessa -0.5436 -0.6722 0.6147

У обращений, обработанных Альбертом существует склонность к статусу “нерешенный”, а у Катарины - “отклоненный”.

Администрации службы поддержки необходимо обратить особое внимание на взаимосвязь между отклоненными обращениями и агентами Альберт и Катерина. Озабоченность вызывает так же большая взаимосвязь между отклоненными и нерешенными обращениями вместе и агентами Герхард, Джизель и Джозефин.

В целом работу службы поддержки можно назвать эффективной, однако существуют проблемы, требующие решения. Это такие вопросы, как падение качества обсуживания при возрастании количества обращений; неспособность или нежелание пользователями тематизировать свое обращение; склонность всех агентов к выбору обращений по определенной игре; взаимосвязь отдельно взятых агентов и негативных для службы поддержки статусов (open и rejected).