• Determinar, de una amplia oferta cinematográfica disponible, las películas que se proyectarán de acuerdo a las limitaciones físicas y presupuestarias del cine, con el uso de herramientas estadísticas y de técnicas de Minería de datos, considerando la necesidad de ofrecer variedad a los potenciales clientes.

• Aplicar la técnica descriptiva de clustering para segmentar películas con atributos lo suficientemente similares y compararlas con otros grupos.

• Facilitar el proceso de toma de decisión y presentar adecuadamente resultados útiles para cumplir con la política de variedad en la cartelera de películas.
  

En el presente proyecto, en primer lugar, se estableció un problema a tratar el cual debe ser entendido, del mismo modo, una comprensión clara de los objetivos que se plantearon, para tener una perspectiva clara de lo que se pretende analizar, con el fin de convertirlos en objetivos técnicos y en un plan de proyecto. Este primer paso nos permitirá una correcta selección y tratamiento de los datos para interpretarlos y tener un óptimo resultado. En esta primera fase es muy importante tener la capacidad de poder convertir lo que se conoce del problema en un problema de Minería de datos.

• Determinar los objetivos del problema, para abordar esta primera tarea es importante identificar el área que se va a trabajar, en este proyecto se pretende abordar el área Cinematográfica, específicamente el negocio de un cine, el cuál ofertará una cartelera variada de películas con mejor acogida, tomando en cuenta sus limitaciones físicas y presupuestarias, para ofrecer a sus usuarios una mejor experiencia al momento de seleccionar la función de su agrado.

• Evaluación de la situación, es importante conocer la situación antes de iniciar con el proceso de tomar decisiones, el plantearse preguntas como ¿Qué conocimiento tengo para resolver el problema?, ¿Qué necesito para resolver el problema?, ¿Qué beneficios se obtendrán? Por lo tanto, debemos definir los requisitos del problema. Necesitamos en primer lugar, la idea del negocio, en este caso, ya especificado en los objetivos del problema es el ofertar una cartelera cinematográfica variada y con mejor aceptación basado en datos reales, por lo cual se sigue con la obtención de una base que proporcione la información para realizar un análisis estadístico y posteriormente generar resultados la cuál será especificada en la siguiente fase. El problema se procede a trabajar en un software para el tratamiento de los datos nuestro caso usando R studio, se podrá obtener una serie de resultados que facilitarán el análisis y especialmente para la comprensión del mismo.

• Determinación de los objetivos, en base a la Minería de Datos, en esta sub-fase se procede a establecer los objetivos técnicos referentes a la Minería de datos como el aplicar técnicas descriptivas de clustering, para segmentar películas con atributos lo suficientemente similares y compararlas con otros grupos. Así esta última tarea de la primera fase tiene como meta desarrollar un plan para poder desarrollar el proyecto de una manera clara y comprensibles para el analísta.

Una vez recolectados los datos es necesario comprenderlos, para ello se identifica su calidad relacionándolo con el problema planteado. El procedimiento para llevar a cabo esta fase es el siguiente:

• Recolección de datos iniciales, se toma en cuenta una base de datos que se asocie con el problema planteado, en este caso se tomaron datos de IMDb (Internet Movie Database), los cuales presentan características de películas entre el período de 1986 al 2006.

• Descripción de datos, esta consta de determinar el volumen de los datos e identificar a las variables descritas. La base para este trabajo consta de 6820 películas y 14 variables que describen las características de estas como: el presupuesto, la productora, el país de origen, el director, el género principal de la película, ingresos de la película, el rating, fecha de lanzamiento (AAAA-MM-DD), la duración de la película, calificación de usuario de IMDb, el número de votos de los usuarios, el actor/actriz principal, el guionista y año de lanzamiento.

• Exploración de datos, se busca encontrar una estructura para la base de datos, para ello es necesario realizar la estadística descriptiva de las variables y analizarlas.

• Verificación de la calidad de los datos, en esta etapa se verifica la consistencia de los datos para su correcto análisis.
  

En esta fase se prepara a la base de datos para adaptarla a la técnica de clustering. Además, esta etapa se encuentra estrechamente relacionada con la fase de modelado puesto que los datos requieren ser procesados en función a la técnica de modelado que se ha elegido. Esta preparación de datos requiere de las siguientes acciones:

• Selección de los datos, de la base proporcionada, se procede a seleccionar un subconjunto de datos los cuales nos permitirán un análisis que cumpla con los objetivos que se plantearon al inicio del proyecto. La base cuenta variables que no son relevantes que más adelante son separadas para un mejor análisis de las variables más correlacionadas.

• Limpieza de datos, con la ayuda del sofware es posible verificar las variables con datos faltantes, en este caso la base se encuentra completa.

• Estructuración de los datos, se trabajará con los atributos ya existentes no se aumentará otras variables para el estudio ni tampoco nuevos registros por el momento.

• Integración de los datos, La integración de los datos, involucra la creación de nuevas estructuras, a partir de los datos seleccionados, por ejemplo, generación de nuevos campos a partir de otros existentes, creación de nuevos registros, fusión de tablas campos o nuevas tablas donde se resumen características de múltiples registros o de otros campos en nuevas tablas de resumen.-Gallardo. Dado que no se incluyen nuevas variables, ni registros no se requiere una integración de datos.

• Formateo de los datos, la base no cuenta con caracteres especiales los cuales deban ser reemplazados, es una base limpia y apta para trabajar.

Al aplicar métodos de clustering, la elección del número de clusters es crucial. Una mala elección de los mismos puede dar lugar a agrupaciones de datos muy heterogéneos obteniendo muy pocos clusters. Determinar mal el número de clusters también puede ubicar datos similares en diferentes clusters generando clusters en exceso.

Para evitar estos problemas, existen varios métodos para determinar un número apropiado de clusters como el método de Elbow o el uso de Dendrogramas. También, se puede usar de forma práctica iteraciones con el algoritmo de KMeans para determinar con la suma de los cuadrados de los errores, una cantidad adecuada de clusters cuando este se llegue a normalizar el error. La elección de los métodos para determinar el número adecuado también dependerá de cómo se hayan tratado los datos en las fases previas.

Ante la opción de poder usar métricas de evaluación internas y externas, se considera que las métricas internas evalúan qué tan buena es la estructura del clustering sin necesidad de información ajena a los propios datos, algoritmo y resultado. Por lo cual, se las estima adecuadas para este caso en particular.

Dentro de las métricas de evaluación internas encontramos dos criterios fundamentales, la cohesión y la separación. La cohesión se refiere a que el objeto de cada cluster debe ser lo más cercano posible al resto de miembros del mismo cluster. La separación por su parte, hace referencia a que los cluster deben estar separados ampliamente entre sí. Para medir la distancia entre cada cluster se pueden tomar los miembros más cercanos de cada cluster, los más distantes o los centroides.

Para resolver el criterio de cohesión, existe la métrica SSW (Sum of Squares Within), la cual es una medida que considera la sumatoria de la distancia al cuadrado de un punto del cluster y el centroide del cluster.

Para el criterio de separación se utiliza la medida SSB (Sum of Squares Between), que se obtiene de la sumatoria de la distancia al cuadrado del centroide del cluster y la media del dataset, por el número de elementos en cada cluster.

Además, existen índices que utilizan estas sumas de cuadrados como los propuestos a continuación:

• Ball-Hall (1965)
  
• Calinski-Harabaz (1974)
• Hartigan(1975)
• Xu(1997)

También existen índices basados en otros criterios como el Davies-Bouldin(DB) o el Coeficiente de Silhouette.

Después de un proceso de clustering validado, se transforma el conocimiento en acciones dentro del proceso. Vale recalcar que el uso de la Minería de datos no concluye en la implantación de técnicas, pues es necesario documentar y presntar los resultados de tal manera que sea comprensible para el cliente. Las tareas que se ejecutan en la implementación de los clusters y ofrecer al usuario la cartilla con mejores opciones para cumplir el objetivo, en este caso de brindar al usuario una variedad de películas para su entretenimiento. Dado todo este proceso, se requiere presentar un informe con un resumen de los puntos más importantes del proyecto para que el cliente pueda revisar y evaluar así dar su punto de vista y recomendar si se requiere mejorar algún aspecto, hasta conseguir la aprobación del mismo.

Hay 6820 películas en el conjunto de datos (220 películas por año, 1986-2016). Cada película tiene los siguientes atributos:

presupuesto: el presupuesto de una película. Algunas películas no tienen esto, por lo que aparece como 0

• company: la productora
• country: país de origen
• director: el director
• genre: género principal de la película.
• gross: ingresos de la película
• name: nombre de la película
• rating: rating de la película (R, PG, etc.)
• released: fecha de lanzamiento (AAAA-MM-DD)
• runtime: duración de la película
• score: calificación de usuario de IMDb
• votes: número de votos de los usuarios
• star: actor / actriz principal
• writer: guionista de la película
• year: año de lanzamiento

Con la ayuda de R podemos hacer uso de funciones que permitan realizar la correcta limpieza de datos, para nuestra base se sigue:

datasets_2745_4700_movies <- read.csv("C:/Users/MABE ROSERO/Documents/Mineria de Datos/ejercicio1/datasets_2745_4700_movies.csv")
sapply(datasets_2745_4700_movies,function(x)sum(is.na(x))) #ver el resumen de cuantos faltan 

  budget  company  country director    genre    gross     name   rating 
       0        0        0        0        0        0        0        0 
released  runtime    score     star    votes   writer     year 
       0        0        0        0        0        0        0 

datasets_2745_4700_movies<- na.omit(datasets_2745_4700_movies,function(x)sum(is.na(x)))# quitar las filas

A continuación se retira las variables que se han considerado menos relevantes en el estudio

##eliminar las variables released y year
a<-c("released","year")
datasets_2745_4700_movies<- select(.data=datasets_2745_4700_movies,-a)

El gráfico nos muestra que la compañía “Warner Bros.” es la que genéra mayor impacto entre las películas de drama.