library(tidyverse)
## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr 1.1.4 ✔ readr 2.1.5
## ✔ forcats 1.0.0 ✔ stringr 1.5.1
## ✔ ggplot2 3.4.4 ✔ tibble 3.2.1
## ✔ lubridate 1.9.3 ✔ tidyr 1.3.1
## ✔ purrr 1.0.2
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag() masks stats::lag()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errors
library(gghighlight)
library(leaflet)
library(IRdisplay)
options(scipen = 999)
options(warn = -1)
library(lubridate)
library(viridis)
## Loading required package: viridisLite
library(data.table)
##
## Attaching package: 'data.table'
##
## The following objects are masked from 'package:lubridate':
##
## hour, isoweek, mday, minute, month, quarter, second, wday, week,
## yday, year
##
## The following objects are masked from 'package:dplyr':
##
## between, first, last
##
## The following object is masked from 'package:purrr':
##
## transpose
library(caTools)
library(kernlab)
##
## Attaching package: 'kernlab'
##
## The following object is masked from 'package:purrr':
##
## cross
##
## The following object is masked from 'package:ggplot2':
##
## alpha
library(caret)
## Loading required package: lattice
##
## Attaching package: 'caret'
##
## The following object is masked from 'package:purrr':
##
## lift
library(ROSE)
## Loaded ROSE 0.0-4
##Reading in files
list.files(path = "../input")
## character(0)
Adjuntando paquete: ‘lubridate’
El siguiente objeto está oculto por el paquete ‘base’:
fecha
Cargando paquete requerido: viridisLite
Adjuntando paquete: ‘data.table’
Los siguientes objetos están ocultos por el paquete ‘lubridate’:
hora, isosemana, día_mes, minuto, mes, trimestre, segundo, día_semana, semana,
día_año, año
Los siguientes objetos están ocultos por el paquete ‘dplyr’:
entre, primero, último
El siguiente objeto está oculto por el paquete ‘purrr’:
transponer
Adjuntando paquete: ‘kernlab’
El siguiente objeto está oculto por el paquete ‘purrr’:
cruzar
El siguiente objeto está oculto por el paquete ‘ggplot2’:
alfa
Cargando paquete requerido: enrejado
Adjuntando paquete: ‘caret’
El siguiente objeto está oculto por el paquete ‘purrr’:
levantamiento
Cargado ROSE 0.0-3
‘all_month.csv’
earthquake = read.csv("/cloud/project/all_month.csv")
Analizado con especificación de columna:
cols( .default = col_double(), time = col_datetime(format = ““), magType = col_character(), net = col_character(), id = col_character(), updated = col_datetime(format =”“), place = col_character(), type = col_character(), status = col_character(), locationSource = col_character(), magSource = col_character() )
Ver spec(…) para especificaciones completas de columnas. Al escribir este texto, hay alrededor de 8200 observaciones (¡Dios mío! ¡tantos terremotos en poco más de un mes!). Hay 22 variables y he proporcionado los detalles de cada variable en la sección siguiente.
¡Actualización: Este conjunto de datos se actualizó hoy, 25 de marzo, y el número actual de observaciones ha aumentado a 8502.
glimpse(earthquake)
## Rows: 8,161
## Columns: 22
## $ time <chr> "2019-03-11T04:30:18.250Z", "2019-03-11T04:24:26.536Z"…
## $ latitude <dbl> 33.52100, 61.06940, 38.77333, 65.01810, 37.29130, 35.1…
## $ longitude <dbl> -116.7945, -151.8329, -122.7435, -148.7292, -117.5088,…
## $ depth <dbl> 2.82, 105.60, 1.16, 8.60, 6.90, 5.00, 6.20, 48.70, 2.5…
## $ mag <dbl> 0.44, 1.10, 0.73, 1.60, 0.70, 1.80, 1.70, 1.90, 0.56, …
## $ magType <chr> "ml", "ml", "md", "ml", "ml", "mb_lg", "ml", "ml", "md…
## $ nst <int> 18, NA, 5, NA, 8, NA, 30, NA, 10, NA, NA, NA, NA, NA, …
## $ gap <dbl> 53.00, NA, 213.00, NA, 176.36, 64.00, 93.14, NA, 77.00…
## $ dmin <dbl> 0.009898, NA, 0.011220, NA, 0.375000, 0.219000, 0.1370…
## $ rms <dbl> 0.1400, 0.2500, 0.0100, 0.5100, 0.2800, 0.5100, 0.3300…
## $ net <chr> "ci", "ak", "nc", "ak", "nn", "us", "nn", "ak", "nc", …
## $ id <chr> "ci38263479", "ak01937u587x", "nc73150441", "ak01937u2…
## $ updated <chr> "2019-03-11T04:33:55.886Z", "2019-03-11T04:27:53.474Z"…
## $ place <chr> "11km NE of Aguanga, CA", "51km NW of Nikiski, Alaska"…
## $ type <chr> "earthquake", "earthquake", "earthquake", "earthquake"…
## $ horizontalError <dbl> 0.25, NA, 1.55, NA, NA, 1.10, NA, NA, 0.42, 5.80, NA, …
## $ depthError <dbl> 1.02, 1.50, 0.70, 0.20, 24.50, 1.70, 0.70, 1.50, 1.31,…
## $ magError <dbl> 0.129, NA, 0.230, NA, NA, 0.255, NA, NA, NA, 0.080, NA…
## $ magNst <int> 11, NA, 2, NA, NA, 4, NA, NA, 1, 15, NA, NA, 11, 60, 1…
## $ status <chr> "automatic", "automatic", "automatic", "automatic", "a…
## $ locationSource <chr> "ci", "ak", "nc", "ak", "nn", "us", "nn", "ak", "nc", …
## $ magSource <chr> "ci", "ak", "nc", "ak", "nn", "us", "nn", "ak", "nc", …
Observaciones: 8,502 Variables: 22 ## $ time
head(earthquake)
## time latitude longitude depth mag magType nst gap
## 1 2019-03-11T04:30:18.250Z 33.52100 -116.7945 2.82 0.44 ml 18 53.00
## 2 2019-03-11T04:24:26.536Z 61.06940 -151.8329 105.60 1.10 ml NA NA
## 3 2019-03-11T04:22:42.690Z 38.77333 -122.7435 1.16 0.73 md 5 213.00
## 4 2019-03-11T04:13:42.538Z 65.01810 -148.7292 8.60 1.60 ml NA NA
## 5 2019-03-11T04:10:13.520Z 37.29130 -117.5088 6.90 0.70 ml 8 176.36
## 6 2019-03-11T04:04:12.620Z 35.12500 -97.6175 5.00 1.80 mb_lg NA 64.00
## dmin rms net id updated
## 1 0.009898 0.14 ci ci38263479 2019-03-11T04:33:55.886Z
## 2 NA 0.25 ak ak01937u587x 2019-03-11T04:27:53.474Z
## 3 0.011220 0.01 nc nc73150441 2019-03-11T04:35:03.494Z
## 4 NA 0.51 ak ak01937u2wii 2019-03-11T04:22:11.915Z
## 5 0.375000 0.28 nn nn00679736 2019-03-11T04:12:55.866Z
## 6 0.219000 0.51 us us1000jdf2 2019-03-11T04:14:36.922Z
## place type horizontalError depthError magError
## 1 11km NE of Aguanga, CA earthquake 0.25 1.02 0.129
## 2 51km NW of Nikiski, Alaska earthquake NA 1.50 NA
## 3 1km ESE of The Geysers, CA earthquake 1.55 0.70 0.230
## 4 38km WNW of Ester, Alaska earthquake NA 0.20 NA
## 5 52km SSW of Goldfield, Nevada earthquake NA 24.50 NA
## 6 3km ESE of Blanchard, Oklahoma earthquake 1.10 1.70 0.255
## magNst status locationSource magSource
## 1 11 automatic ci ci
## 2 NA automatic ak ak
## 3 2 automatic nc nc
## 4 NA automatic ak ak
## 5 NA automatic nn nn
## 6 4 reviewed us us
Brief acerca de los términos/variables del evento de terremoto:
depth- Profundidad del evento en kilómetros. La profundidad donde el terremoto comienza a rupturar. Esta profundidad puede ser relativa al geoide WGS84, el nivel medio del mar o la elevación promedio de las estaciones sísmicas que proporcionaron datos de tiempo de llegada para la ubicación del terremoto.
depthError- Incertidumbre de la profundidad reportada del evento en kilómetros.
dmin- Distancia horizontal desde el epicentro hasta la estación más cercana (en grados). 1 grado es aproximadamente 111.2 kilómetros. En general, cuanto más pequeño sea este número, más confiable es la profundidad calculada del terremoto.
gap- El mayor espacio azimutal entre estaciones azimutalmente adyacentes (en grados). En general, cuanto más pequeño sea este número, más confiable es la posición horizontal calculada del terremoto. Las ubicaciones de terremotos en las que el espacio azimutal excede los 180 grados suelen tener grandes incertidumbres de ubicación y profundidad.
horizontalError- Incertidumbre de la ubicación reportada del evento en kilómetros.
id- Un identificador único para el evento. Este es el id preferido actual para el evento y puede cambiar con el tiempo. Consulte la propiedad GeoJSON “ids” para el formato de identificadores.
latitude- Latitud en grados decimales. Valores negativos para latitudes del sur.
locationSource- La red que originalmente proporcionó la ubicación reportada de este evento.
longitude- Longitud en grados decimales. Valores negativos para longitudes occidentales.
mag- La magnitud del evento. La magnitud del terremoto es una medida del tamaño de un terremoto en su origen.
magError- Incertidumbre de la magnitud reportada del evento.
magNst- El número total de estaciones sísmicas utilizadas para calcular la magnitud de este terremoto.
magSource- Red que originalmente proporcionó la magnitud reportada para este evento.
magType- El método o algoritmo utilizado para calcular la magnitud preferida para el evento.
net- El ID de un contribuyente de datos. Identifica la red considerada como la fuente preferida de información para este evento.
nst- El número total de estaciones sísmicas utilizadas para determinar la ubicación del terremoto.
place- Descripción textual de la región geográfica nombrada cerca del evento. Esto puede ser un nombre de ciudad o un nombre de región sísmica Flinn-Engdahl. Si no hay una ciudad cercana dentro de 300 kilómetros (o si la base de datos de ciudades cercanas no está disponible por alguna razón), se utiliza el esquema de regionalización sísmica y geográfica de Flinn-Engdahl (F-E).
rms- El residuo de tiempo de viaje root-mean-square (RMS), en segundos, utilizando todos los pesos. Este parámetro proporciona una medida del ajuste de los tiempos de llegada observados a los tiempos de llegada predichos para esta ubicación. Números más pequeños reflejan un mejor ajuste de los datos.
status- Indica si el evento ha sido revisado por un humano. El estado es automático o revisado. Los eventos automáticos son publicados directamente por sistemas de procesamiento automático y no han sido verificados ni alterados por un humano. Los eventos revisados han sido revisados por un humano. El nivel de revisión puede variar desde una verificación rápida de validez hasta un análisis cuidadoso del evento.
time- Tiempo en que ocurrió el evento. Los tiempos se informan en milisegundos desde la época (1970-01-01T00: 00: 00.000Z) y no incluyen segundos intercalares. En ciertos formatos de salida, la fecha se formatea para facilitar la lectura.
type- Tipo de evento sísmico.
updated- Hora en que el evento fue actualizado más recientemente. Los tiempos se informan en milisegundos desde la época.
ANÁLISIS EXPLORATORIO:
Hay alrededor de 7 terremotos que tienen una magnitud de más de 6 en la escala de Richter.
options(repr.plot.width=12, repr.plot.height=6)
ggplot(earthquake, aes(time, mag)) +
geom_line(color = 'steelblue')+ theme_bw()+
ggtitle("Earthquake Magnitude")+
xlab('Date')+
ylab('Magnitude')+
theme(plot.title = element_text(hjust = 0.5))
## `geom_line()`: Each group consists of only one observation.
## ℹ Do you need to adjust the group aesthetic?
Extracción de características:
Hasta ahora, extraeré dos características de los datos que son,
Ubicación del terremoto (estado/país, etc.)
Hora del día en ‘Hora’
A partir del gráfico de líneas a continuación, podemos ver que el número máximo de terremotos que han ocurrido en una hora particular. La medianoche parece ser la hora más popular del día cuando ocurre la mayoría de los terremotos. La tarde a las 5 P.M. tiene el menor número total de terremotos en un día. Cuando vemos la magnitud máxima en cada hora, entonces la mañana de 8 a 9 A.M. tiene el terremoto más impactante de alrededor de 7.
#Location
earthquake$location <- sub('.*,\\s*','', earthquake$place)
#Time of the day in 'Hour'
earthquake$hour <- ymd_hms(earthquake$time)
earthquake$hour <- hour(earthquake$hour)
#Visualizing the number of quakes that have happened at a particular time
earthquake %>%
filter(!is.na(mag))%>%
group_by(hour)%>%
summarise(count = length(id),max_magnitude = max(mag))%>%
ggplot(aes(hour,count, color = max_magnitude))+geom_line()+
scale_color_viridis(direction = -1)+
scale_x_continuous(breaks=seq(0,23,1))+
xlab("Time of the day")+
ylab("Number of earthquakes")+
ggtitle("Number of quakes as per time of the day")+
theme_bw()+
theme(plot.title = element_text(hjust = 0.5))
En el siguiente mapa podemos ver los lugares donde han ocurrido los últimos terremotos. El cinturón del Pacífico que comienza desde países sudamericanos como Chile, Perú, Ecuador, pasando por la costa oeste de Estados Unidos y luego Alaska muestra muchas actividades sísmicas. Sin embargo, la magnitud es más o menos en el rango de 1-5. El siguiente cinturón de actividades sísmicas se puede observar en países como Indonesia, Japón, Papúa Nueva Guinea y Nueva Zelanda.
A continuación se presentan los terremotos más destacados que han ocurrido con una magnitud más alta de 6 y superior. (Entre el 18 de febrero de 2019 y el 18 de marzo de 2019)
Lugar: 115km ESE de Palora, Ecuador Magnitud: 7.5 Hora: 2019-02-22 10:17:22
Lugar: 27km NNE de Azángaro, Perú Magnitud: 7 Hora: 2019-03-01 08:50:41
Lugar: 116km SE de Roca L’Esperance, Nueva Zelanda Magnitud: 6.4 Hora: 2019-03-06 15:46:14
Lugar: 49km NW de Namatanai, Papúa Nueva Guinea Magnitud: 6.4 Hora: 2019-02-17 14:35:55
Lugar: 28km S de Cliza, Bolivia Magnitud: 6.3 Hora: 2019-03-15 05:03:50
Lugar: 260km SE de Lambasa, Fiji Magnitud: 6.2 Hora: 2019-03-10 08:12:25
Lugar: 140km SSW de Kulumadau, Papúa Nueva Guinea Magnitud: 6.1 Hora: 2019-03-10 12:48:00
bins=seq(1, 8.0, by=1.0)
palette = colorBin( palette="YlOrBr", domain=earthquake$mag, na.color="transparent", bins=bins)
d=leaflet(earthquake) %>%
addTiles() %>%
setView( lng = 166.45, lat = 21, zoom = 1.25) %>%
addProviderTiles(providers$Esri.WorldImagery) %>%
addCircleMarkers(~longitude, ~latitude,
fillColor = ~palette(mag), fillOpacity = 0.7, color="white", radius=3, stroke=FALSE,
popup = paste("Place:", earthquake$place, "<br>",
"Magnitude:", earthquake$mag, "<br>",
"Time:", earthquake$time, "<br>")) %>%
addLegend( pal=palette, values=~mag, opacity=0.9, title = "Magnitude", position = "bottomright" )
htmlwidgets::saveWidget(d, "d.html")
display_html('<iframe src="d.html" width=100% height=450></iframe>')
Los 30 principales lugares donde se han producido la mayoría de las actividades sísmicas, algunos son países y otros son estados de EE. UU. Aunque alrededor del 35% de los terremotos han ocurrido en California y el 27% en Alaska, la magnitud promedio no es muy alta, de 0.9 y 1.7 respectivamente. En comparación con estos lugares, países como Nueva Zelanda, Indonesia, Papúa Nueva Guinea, Chile, Japón y Filipinas han recibido un porcentaje mucho menor de terremotos, sin embargo, las magnitudes promedio de estos terremotos están por encima de 4.4.
earthquake %>%
group_by(location) %>%
filter(!(is.na(mag)))%>%
summarise(Number_of_quakes = length(location),
Average_Magnitude = mean(mag))%>%
mutate(Percent = round(prop.table(Number_of_quakes)*100,2))%>%
arrange(desc(Number_of_quakes))%>% top_n(25, Number_of_quakes)
## # A tibble: 25 × 4
## location Number_of_quakes Average_Magnitude Percent
## <chr> <int> <dbl> <dbl>
## 1 CA 2643 1.02 32.4
## 2 Alaska 2551 1.72 31.3
## 3 Nevada 480 0.776 5.88
## 4 Utah 480 1.39 5.88
## 5 Puerto Rico 269 2.37 3.3
## 6 Hawaii 241 1.83 2.95
## 7 Montana 174 1.27 2.13
## 8 Washington 114 1.06 1.4
## 9 Indonesia 102 4.60 1.25
## 10 California 86 0.980 1.05
## # ℹ 15 more rows
Sabemos que la profundidad es la distancia donde el terremoto comienza a romperse. Tenía curiosidad por saber si una mayor profundidad lleva a un terremoto de mayor magnitud. Grafiqué el siguiente diagrama de dispersión de magnitud vs. profundidad y descubrí que un número considerable de terremotos con magnitud entre 4 y 5 solo tienen profundidades más grandes. Incluso las profundidades de los terremotos que tienen más de 6 en magnitud están dispersas. Los terremotos de menor magnitud generalmente ocurren dentro de una profundidad de 200 km.
ggplot(earthquake, aes(mag,depth,color = hour))+
geom_jitter(alpha = 0.5)+
gghighlight(max(depth>200)| max(mag>4))+
scale_x_continuous(breaks=seq(0,9,1))+
scale_color_viridis(direction = -1)+
theme_bw()+
xlab('Magnitude')+
ylab('Depth')+
ggtitle('Magnitude Vs. Depth in Km')+
theme(plot.title = element_text(hjust = 0.5))
Las actividades sísmicas también ocurren debido a otras actividades humanas como explosiones, canteras, etc. Sin embargo, el 98% de las actividades sísmicas ocurren debido a terremotos.
earthquake %>%
group_by(type)%>%
summarise(count = length(type))%>%
mutate(Percent = prop.table(count*100))%>%
ggplot(aes(type,Percent, fill = type))+
geom_col()+theme_bw()+
xlab('Type of Seismic Activity')+
ylab('Percent')+
ggtitle('Percent of Seismic Activity')+
theme(plot.title = element_text(hjust = 0.5))
Cuando visualizamos estas actividades sísmicas según su tipo, encontramos que la mayoría de las actividades sísmicas que no son terremotos ocurren en Estados Unidos (principalmente California, Alaska, Nevada y Washington) y Canadá. Sin embargo, Alaska experimenta muchos temblores de hielo. Haz clic en el mapa para obtener más información.
pal <- colorFactor(palette = "Accent",domain = earthquake$type)
e=leaflet(earthquake) %>%
addTiles() %>%
setView( lng = -119.417931, lat = 50.778259, zoom = 3) %>%
addProviderTiles(providers$CartoDB.Positron) %>%
addCircleMarkers(~longitude, ~latitude,
fillColor = ~pal(type), fillOpacity = 0.5, color="white", radius=3, stroke=FALSE,
popup = paste("Place:", earthquake$place, "<br>",
"Magnitude:", earthquake$mag, "<br>",
"Time:", earthquake$time, "<br>",
"Type:", earthquake$type, "<br>")) %>%
addLegend( pal=pal, values=~type, opacity=0.9, title = "Type", position = "bottomright" )
htmlwidgets::saveWidget(e, "e.html")
display_html('<iframe src="e.html" width=100% height=450></iframe>')
¿Cómo distinguir entre Terremotos y Otros Tipos de Temblores?
Profundidad:
Sabemos que la ‘depth’ es donde comienza la ruptura del terremoto. Podemos ver en el diagrama de caja a continuación que la mayoría de las actividades sísmicas no relacionadas con la naturaleza ocurren principalmente en la superficie de la tierra. Por otro lado, los terremotos suelen ocurrir entre 10 y 20 km por debajo de la superficie y pueden ocurrir a varios kilómetros debajo de la superficie de la Tierra. Pero este no es típicamente el caso con otros tipos de actividades sísmicas.
ggplot(earthquake, aes('',depth, color = type))+geom_boxplot()+
scale_y_continuous(limits = c(0, 100))+theme_bw()+
xlab('Type of Seismic Activity')+
ggtitle('Depth of Seismic Activity')
Magnitud:
El siguiente parámetro importante aquí es la magnitud. Mientras que un terremoto natural puede tener una magnitud que varía de 0 a 7 en una escala. La magnitud de los temblores provocados por humanos es mucho menor y generalmente oscila entre 0 y 2.2 en la escala de Richter.
ggplot(earthquake, aes('',mag, color = type))+geom_boxplot()+
scale_y_continuous(limits = c(0, 8))+theme_bw()+
xlab('Type of Seismic Activity')+
ggtitle('Magnitude of Seismic Activity')
Hora del día:
Bueno, si experimentas temblores después de la medianoche hasta las 5 de la mañana, considera revisar las noticias para ver si ha ocurrido una explosión química en tu área. Si tu mesa de cena está temblando, entonces tal vez sea una explosión en una cantera.
ggplot(earthquake, aes('',hour, color = type))+geom_boxplot()+
scale_y_continuous(limits = c(0, 24))+theme_bw()+
xlab('Type of Seismic Activity')+
ggtitle('Time of Seismic Activity')
PREDICCIÓN:
En la siguiente sección, estoy tratando de predecir el tipo de actividad sísmica utilizando algunas características como profundidad, magnitud, latitud y longitud. Hay muchas más características presentes en el conjunto de datos, pero por ahora usemos estos parámetros para hacer una predicción básica.
En primer lugar, voy a preparar el conjunto de datos para la predicción. Categorizaré todas las actividades sísmicas que no son terremotos naturales en una categoría, ya que vimos que la mayoría de los otros temblores tienen más o menos el mismo rango de profundidad, magnitud y ubicación.
#Choosing the relevant columns
quake <- earthquake[,c(2,3,4,5,24,15)]
#Categorising the type
quake$type <- ifelse(quake$type == 'earthquake', 'Earthquake', 'Otherquake')
#quake[,c(1:5)] <- scale(quake[,c(1:5)])
#Converting our target column 'type' into a factor
quake$type <- factor(quake$type)
#Checking and removing any row having NA
colSums(is.na(quake))
## latitude longitude depth mag hour type
## 0 0 0 4 0 0
quake <- quake[!is.na(quake$mag),]
head(quake)
## latitude longitude depth mag hour type
## 1 33.52100 -116.7945 2.82 0.44 4 Earthquake
## 2 61.06940 -151.8329 105.60 1.10 4 Earthquake
## 3 38.77333 -122.7435 1.16 0.73 4 Earthquake
## 4 65.01810 -148.7292 8.60 1.60 4 Earthquake
## 5 37.29130 -117.5088 6.90 0.70 4 Earthquake
## 6 35.12500 -97.6175 5.00 1.80 4 Earthquake
Voy a usar Máquinas de Vectores de Soporte (SVM) para hacer una predicción y estoy anticipando un problema de desequilibrio de clases aquí porque en nuestro conjunto de datos el 98% de las observaciones son terremotos naturales y solo el 2% de las observaciones pertenecen a otros tipos de temblores.
Primero entrenaré el modelo sin manejar el desequilibrio de clases y luego pasaré a usar la biblioteca ROSE para tratar el problema de desequilibrio de clases.
table(quake$type)
##
## Earthquake Otherquake
## 8005 152
# splitting the data between train and test
set.seed(1234)
indices = sample.split(quake$type, SplitRatio = 0.7)
train = quake[indices,]
test = quake[!(indices),]
head(train)
## latitude longitude depth mag hour type
## 1 33.52100 -116.7945 2.82 0.44 4 Earthquake
## 2 61.06940 -151.8329 105.60 1.10 4 Earthquake
## 3 38.77333 -122.7435 1.16 0.73 4 Earthquake
## 4 65.01810 -148.7292 8.60 1.60 4 Earthquake
## 6 35.12500 -97.6175 5.00 1.80 4 Earthquake
## 7 37.28320 -117.4962 6.20 1.70 3 Earthquake
table(train$type)
##
## Earthquake Otherquake
## 5604 106
table(test$type)
##
## Earthquake Otherquake
## 2401 46
set.seed(1234)
#Using RBF Kernel
Model_RBF <- ksvm(type~ ., data = train, scale = FALSE, kernel = "rbfdot")
Eval_RBF <- predict(Model_RBF, test[,-6])
#confusion matrix - RBF Kernel
confusionMatrix(Eval_RBF,test$type)
## Confusion Matrix and Statistics
##
## Reference
## Prediction Earthquake Otherquake
## Earthquake 2401 46
## Otherquake 0 0
##
## Accuracy : 0.9812
## 95% CI : (0.975, 0.9862)
## No Information Rate : 0.9812
## P-Value [Acc > NIR] : 0.5391
##
## Kappa : 0
##
## Mcnemar's Test P-Value : 0.00000000003247
##
## Sensitivity : 1.0000
## Specificity : 0.0000
## Pos Pred Value : 0.9812
## Neg Pred Value : NaN
## Prevalence : 0.9812
## Detection Rate : 0.9812
## Detection Prevalence : 1.0000
## Balanced Accuracy : 0.5000
##
## 'Positive' Class : Earthquake
##
En la predicción anterior, podemos ver claramente la falla. Todos los terremotos se predicen correctamente, lo que hace que la Sensibilidad (Verdaderos Positivos) sea realmente alta. Sin embargo, ninguno de los “otros temblores” se predice correctamente, lo que lleva a una Especificidad (Verdaderos Negativos) de 0.
TRATANDO EL DESEQUILIBRIO DE CLASES:
Voy a usar el paquete ROSE (Randomly Over Sampling Examples) para tratar el problema de desequilibrio de clases utilizando sobre muestreo, submuestreo y ambos. Comencemos con el sobre muestreo primero.
set.seed(1234)
over <- ovun.sample(type~., data = train, method="over", N= 11640)$data
set.seed(1234)
#Using RBF Kernel
Model_RBF <- ksvm(type~ ., data = over, scale = FALSE, kernel = "rbfdot")
Eval_RBF <- predict(Model_RBF, test[,-6])
#confusion matrix - RBF Kernel
confusionMatrix(Eval_RBF,test$type)
## Confusion Matrix and Statistics
##
## Reference
## Prediction Earthquake Otherquake
## Earthquake 2285 4
## Otherquake 116 42
##
## Accuracy : 0.951
## 95% CI : (0.9416, 0.9592)
## No Information Rate : 0.9812
## P-Value [Acc > NIR] : 1
##
## Kappa : 0.3941
##
## Mcnemar's Test P-Value : <0.0000000000000002
##
## Sensitivity : 0.9517
## Specificity : 0.9130
## Pos Pred Value : 0.9983
## Neg Pred Value : 0.2658
## Prevalence : 0.9812
## Detection Rate : 0.9338
## Detection Prevalence : 0.9354
## Balanced Accuracy : 0.9324
##
## 'Positive' Class : Earthquake
##
Ahí vamos, podemos ver claramente un aumento significativo en la Especificidad. 47 de los 55 Otros temblores en nuestros datos de prueba se predicen correctamente, aunque 150 terremotos se predicen incorrectamente. La introducción de sobre muestreo ha ayudado realmente a tratar el desequilibrio de clases y ha aumentado significativamente nuestra Especificidad al 85%.