Análisis de imagenes de redes sociales de agencias de seguridad mexicanas
Qué queremos lograr con este estudio?
TBD
Preparación de datos
A continuación el proceso paso a paso
Analizamos cada una con los algoritmos de clasificación de escena de Amazon Rekognition
Obtenemos de ese servicio una lista de etiquetas detectadas en las imagenes
IMPORTANTE: vamos a aplicar un filtro al nivel de confianza de la detección de las etiquetas de >= 65% para asegurarnos de que lo que ha detectado Rekognition, realmente esté ahí, y de esta forma, eliminar ruido aportado por etiquetas con poca certidumbre de detección.
Es importante mencionar que no estamos eliminando fotografías, sino etiquetas cuya confianza es baja, de modo que una fotografía donde se identifique Soldier con 80% de confianza y Boat con 60% de confianza, este filtro solo eliminará la detección de Boat y dejará la de Soldier.
Particionamos la lista de etiquetas en 3 áreas de interés:
Posterior a tener todas las etiquetas identificadas en el set de fotografías, realizamos la tarea manual de definir 4 categorías y asignar las etiquetas que, a criterio nuestro, pertenecen a ellas.
- Etiquetas del ámbito militar: ‘destroyer’,‘boat’,‘soldier’,‘frigate’, etc.
- Etiquetas que describen armamento antipersonal: ‘weapon’, ‘firearm’, ‘swat team’, etc.
- Etiauetas del ámbito social y de asistencia: ‘food’,‘first aid’,‘rural’, etc.
IMPORTANTE: Una imagen puede tener N etiquetas, por lo que una misma img puede estar repetida en más de 1 categoría de las definidas arriba.
Diccionario de etiquetas del ámbito militar:
## [1] "Boat" "Vehicle" "Transportation"
## [4] "Watercraft" "Vessel" "Military"
## [7] "Navy" "Cruiser" "Ship"
## [10] "Destroyer" "Battleship" "Coast Guard"
## [13] "Helicopter" "Aircraft" "Airplane"
## [16] "Bomber" "Warplane" "Jet"
## [19] "Sailor Suit" "Officer" "Military Uniform"
## [22] "Police Dog" "Operating Theatre" "Swat Team"
## [25] "Tower" "Paintball" "Counter Strike"
## [28] "Armor" "Pier" "Dock"
## [31] "Port" "Helmet" "Lifejacket"
## [34] "Army" "Armored" "Cockpit"
## [37] "Crash Helmet" "Hardhat" "Weapon"
## [40] "Weaponry" "Marching" "Soldier"
## [43] "Security" "Sailboat" "Airfield"
## [46] "Landing" "Badge" "Emblem"
## [49] "Barge" "Gun" "Troop"
## [52] "Flare" "Life Buoy" "Freighter"
## [55] "Tanker" "Rotor" "Yacht"
## [58] "Propeller" "Biplane" "Tank"
## [61] "Captain" "Dynamite" "Bomb"
## [64] "Cannon" "Guard" "Parachute"
## [67] "Sniper" "Amphibious Vehicle" "Shooting Range"
Diccionario de etiquetas específicas de armamento antipersonal:
## [1] "Military" "Navy" "Destroyer" "Battleship"
## [5] "Bomber" "Warplane" "Military Uniform" "Swat Team"
## [9] "Paintball" "Counter Strike" "Armor" "Army"
## [13] "Armored" "Weapon" "Weaponry" "Soldier"
## [17] "Gun" "Dynamite" "Bomb" "Cannon"
## [21] "Sniper"
Diccionario de etiquetas generales
Estas etiquetas resultan bastante generales y por tanto forman un grupo de uso limitado, pero las ponemos aquí por transparencia.
## [1] Person Human Wheel
## [4] Machine People Hat
## [7] Clothing Apparel Paper
## [10] Text Water Building
## [13] Architecture Waterfront Ferry
## [16] Painting Art Outdoors
## [19] Vest Shoe Footwear
## [22] Car Automobile Grass
## [25] Plant Lawn Park
## [28] Palm Tree Arecaceae Headphones
## [31] Electronics Headset Diving
## [34] Diver Face Monitor
## [37] Screen Display Furniture
## [40] Interior Design Indoors Chair
## [43] Photography Photo Pants
## [46] Truck Van Popcorn
## [49] Clock Tower Sea Ocean
## [52] Nature Sports Car Logo
## [55] Trademark Land Airport
## [58] Sleeve Camera Video Camera
## [61] Jacket Coat Bird
## [64] Animal Light Sky
## [67] Train Adventure Sunglasses
## [70] Accessories Accessory Laptop
## [73] Computer Pc Computer Keyboard
## [76] Hardware Keyboard Computer Hardware
## [79] Mobile Phone Phone Cell Phone
## [82] Video Gaming LCD Screen Cushion
## [85] Boxing Working Out Exercise
## [88] Fitness Soccer Ball Football
## [91] Ball Swimming Kneeling
## [94] Mammal Factory Harbor
## [97] Flight Airliner Summer
## [100] Jet Ski Football Helmet American Football
## [103] Star Symbol Collage Urban
## [106] Sun Sunrise Sunset
## [109] Dusk Red Sky Dawn
## [112] Binoculars Portrait Family
## [115] Canoe Rowboat Bicycle
## [118] Bike Flying Photographer
## [121] Business Card Shorts School
## [124] Field Stadium Arena
## [127] Finger Sitting Table
## [130] Desk Sunlight Promontory
## [133] Microscope Sea Waves Athlete
## [136] Ballplayer Baseball Softball
## [139] Oars Paddle Kayak
## [142] Spoke Motor Engine
## [145] Spiral Coil Label
## [148] Document Hair Tape
## [151] Oval Skateboard Marina
## [154] Jeans Denim Lawn Mower
## [157] Tool Sombrero Suit
## [160] Overcoat Silhouette Cyclist
## [163] Moving Van Word Potted Plant
## [166] Pottery Jar Vase
## [169] Box Cardboard Carton
## [172] Long Sleeve Astronaut Plot
## [175] Map Diagram Atlas
## [178] Guitar Tent Cap
## [181] Snorkeling Arcade Game Machine Shoreline
## [184] Coast Beach Island
## [187] Lighting Weather Office Building
## [190] Downtown Tarmac Asphalt
## [193] Road Walkway Path
## [196] Condo Housing Sketch
## [199] Plan Dredger Tie
## [202] Number Pac Man Modern Art
## [205] Hangar Sun Hat Cowboy Hat
## [208] TV Television Wheelchair
## [211] Graduation Home Decor Door
## [214] Glasses Ct Scan Huddle
## [217] Dinghy Outer Space Universe
## [220] Space Astronomy Planet
## [223] Globe Horse Pump
## [226] Gas Pump Gas Station Petrol
## [229] Bonfire Fire Flame
## [232] Smoke Passport Id Cards
## [235] Billboard Room Fire Hydrant
## [238] Hydrant Pedestrian Sewer
## [241] Hydrofoil Steamer Meeting Room
## [244] Conference Room Audience Classroom
## [247] Court Speech Lecture
## [250] Seminar Graphics Head
## [253] Performer Car Seat Cleaning
## [256] Doodle Sandal Handwriting
## [259] Camera Lens Formula One Maze
## [262] Labyrinth Skin Sea Life
## [265] Tire Electrical Device Microphone
## [268] Floral Design Pattern Diwali
## [271] Newspaper Hand Game
## [274] Page Compass Wristwatch
## [277] Beanie Cat Construction Crane
## [280] Scoreboard Alloy Wheel Car Wheel
## [283] Novel Book Holding Hands
## [286] Kindergarten Lightbulb Arm
## [289] Driving License License File
## [292] Webpage Doll Tablet Computer
## [295] Menu Surgeon Diary
## [298] Football Field Bus Musician
## [301] Music Band Brass Section Horn
## [304] Rainbow Floor Offroad
## [307] Tuba Euphonium Flugelhorn
## [310] Flood Bush Laser
## [313] Reception Wood Tabletop
## [316] Gliding Bread Rope
## [319] Bungee Garden Arbour
## [322] Soil Baby Kid
## [325] Child Snake Reptile
## [328] Window Hole Porthole
## [331] Package Delivery Kangaroo Wallaby
## [334] Flagstone Flower Blossom
## [337] Flower Arrangement Icing Dessert
## [340] Cake Cream Creme
## [343] Construction Bow Scaffolding
## [346] Utility Pole Green Landscape
## [349] Panoramic Scenery Motorcycle
## [352] Goggles Space Station Cloud
## [355] Cumulus Aerial View Ground
## [358] Scuba Diving Aqua Scuba Fish
## [361] Headband Labrador Retriever Strap
## [364] Fountain River Woodland
## [367] Forest Canal Triangle
## [370] Snow Bridge Sidewalk
## [373] Pavement Balloon Countryside
## [376] Hut Carrot Vegetable
## [379] American Flag Antelope Wildlife
## [382] Mud Mouse Skirt
## [385] Tartan Plaid Kilt
## [388] Patient Fog Shirt
## [391] Stage Shipping Container Handrail
## [394] Banister Ceiling Fan Appliance
## [397] Aircraft Carrier Bench Railing
## [400] Lobby Sign Castle
## [403] Hook Golf Wall
## [406] Oilfield Street Play
## [409] Yard Jigsaw Puzzle Cafeteria
## [412] Restaurant Market Azure Sky
## [415] Driftwood Convention Center Terminal
## [418] Concrete Hug Dating
## [421] Cobblestone Intersection Freeway
## [424] Hoop Bracelet Jewelry
## [427] Plywood Bed Sweets
## [430] Confectionery Dish Conifer
## [433] Fir Abies Turtle
## [436] Shipwreck Slope Antenna
## [439] Dugout Shack Play Area
## [442] Playground Evening Dress Robe
## [445] Gown Fashion Wedding
## [448] Wedding Gown Blonde Teen
## [451] Hound Beagle Bathing Cap
## [454] Cow Cattle Bottle
## [457] Wax Seal Couch Living Room
## [460] Baseball Field Pickup Truck Neighborhood
## [463] Tortoise Shelter Blazer
## [466] Drummer Percussion Drum
## [469] Grand Theft Auto Comics Heart
## [472] Cargo Cabinet Mouth
## [475] Lip Statue Sculpture
## [478] Pizza Bazaar Shop
## [481] Horizon Caravan Scientist
## [484] Mountain Cliff Peak
## [487] Mountain Range Fruit Nut
## [490] Tropical Ice Villa
## [493] House Hotel Planetarium
## [496] Headrest Radio Telescope Telescope
## [499] Spaceship Space Shuttle Carriage
## [502] Beach Wagon Wagon Arch Bridge
## [505] Arch Arched Drawbridge
## [508] Fire Truck Pen Race Car
## [511] Warehouse Patio Cafe
## [514] Dinosaur Volcano High Rise
## [517] Spire Steeple Laundry
## [520] Rock Money Chicken
## [523] Fowl Poultry Fishing
## [526] Angler Applique
## 806 Levels: Abies Accessories Accessory Adventure Advertisement ... Zebra Crossing
Procesamiento de datos antes del análisis
Para cada grupo de etiquetas vamos a seguir estos pasos:
- Filtrar las etiquetas con el diccionario de cada grupo.
- Hacer
joincon la tabla de metadata de DB extraída de FB - Examinar y concluir de acuerdo a las etiquetas finalmente seleccionadas
Tabla con etiquetas del ámbito militar
Tabla con etiquetas relacionadas a capacidad armamentista
Dato curioso
Hemos agregado la etiqueta Paintball a la lista concerniente a la capacidad armamentista porque las imagenes que tienen asignada esta etiqueta son de este tipo:
Lo cual definitivamente no es un traje de “gotcha” o “paintball”, sino equipamiento militar.
Tabla con etiquetas relacionadas a contacto con la sociedad
Análisis
Cuántas imagenes quedaron fuera una vez aplicados los filtros de confianza >= 65 %, el filtro de diccionario de etiquetas militares, y el filtro de etiquetas de contacto con la sociedad?
## [1] "96.35 %"
Tomemos en cuenta que para esta proporción ya fueron eliminadas las etiquetas con poca confianza.
Qué etiquetas están sobrerepresentadas y subrepresentadas en las imgs que quedaron fuera?
Etiqueta más representada
Como podemos observar, tenemos una etiqueta Human que está en al menos 1000 fotografías. Dicha etiqueta no aporta nada de información de nuestro interés al análisis, y el que esté en 1000 fotografías implica que tenemos demasiado ruido en bastantes elementos de la muestra.
Etiqueta menos representada
Considerando que el filtro de confianza > 65 %, la etiqueta con menos representación aún debe ser mayor a este umbral. La etiqueta que cumple este criterio es Grand Theft Auto (robo de automóvil en inglés), que aparece en 1 sola fotografía. Dada la distancia del significado de la etiqueta VS el dominio del área de estudio, y la cantidad de elementos de la muestra en la que aparece, podemos despreciar el aporte de esta observación individual a este estudio.
Qué etiquetas están relacionadas con una percepción positiva de la SEMAR ante la sociedad y con qué frecuencia aparecen?
Para esta pregunta definiremos las siguientes categorías:
- acercamiento con la sociedad civil
- acciones de rescate y manejo de desastres
- asistencia en campañas de salud
- Proyección de imagen positiva
- Proyección de imagen patriótica
- Inclusión y género
Luego tomaremos armaremos 3 diccionarios con las etiquetas de índole social que creemos que están relacionadas con cada una, sin repetir etiquetas en diferentes categorías
Una vez obtenidas estas categorías, podemos asociar cada una con las imgs descargadas y analizar distribuciones y concentraciones:
Con esto podemos observar lo siguiente de este universo de fotografías:
- Hay considerablemente más fotos de proyección positiva que del resto de las categorías. Esto nos habla de que la página de FB es claramente un aparato de PR.
- Las fotografías de proyección patriótica concentra el 34% del total de likes con tan solo el 11% de las fotos.
- La reacción negativa Angry tiene muy poca representación. Ninguna de las categorías llega a tener 1 reacción en promedio. La SEMAR no recibe casi malas reacciones.
- La reacción Sad podemos intuir que llama a la simpatía y está concentrada en las categorías “Acercamiento con civiles”, “Proyección patriótia” y “Proyección positiva”.
- Las fotografías en la categoría de inclusión y género representan apenas 0.8% de este universo, y tienen el menor número de reacciones de la mayoría de los tipos salvo “promedio_love” y“promedio_care”.
- Pregunta: podemos asociar estas reacciones con una audiencia que se identifica como mujer?
Cuando comparamos esta distribución con las fotografías de claro corte militar, podemos ver lo siguiente:
- Aún cuando solamente hay 1 foto con una tanqueta, es la foto con mayor número de likes.
- Aunque solamente hay 430 Fotos de equipamiento y armamento, éstas concentra alrededor de 23,000 reacciones de usuarios.
Cómo se relacionan la cantidad de reacciones en eventos específicos?
TBD
Líneas de investigación que requieren de mayor elaboración
- Capacidad de armamento: Filtrar las imgs que son exclusivamente de uso de armamento antipersonal.
- Análisis de sentimiento de comentarios hechos a fotografías: de momento no tenemos disponibles dichos comentarios.