Tool detecteert automatisch natuurrampen aan de hand van sociale media content

By Aafke Eppinga

Een nieuw deep learning-systeem kan natuurrampen detecteren met behulp van afbeeldingen die op sociale media zijn geplaatst. De internationale groep onderzoekers paste computer vision tools toe die, eenmaal getraind met behulp van 1,7 miljoen foto’s, in staat bleken echte rampen te analyseren, filteren en detecteren, schrijft de Universitat Oberta de Catalunya (UOC) in een persbericht.

Naarmate de opwarming van de aarde voortschrijdt, worden natuurrampen zoals overstromingen, tornado’s en bosbranden steeds heviger en frequenter. Omdat er nog steeds geen hulpmiddelen zijn om te voorspellen waar of wanneer dergelijke incidenten zullen plaatsvinden, is het van cruciaal belang dat hulpdiensten en internationale samenwerkingsorganisaties snel en effectief kunnen reageren. “Gelukkig kan technologie een sleutelrol spelen in deze situaties. Berichten op sociale media kunnen worden gebruikt als een gegevensbron met een lage latentie om inzicht te krijgen in het verloop en de nasleep van een ramp”, legt Àgata Lapedriza, hoogleraar computerwetenschappen aan de UOC, uit.

Modellen voor incidenten

Eerder onderzoek richtte zich op het analyseren van tekstberichten, maar dit onderzoek, gepubliceerd in Transactions on Pattern Analysis and Machine Intelligence, ging verder. Tijdens een verblijf in het MIT Computer Science and Artificial Intelligence Laboratory droeg Lapedriza bij aan de ontwikkeling van een taxonomie van incidenten en de database die gebruikt wordt om deep learning modellen te trainen en voerde experimenten uit om de technologie te valideren.

De onderzoekers creëerden een lijst met 43 categorieën van incidenten, waaronder natuurrampen (lawines, zandstormen, aardbevingen, vulkaanuitbarstingen, droogte, enz.) en ongelukken met een element van menselijke interventie (vliegtuigcrashes, bouwongevallen, enz.). Met deze lijst en 49 plaatscategorieën labelden de onderzoekers beelden die werden gebruikt om het systeem te trainen.

De auteurs creëerden een database met de naam Incidents1M, met 1.787.154 beelden die vervolgens werden gebruikt om het incidentdetectiemodel te trainen. Van deze afbeeldingen hadden er 977.088 ten minste één positief label dat ze koppelde aan een van de incidentclassificaties, terwijl 810.066 klasse-negatieve labels hadden. Voor de plaatscategorieën hadden 764.124 beelden klasse-positieve labels en 1.023.030 klasse-negatieve labels.

Studenten ontwerpen drones voor slimme reddingsoperaties

Reddingsoperaties worden meestal uitgevoerd in extreme weersomstandigheden. Het gebruik van moderne technologie om betere systemen te ontwerpen voor het verbeteren van reddingsoperaties, kan dan ook van essentieel belang zijn. 

Valse positieven vermijden

Deze negatieve labels betekenden dat het systeem getraind kon worden om fout-positieven te elimineren; een foto van een open haard betekent bijvoorbeeld niet dat het huis in brand staat, ook al heeft het een aantal visuele overeenkomsten. Toen de database eenmaal was opgebouwd, trainde het team een model om incidenten te detecteren “gebaseerd op een multi-task leerparadigma en gebruikmakend van een convolutioneel neuraal netwerk (CNN)”.

Toen het deep learning-model was getraind om incidenten in afbeeldingen te detecteren, voerde het team een reeks experimenten uit om het te testen, met behulp van een enorme hoeveelheid afbeeldingen die waren gedownload van sociale media, waaronder Flickr en Twitter. “Ons model was in staat om deze beelden te gebruiken om incidenten te detecteren, en we controleerden of ze overeenkwamen met specifieke, geregistreerde incidenten, zoals de aardbevingen in Nepal en Chili in 2015,” zei Lapedriza.

Hoe het afval van brouwerijen het begin kan zijn van een nieuwe rijkdom: eiwitrijk voedsel en biobrandstof

De bierbrouwerijen produceren enorme hoeveelheden graanafval, dat efficiënt kan worden gebruikt om voedsel, biobrandstof en waardevolle chemicaliën te produceren. Recent onderzoek maakt duidelijk hoe dit afval kan worden gezien als een grondstof voor nieuwe producten in plaats van louter afval.

Hulp bij humanitaire hulp

Met behulp van echte gegevens toonden de auteurs het potentieel aan van een tool gebaseerd op deep learning voor het verkrijgen van informatie uit sociale media over natuurrampen en incidenten waarvoor humanitaire hulp nodig is. “Dit zal humanitaire hulporganisaties helpen om effectiever uit te zoeken wat er gebeurt tijdens rampen en de manier waarop humanitaire hulp wordt beheerd te verbeteren wanneer dat nodig is,” aldus Lapedriza.

Na deze prestatie zou de volgende uitdaging bijvoorbeeld kunnen zijn om dezelfde beelden van overstromingen, branden of andere incidenten te gebruiken om automatisch de ernst van incidenten te bepalen of zelfs om ze in de loop van de tijd effectiever te monitoren. De auteurs stelden ook voor dat de wetenschappelijke gemeenschap het onderzoek zou kunnen voortzetten door de analyse van beelden te combineren met die van de begeleidende tekst, om een nauwkeurigere classificatie mogelijk te maken.