AI reconstrueert bewegingspatronen van mensen en dieren

Stel je even voor dat we op safari zijn en een giraffe zien grazen. Na een seconde weggekeken te hebben, zien we het dier zijn kop laten zakken en gaan zitten. Maar, vragen we ons af, wat is er in de tussentijd gebeurd? Computerwetenschappers van het Centre for the Advanced Study of Collective Behaviour van de Universiteit van Konstanz hebben een manier gevonden om de houding en het uiterlijk van een dier te coderen om de tussenliggende bewegingen te tonen die statistisch gezien waarschijnlijk hebben plaatsgevonden. De universiteit heeft deze technologische vooruitgang uiteengezet in een persbericht.

Een belangrijk probleem bij computervisie is dat beelden ongelooflijk complex zijn. Een giraffe kan zeer uiteenlopende houdingen aannemen. Tijdens een safari is het meestal geen probleem om een deel van een bewegingssequentie te missen, maar voor de studie van collectief gedrag kan deze informatie van cruciaal belang zijn. Dit is waar computerwetenschappers met het nieuwe model “neurale poppenspeler” om de hoek komen kijken.

Voorspellende silhouetten op basis van 3D-punten

Een tot nu toe vaak gebruikte voorstelling is het skelet. In een nieuw artikel, gepubliceerd in de Proceedings of the 16th Asian Conference on Computer Vision, presenteren Bastian Goldlücke en promovendi Urs Waldmann en Simon Giebenhain een neuraal netwerkmodel waarmee bewegingssequenties kunnen worden weergegeven en het volledige uiterlijk van dieren vanuit elk gezichtspunt kan worden weergegeven op basis van slechts enkele belangrijke punten. De 3D-weergave is kneedbaarder en preciezer dan de bestaande skeletmodellen.

New AI system fights illegal online wildlife trade – Innovation Origins

Illegal wildlife trade might be hit with a considerable crackdown in the near future

“Het idee was om 3D-sleutelpunten te kunnen voorspellen en ze ook onafhankelijk van textuur te kunnen volgen,” zegt doctoraal onderzoeker Urs Waldmann. “Daarom hebben we een AI-systeem gebouwd dat vanuit elk cameraperspectief silhouetbeelden voorspelt op basis van 3D-sleutelpunten.” Door het proces om te keren is het ook mogelijk om uit silhouetbeelden skeletpunten te bepalen. Op basis van de sleutelpunten kan het AI-systeem de tussenstappen berekenen die statistisch waarschijnlijk zijn. Het gebruik van het individuele silhouet kan belangrijk zijn. Als je namelijk alleen met skeletpunten werkt, weet je anders niet of het dier waar je naar kijkt een vrij massief dier is, of een dier dat bijna verhongert.

Met name in de biologie zijn er toepassingen voor dit model: “Bij het Cluster of Excellence ‘Centre for the Advanced Study of Collective Behaviour’ zien we dat veel verschillende diersoorten worden gevolgd en dat daarbij ook houdingen moeten worden voorspeld”, aldus Waldmann.

Op zoek naar zoveel mogelijk gegevens over wilde dieren

Het team begon met het voorspellen van silhouetbewegingen van mensen, duiven, giraffen en koeien. Mensen worden vaak gebruikt als testcases in de informatica, merkt Waldmann op. Zijn collega’s van het Cluster of Excellence werken met duiven. Hun fijne klauwen vormen een echte uitdaging. Voor koeien waren er goede modelgegevens, terwijl de extreem lange nek van de giraffe een uitdaging was die Waldmann graag aanging. Het team genereerde silhouetten op basis van enkele belangrijke punten – van 19 tot 33 in totaal.

Nu zijn de computerwetenschappers klaar voor de toepassing in de echte wereld: In de Imaging Hanger van de universiteit van Konstanz, het grootste laboratorium voor de studie van collectief gedrag, zullen in de toekomst gegevens worden verzameld over insecten en vogels. In de Imaging Hangar is het gemakkelijker om omgevingsaspecten zoals verlichting of achtergrond te controleren dan in de natuur. Het doel op lange termijn is echter om het model te trainen voor zoveel mogelijk soorten wilde dieren, om zo nieuw inzicht te krijgen in het gedrag van dieren.