In toenemende mate geeft Facebook vorm aan onze kijk op de wereld. We zien de meningen van onze vrienden in hun reacties op nieuws dat al dan niet nep is. Maar welke berichten we als eerste zien en welke berichten verborgen blijven, wordt allemaal gecontroleerd door algoritmes – algoritmes gebaseerd op kunstmatige intelligentie (AI). En deze algoritmes zijn het werk van een groot onderzoeksteam onder leiding van Professor Yann LeCun, hetgeen LeCun tot een van ‘s werelds meest vooraanstaande en invloedrijke technologen maakt.
Mark Zuckerberg vroeg LeCun in 2013 om de AI-capaciteit bij Facebook te gaan opbouwen, op een moment dat de link tussen sociale media en AI nog niet was onderzocht. LeCun had inmiddels een formidabele reputatie opgebouwd in de academische wereld en zijn algoritmes werden gebruikt in de industrie – bijna alle handgeschreven cheques worden bijvoorbeeld verwerkt met behulp van zijn beeldherkenningsmodel.
Philips, Signify en de TU/e hebben Yann LeCun de prestigieuze Holst Memorial Medal 2018 toegekend. Radio4Brainport‘s Jean-Paul Linnartz sprak met LeCun tijdens zijn bezoek aan Eindhoven. Luister hier naar het volledige interview.
(Luister ook naar de Radio4Brainport podcast: De Holst Memorial Lezing 2018 met Yann LeCun).
Over het belang van een omgeving voor creatief onderzoek, zoals Dr. Gilles Holst bij het NatLab deed
“Ik begon mijn carrière bij Bell Labs, een instelling die sterk is gebaseerd op het idee dat je op een open manier onderzoek doet en dat dat wetenschappelijk gedreven onderzoek is – dus bottom-up, met veel vrijheid om te werken aan een onderwerp dat relevant of interessant lijkt. En dit is een van de dingen die ik heb geprobeerd te reproduceren op Facebook AI Research (FAIR), om de creativiteit en de weg vooruit te maximaliseren. Niet alleen om de technologie te bevorderen, maar ook om de wetenschap te bevorderen, wat volgens mij noodzakelijk is voor het domein van AI.”
(Zie ook: Facebook’s hoofd van AI geeft Holst Memorial lezing, zegt dat open innovatie een route naar snellere wetenschappelijke vooruitgang).).
Facebook zou niet werken zonder deep learning
“Het is precies vijf jaar geleden, op 9 december 2013 om precies te zijn, dat bekend werd gemaakt dat ik zou toetreden tot Facebook. Mark Zuckerberg en de leiding van Facebook hadden in de voorbije maanden vastgesteld dat AI de belangrijkste technologie voor het komende decennium zou worden, en dus besloten ze daarin te investeren. En dat bleek waar te zijn. Facebook is vandaag de dag volledig opgebouwd rond deep learning. Als je deep learning uit Facebook haalt, werkt het niet meer.”
AI heeft belangrijke implicaties voor de gezondheidszorg – en zal levens redden
“Waarschijnlijk een van de meest opwindende toepassingen en ontwikkelingen van deze tijd is computer vision, dat is de toepassing van deep-learning convolutionele netwerken in het bijzonder, op medische beeldvorming. Het is een van de belangrijkste onderwerpen in de radiologie van deze tijd. Een idee is bijvoorbeeld dat we met behulp van diepliggende reconstructies de verzameling van gegevens van een MRI-machine kunnen versnellen, wat betekent dat de test goedkoper, eenvoudiger en sneller zou worden, wat betekent dat de mens er gewoon meer aan kan hebben. En zo kan ook de analyse automatisch worden uitgevoerd, met een snellere doorlooptijd voor de diagnose. Medische beeldvorming is volgens mij een van de grootste toepassingen van AI – dit gaat levens redden.”
Over het idee dat machines van mensen leren, maar dat mensen niet van computers leren
“Het is niet helemaal waar dat we niet van machines leren. Mensen zijn bijvoorbeeld beter geworden in schaken en Go, omdat ze tegen machines hebben gespeeld, en met machines. Als de machine beter is dan jij bij een bepaalde taak, word je er zelf ook beter in, omdat je het gebruikt om jezelf op te voeden. In het algemeen, wat het krachtigst is, is de combinatie van een machine en een persoon met specifieke expertise.
Machines zijn er dus om ons aan te vullen en te versterken, maar niet om ons te vervangen. Ik behoor niet tot de mensen die geloven dat radiologen vervangen zullen worden door een AI-systeem. Dat is niet het geval. Er zullen straks nog net zo veel radiologen zijn, maar hun werk zal wel anders worden. In plaats van acht uur per dag in een donkere kamer te moeten doorbrengen om naar plakjes MRI’s te kijken, kunnen ze misschien wel wat meer met patiënten gaan praten of meer tijd besteden aan de ingewikkelde gevallen.”
Ideale voorbereiding voor een carrière in AI? Wiskunde, wiskunde en nog meer wiskunde
“In AI moet je er rekening mee houden dat wiskunde een nog belangrijkere basis is dan bij de reguliere informatica. Normale informatica, althans in Noord-Amerika, maar het is deels ook waar in Europa, heeft geen grote behoefte aan wiskunde. Maar als je werkt aan machinaal leren en AI, aan neurale netwerken en deep learning, computer vision en robotica, dan vereist dat eigenlijk veel meer continue wiskunde – het soort wiskunde dat we veertig jaar geleden in de ingenieursopleiding kregen voorgeschoteld. Interessant is dat sommige van de methoden die nuttig zijn om te analyseren wat er in een deep-learning systeem gebeurt, afkomstig zijn uit de statistische natuurkunde. Wat ik zeg tegen jonge studenten die in AI willen komen: als je ambitieus bent, volg dan zoveel mogelijk wiskundecursussen. Neem multi-variate calculus, partiële differentiaalvergelijkingen en dat soort dingen. En studeer natuurkunde, ook dat; kwantummechanica, statistische natuurkunde.
De kans voor Brainport
“Er zijn veel mogelijkheden in nieuwe soorten hardware. NXP snapt waar het om gaat in die business. Ik denk dat we de komende vijf tot tien jaar neurale versnellerchips zullen zien opduiken in zowat alles wat we kopen. Alles waar elektronica in zit, heeft een neurale netversnellerchip. Binnen een paar jaar is dat het geval voor mobiele telefoons, camera’s, stofzuigers, elk stuk speelgoed. Elke widget met elektronica erin zal een soort neurale netchip in zich hebben. Er zijn dus veel mogelijkheden voor die industrie. Een bedrijf als Signify kan AI direct rond hun producten plaatsen in plaats van in de cloud. We gaan een beweging zien van de cloud naar de periferieën van de producten naar mobiele apparaten en uiteindelijk naar het Internet of Things.”
China heeft een grote interesse in AI
“China is interessant omdat het massaal investeert in AI. Het interessante in China is dat het publiek zelf zeer geïnteresseerd is in AI. China is een van de twee landen waar ik op straat herkend word. Niet in de VS, waar ik woon. Alleen in China en Frankrijk overkomt me dat. In Frankrijk natuurlijk omdat ik Frans van geboorte ben, maar in China omdat er zoveel belangstelling is voor AI, dat het absoluut overal aanwezig is. De Chinezen hebben het voordeel dat ze een zeer grote thuismarkt hebben. En een nadeel, in die zin dat ze een volledig geïsoleerd ecosysteem zijn in termen van online diensten. Dat maakt het voor hen moeilijk om hun diensten te exporteren.”
Gezichtsherkenningstechnologie: zowel goedaardige als boze toepassingen
“Gezichtsherkenning is een van de zaken waardoor Facebook geïnteresseerd raakte in deep learning. In het voorjaar van 2013 begon een kleine groep ingenieurs bij Facebook te experimenteren met convolutionele netwerken voor beeldherkenning en gezichtsherkenning, en ze kregen er echt goede resultaten mee. Binnen enkele maanden braken ze records, publiceerden ze een mooie paper op de conferentie over Computer Vision and Pattern Recognition in 2014, met de titel Deep Face. Dat principe werd heel snel ingezet; je post een foto en je vrienden op de foto worden automatisch getagd en ze kunnen vervolgens zichzelf taggen of niet. In het begin werd het in Europa niet ingeschakeld, maar nu is het in Europa op vrijwillige basis aangezet. Helaas is deze technologie die min of meer door mij is uitgevonden, of toch een zeer vergelijkbare technologie, in China op grote schaal ingezet om mensen te besioneren. Er zijn dus boosaardige toepassingen van technologie waartegen de democratische instellingen ons gelukkig in veel landen beschermen, maar dat is niet overal het geval. Er is een zeer groot verschil tussen China, Europa en de VS. De VS en Europa komen steeds dichter bij elkaar. Facebook past nu ook in de VS AVG-achtige regels toe. Dat zijn goede regels”.
Nee, Europa heeft geen eigen Facebook nodig om zich aan te passen aan de AI-technologie
“Het is voor Europa niet nodig om zijn eigen Facebook te ontwikkelen. De reden waarom het niet nodig is, is dat er verschillende onderdelen nodig zijn voor de ontwikkeling van AI. Een belangrijk onderdeel is bijvoorbeeld het ontwikkelen van nieuwe methoden, nieuwe algoritmes, nieuwe wetenschap, waardoor de hele sector vooruit kan komen. Hiervoor heb je geen Facebook of Google nodig. Je hebt financiering nodig voor onderzoek, je hebt een goede infrastructuur voor universiteiten nodig, een grote rekeninfrastructuur die toegankelijk is voor onderzoekers, je hebt ondersteuning van de industrie nodig. En Europa zou die faciliteiten best wel eens al kunnen hebben.”
Mythe: Je hebt big data nodig voor AI
“Er is deze mythe dat je op de een of andere manier geen nieuwe AI-technieken kunt ontwikkelen als je geen toegang hebt tot enorme hoeveelheden data, zoals Facebook, Google en Microsoft. Dat is niet het geval. Bij FAIR gebruiken we bijvoorbeeld bijna uitsluitend publieke gegevens, omdat we onze algoritmes willen kunnen vergelijken met die van anderen. We gebruiken dus geen interne gegevens. Als we eenmaal iets hebben dat werkt, werken we natuurlijk met engineering groepen, en die proberen het allemaal uit op interne data. Maar om het onderzoek daadwerkelijk door te laten gaan, heb je geen gegevens nodig waar bedrijven als Facebook toegang toe hebben. Veel belangrijker is dat je voldoende mensen weet te motiveren om hieraan te werken. Wat FAIR mogelijk maakt, is dat Facebook een groot bedrijf is, met voldoende geld om onderzoek op lange termijn te financieren. Vroeger was dat ook het geval bij Philips. De creatie van Holst, het NatLab, was een toekomstgericht, fundamenteel laboratorium. Ik had 20 jaar geleden vrienden die daar werkten. Dit is niet meer het geval. Bell Labs is hetzelfde. Vroeger was het een toonaangevend lab, nu nog slechts een schaduw van wat het ooit was. Het geldt voor veel industriële onderzoekslaboratoria over de hele wereld, met name in Europa. Vandaag de dag kost het je veel moeite om in Europa een geavanceerd onderzoekslaboratorium in de informatietechnologie te vinden, er zijn er gewoon niet veel die op grote schaal open onderzoek doen”.
(Zie ook: Waarom zou Europa zijn eigen AI-centrum moeten hebben).
Mijn advies aan bedrijven die advies zoeken over AI-technologie? Toon ambitie en ga er vol in
“Het is aan bedrijven als Philips of NXP of anderen die toekomstgericht zijn en over voldoende middelen beschikken om hier echt in te stappen, om onderzoekslaboratoria te creëren. Maar let op, als je niet ambitieus genoeg bent over de doelstellingen van een onderzoekslaboratorium, wordt het een tweederangs laboratorium. En bij ambitie hoort ook openheid. Dat betekent dat de cultuur heel anders moet zijn dan nu meestal het geval is. Als je een bedrijf bent dat widgets bouwt, ben je vaak erg geheimzinnig over je onderzoek en ontwikkeling.”
(Zie ook: Morgen beter: De tien geboden van Holst).
“Dat is bijvoorbeeld het geval bij Apple. Apple is nergens te zien op het onderzoekscircuit voor AI. Ze ontwikkelen de technologie rond AI, maar ze brengen de wetenschap van AI niet echt vooruit, omdat ze widgets bouwen en een geheimzinnige cultuur hebben. De bedrijven die het veld vooruithelpen zijn degenen die niet geheimzinnig zijn en niet al te bezitterig over intellectueel eigendom. Juist dat brengt hen in een goede positie om de juiste mensen te werven, te innoveren, om tools voor te stellen die andere mensen gaan gebruiken, zodat het weer makkelijker wordt om vooruitgang te boeken. Doe alles in een omgeving van open onderzoek. Dat is mijn aanbeveling.”
Open source is essentieel voor snellere innovatie. Facebook gelooft in principe niet in patenten.
“Er is geen behoefte aan bescherming. Wat de waarde van een technologie maakt, is hoe snel je deze op de markt kunt brengen. Voor een bedrijf heb je de keuze om te werken met universiteiten, wat relatief goedkoop is. Je kunt dan proberen om nieuwe innovaties van hen te krijgen door ofwel studenten in dienst te nemen of door stagiaires of door onderzoekscontracten met universiteiten te hebben. Je moet er dan wel rekening mee houden dat het een relatief langzaam proces is met veel wrijving om de technologieoverdracht te laten plaatsvinden. De belangrijkste vraag daarbij is niet of je de beste technologie hebt, maar of je gelooft dat deze goede technologie iets is waar je iets nuttigs mee kunt doen.
We denken vaak dat we het beste systeem hebben voor bijvoorbeeld het classificeren van teksten, het vertalen van de taal, het herkennen van spraak. We gooien het open source en we praten natuurlijk ook met de engineering groep. En de engineering groepen, weet je, ze doen wat ze moeten doen, ze hebben niet veel bandbreedte; als ze een nieuwe technologie willen oppikken moeten ze eerst hun middelen opnieuw toewijzen. Dus moeten ze geloven dat wat je hun brengt echt heel nuttig is. Wat wij dan doen is het open source aanbieden zodat we er daarna naar kunnen verwijzen en zeggen: “Kijk, ons programma heeft 5000 sterren op GitHub en het wordt gebruikt door 200 andere bedrijven, behalve wij. Is dat niet gênant! Zulke dingen, waarbij je productgroepen en engineering groepen ervan overtuigt dat je technologie goed is, vormen het belangrijkste obstakel voor technologieoverdracht.
Maar zelfs als je open onderzoek doet, zelfs als je alles open source doet, dan kom je er pas met een eigen in-house onderzoeksgroep. En dat is wat telt. Je hoeft het daarvoor echt niet te beschermen. Ook Facebook gelooft in principe niet in patenten.”
Als je dit artikel leuk vindt, lees dan ook:
