Google DeepMind zet nieuwe stap: JEST versnelt leren van AI

In een baanbrekende ontwikkeling hebben onderzoekers van Google DeepMind een nieuwe methode geïntroduceerd die multimodaal leren drastisch versnelt. De techniek, genaamd Joint Example Selection (JEST), selecteert data in batches in plaats van individuele voorbeelden, wat resulteert in een aanzienlijk snellere en efficiëntere training van modellen.

JEST maakt gebruik van een algoritme dat batches van data selecteert op basis van hun gezamenlijke leerbaarheid. In tegenstelling tot traditionele methoden die individuele datapunten selecteren, richt JEST zich op het kiezen van hele batches die gezamenlijk een sterkere leerervaring bieden. Dit leidt tot een versnelling van de training met maximaal 13 keer minder iteraties en 10 keer minder rekenkracht vergeleken met de huidige state-of-the-art methoden.

Data van hoge kwaliteit is essentieel voor het presteren van grootschalige modellen. Traditionele methoden voor dataselectie vertrouwen vaak op handmatige curation, wat tijdrovend en kostbaar is. JEST automatiseert dit proces en maakt gebruik van voorgetrainde referentiemodellen om de meest leerbare batches te selecteren. Dit betekent dat modellen sneller kunnen worden getraind met minder data, zonder in te boeten aan prestaties.

Het algoritme van JEST analyseert de afhankelijkheden tussen datapunten in een batch en selecteert die combinaties die het meest leerzaam zijn. Door gebruik te maken van contrastieve leermethoden en recente vooruitgangen in modelbenadering, vermindert JEST de computationele overhead aanzienlijk. Flexi-JEST, een variant van de methode, past multi-resolution training toe om de efficiëntie verder te verbeteren, wat leidt tot een afname van de overhead tot slechts 10% van de initiële kosten.

In tests overtrof JEST bestaande modellen door aanzienlijke prestatiewinsten te behalen met minder data. Bijvoorbeeld, op de ImageNet en COCO benchmarks leverde JEST++ verbeteringen op van meer dan 5% ten opzichte van eerdere methoden. Deze doorbraak opent de deur naar snellere en efficiëntere training van multimodale modellen, wat grote implicaties heeft voor toepassingen in beeldherkenning, natuurlijke taalverwerking en meer.

De introductie van JEST markeert een significante vooruitgang in het veld van multimodaal leren. Door data selectie te optimaliseren en de leerbaarheid van batches te maximaliseren, kunnen modellen nu sneller en met minder middelen worden getraind. Deze ontwikkeling belooft niet alleen de prestaties van AI-systemen te verbeteren, maar maakt ook de weg vrij voor nieuwe innovaties in de toekomst.