Niet alle 'open' AI modellen zijn open

Blog
vrijdag, 21 juni 2024 om 9:47
niet alle open ai modellen zijn open
Technologiebedrijven zoals Meta en Microsoft beschrijven hun AI-modellen als 'open source', maar onthullen vaak niet de volledige onderliggende technologie.
Volgens Nature onderzochten taalwetenschappers Mark Dingemanse en Andreas Liesenfeld de openheid van populaire chatbotmodellen. Zij ontdekten dat kleinere bedrijven meer transparant zijn dan grotere.
Ze beoordeelden de openheid van modellen op basis van code, data, gewichten, preprints en API-toegang.
De lijst van Nature vind je hieronder. We hebben de AI's ingedeeld in drie categorieën: volledig open modellen, gedeeltelijk open modellen en niet-open modellen.

Hoe open is open-source met AI?

AI-modellen kunnen variëren in hun mate van openheid.
Volledig open modellen, zoals BloomZ en OLMo, bieden volledige toegang tot hun code, data, gewichten, preprints en soms hun API.
Dit stelt onderzoekers in staat om de modellen volledig te repliceren, te bestuderen en aan te passen, wat bevorderlijk is voor transparantie en wetenschappelijke vooruitgang.
Gedeeltelijk open modellen, zoals Mistral 7B-Instruct en Gemma 7B, bieden slechts beperkte toegang. Ze kunnen bijvoorbeeld alleen hun gewichten delen, maar niet de volledige data of code. Dit beperkt de mogelijkheid voor onderzoekers om het model volledig te begrijpen of aan te passen.
Niet-open modellen, zoals Orca 2 en Llama 3 Instruct, geven nauwelijks toegang tot enige componenten, wat de transparantie en het vermogen om wetenschappelijke bevindingen te reproduceren ernstig belemmert.

Volledig open:

  • BloomZ (BigScience)Code: ✔Data: ✔Gewichten: ✔Preprint: ✔API: ~
  • OLMo (Allen Institute for AI)Code: ✔Data: ✔Gewichten: ~Preprint: ✔API: ~

Gedeeltelijk open:

  • Mistral 7B-Instruct (Mistral AI)Code: ~Data: XGewichten: ✔Preprint: ~API: ✔
  • Gemma 7B instruct (Google)Code: ~Data: XGewichten: XPreprint: ~API: X

Niet open:

  • Orca 2 (Microsoft)Code: XData: XGewichten: ~Preprint: ~API: ~
  • Llama 3 Instruct (Meta)Code: XData: XGewichten: ~Preprint: XAPI: ~
Welke protocollen missen we in deze lijst? We zijn benieuwd naar je input.