PrismML lanceert Bonsai 27B AI-model, geoptimaliseerd voor iPhone en Apple hardware

AI-startup PrismML heeft een belangrijke stap gezet met de release van Bonsai 27B, een groot AI-model dat volgens het bedrijf het eerste in zijn soort is dat effectief op de iPhone kan draaien. Deze ontwikkeling komt tegelijk met de bevestiging van PrismML's CEO Babak Hassibi dat Apple de technologie van het bedrijf actief evalueert.

Bonsai 27B: AI voor de iPhone

De Bonsai 27B-release is opmerkelijk vanwege zijn geclaimde efficiëntie op mobiele apparaten. Waar een typische 27B-model te veel geheugen zou vereisen, past de 1-bit versie van Bonsai 27B met ongeveer 4 GB binnen het beschikbare geheugen van een iPhone (ongeveer 6 GB voor modellen op een 12 GB iPhone, gedeeld met andere processen). Dit maakt on-device AI op Apple-telefoons een stuk dichterbij.

Het model is ontworpen om direct op Apple-hardware te draaien – Mac, iPhone en iPad – via MLX, en op NVIDIA GPU's via CUDA. Dit wordt mogelijk gemaakt door op maat gemaakte 'low-bit kernels' die specifiek zijn gebouwd voor de 'hybrid-attention architecture' van Bonsai 27B. De gewichten van het model zijn per direct beschikbaar onder de Apache 2.0-licentie, en een gratis, tijdelijke ontwikkelaars-preview API is gelanceerd om integratie te vergemakkelijken.

Prestaties en specificaties

PrismML heeft ook prestatiecijfers gedeeld voor Bonsai 27B. Op een NVIDIA GeForce RTX 5090 haalt het model tot 163 tokens per seconde (tok/s) in 1-bit modus en 134 tok/s in Ternary modus. Op Apple's M5 Max-chip zijn de prestaties 87 tok/s in 1-bit en 58 tok/s in Ternary. Deze cijfers benadrukken de potentie van het model op zowel professionele hardware als op Apple's eigen silicium.

De Apple connectie

De timing van de Bonsai 27B-release is opvallend. Vorige week lekte via The Information al uit dat PrismML gesprekken voerde met Apple. Nu bevestigt CEO Babak Hassibi in een interview met CNBC dat Apple en andere bedrijven de modellen van PrismML evalueren op snelheid, energie-efficiëntie en prestaties op apparaten. "Ze evalueren onze technologie nu echt," aldus Hassibi over Apple.

Hassibi benadrukt dat de discussies nog in een zeer vroeg stadium verkeren en dat de uitkomst onzeker is, maar hij stelt wel dat "dingen goed vorderen." Apple heeft vooralsnog niet gereageerd op een verzoek om commentaar. Het is een tactiek die vaker voorkomt bij startups om communicatie met techreuzen te benutten voor het genereren van publiciteit rondom nieuwe producten.

Koopadvies

Voor de gemiddelde consument is Bonsai 27B op dit moment nog geen direct product om te kopen; het is een onderliggende AI-technologie. De impact op de gebruiker hangt sterk af van de uiteindelijke implementatie door Apple of andere ontwikkelaars. Hoewel de technische prestaties indrukwekkend zijn en de claim van on-device draagbaarheid voor de iPhone veelbelovend is, is het raadzaam om af te wachten.

Investeerders en vroege tech-adopters moeten de ontwikkelingen rond PrismML nauwlettend in de gaten houden. Als Apple besluit om deze technologie te integreren, kan dit de mogelijkheden van AI op iPhones en andere Apple-apparaten aanzienlijk uitbreiden. Echter, de daadwerkelijke beschikbaarheid en functionaliteit voor de eindgebruiker zijn nog niet duidelijk. Houd de nieuwsberichten over Apple's AI-strategie en eventuele aankondigingen van PrismML in de gaten.