Pour Google, l'IA est un gouffre à mémoire RAM et 8 Go ne suffisent pas

Début mars, Google expliquait que seul le Pixel 8 Pro (la version la plus onéreuse) pourrait faire tourner son modèle d'IA en local, Gemini Nano. Le Pixel 8 et le Pixel 8 Pro étant assez proches, certains se demandaient pourquoi le premier n'aurait pas droit à cette possibilité, et Google a répondu : à cause de la mémoire vive.

Seul celui de droite à droit à Gemini Nano en local.

Le Pixel 8 n'intègre que 8 Go de RAM, comme n'importe quel Mac d'entrée de gamme, alors que le Pixel 8 Pro, lui, contient 12 Go de RAM. Et Seang Chau, un responsable de Google, l'explique bien dans un podcast : les 4 Go supplémentaires font une vraie différence. Google a donc décidé de ne pas activer Gemini Nano par défaut sur le Pixel 8 pour ne pas dégrader l'expérience des utilisateurs, même s'il sera possible de l'activer manuellement comme l'explique Ars Technica. Ce ne sera pas pour autant une option réellement accessible : elle nécessitera de se rendre dans les menus liés aux développeurs, cachés par défaut.

Le principal défaut des modèles d'IA vient du fonctionnement même de ces derniers et des usages : pour être efficaces, ils doivent être accessibles rapidement et donc rester dans la mémoire vive en permanence. Le système ne peut pas — comme pour les autres applications — décider de les fermer et de rechercher les données à la demande, ne serait-ce que pour des questions de performances. Charger les quelques Go nécessaires depuis le stockage interne peut en effet amener une latence assez désagréable à l'usage. Mais laisser le modèle en mémoire sur un appareil un peu limité en RAM peut amener d'autres contraintes qui peuvent expliquer les choix de Google : personne n'a envie de revenir à l'époque où chaque changement d'application nécessitait un chargement complet faute de mémoire vive.

C'est un problème qui n'est pas nécessairement mis en avant car les capacités de calcul des NPU intégrés dans les systèmes sur puce sont un peu plus visuelles et simples à appréhender, mais les modèles de calcul pour les IA demandent énormément de mémoire vive. Et c'est aussi (peut-être) une des raisons de l'absence de ce type de modèle dans les iPhone : les smartphones d'Apple¹ ont peu de mémoire vive. Les iPhone 15 se limitent à 6 Go, quand les iPhone 15 Pro montent à 8 Go de RAM. Il s'agit d'une capacité respectable dans l'absolu compte tenu des limites du système d'exploitation, mais elle semble ridicule quand de nombreux modèles sous Android intègrent 12, 16 ou même 24 Go.

Nul doute qu'un représentant d'Apple viendra nous expliquer un jour ou l'autre que 8 Go dans un iPhone correspondent à 16 Go dans un smartphone Android. Et comme dans les Mac, ce sera évidemment faux.