MiniCPM-V 4.7 : un MoE multimodal de 35B qui tourne sur smartphone avec ~3 Go

Un gros modèle multimodal, d’habitude, c’est un GPU costaud ou une facture cloud. Le 15 octobre 2026, ModelBest et la communauté OpenBMB ont annoncé MiniCPM-V 4.7, une famille open source capable de comprendre images, documents et vidéos directement sur smartphone et tablette. Les poids étaient déjà publiés sur GitHub depuis le 12 octobre ; le communiqué officialise le lancement.

Deux tailles : 35B-A3B et 1B

Le modèle phare, MiniCPM-V 4.7 35B-A3B, est le premier « mixture of experts » (MoE) de la série : 35 milliards de paramètres au total, mais seulement environ 3 milliards activés par token. La plupart des experts restent sur le stockage de l’appareil et ne sont chargés qu’à la demande. Résultat annoncé : il tourne avec à peu près 3 Go de mémoire sur iOS et Android (le README GitHub cite aussi HarmonyOS).

La version 1B, héritière de MiniCPM-V 4.6, vise les appareils d’entrée de gamme : vision générale, OCR, lecture de graphiques et compréhension multi-images.

L’astuce : le Lookahead Expert Scheduling

Pendant qu’une couche calcule, le Lookahead Expert Scheduling (LES) devine quels experts la couche suivante va réclamer et les précharge. Selon ModelBest, plus de 80 % des experts nécessaires sont prêts à l’avance, sans entraînement supplémentaire — et comme le routeur d’origine garde le dernier mot, les réponses sont identiques avec ou sans LES.

Avec la quantification couche par couche et un stockage contigu des experts, l’éditeur annonce :

• une génération environ 5 fois plus rapide sur iPad Pro M4 (16 Go) ;
• plus de 17 tokens/s sur cet iPad Pro M4 ;
• plus de 13 tokens/s sur iPhone 17 Pro Max.

Ce qu’il sait faire

Compréhension visuelle, problèmes scientifiques, OCR, documents et graphiques, vidéos longues. On peut compresser les tokens visuels par 4 ou par 16 ; à 16x, ModelBest revendique 90,9 sur MMBench et 90,4 sur OCRBench. La nouvelle méthode Self-Replay Fine-Tuning réinjecte les meilleures réponses du modèle dans l’entraînement pour apprendre de nouvelles tâches sans oublier les anciennes.

Compatible dès le premier jour

Support immédiat d’AMD, Apple, Arm, Houmo AI, Intel, Rockchip et NVIDIA, plus de nombreuses puces chinoises (Huawei, Hygon, Moore Threads, MetaX, T-Head…) via FlagOS. Poids, code d’inférence et de fine-tuning sont publics, avec les fiches sur Hugging Face.

L’avis Rocks

Les chiffres de vitesse et les benchmarks viennent de l’éditeur : on attend des tests indépendants. Mais c’est exactement la direction qu’on aime pour une maison connectée locale : un modèle de vision capable de lire un compteur, une étiquette de colis ou une capture de caméra sans rien envoyer dans le cloud. Le support Rockchip est à suivre de près, ce sont les puces de nombreuses cartes qu’on fait déjà tourner à côté de Home Assistant. On le testera chez nous avant de le recommander.