Protocole de test des ROMs Android sur Chartouni.fr

Voici la méthode par laquelle je teste mes ROMs Android, custom comme stock. Plus la ROM passe d’étapes, mieux elle est notée. Les étapes sont franchies dans l’ordre. L’échec d’une des étapes met définitivement fin au parcours de la ROM dans la compétition. J’utilise ce protocole sévère, car c’est lui qui me permet de trouver la perle rare des ROMs, la ROM parfaite.

Pour moi, si un outil ne marche pas du premier coup, c’est qu’il ne marche pas. Et quand je vois ce que fait la concurrence en matière de stabilité sur systèmes mobiles (je pense particulièrement à iOS, bien sûr), je me suis dit qu’il serait tout à fait possible à Android d’y faire un sans faute, éventuellement en offrant en plus un système performant et autonome. La chasse à l’OS de smartphone parfait est ouverte! Suivez le guide.

Étape 1: Restauration des données


Logo de Titanium Backup

Ce test est effectué à l’aide de la version payante du logiciel Titanium Backup, très largement répandu et connu des manipulateurs de ROMs Android. Cette application permet de sauvegarder toutes les applications installées sur le smartphone, leurs données (score des jeux, liste des courses, paramètres des comptes mail dans les applications adéquates, par exemple) ainsi que les paramètres systèmes (luminosité de l’écran, paramètres Android, fond d’écran, Launcher par défaut…etc.) sur le stockage interne du smartphone, qui, pour information, n’est jamais formaté lors d’un changement de ROM, ce qui est aussi le cas du contenu de la carte SD (seule la partition contenant le système est formatée si la ROM est de type « wipe »).


Interface de Titanium Backup

Du coup, lors d’un changement de ROM, pour peu que la nouvelle ROM soit rootée, vous pouvez (et devez!) normalement retrouver votre smartphone dans l’état identique à celui avant le changement de ROM, avec les mêmes données et les mêmes paramètres.

Plus les données et paramètres sous la nouvelle ROM diffèrent de ceux avant le changement, plus la ROM est pénalisée. Certaines ROM par exemple, restaurent sans problème les applications, à l’exception des applications stock, c’est-à-dire celles natives à Android (Calendrier, Gmail, Tâchez, Mémos…etc.). D’autres sont incapables de digérer la moindre donnée restaurée, ce qui les pousse au recalage direct!

En effet, à moins d’avoir entre les mains un smartphone tout neuf, il n’y a aucun intérêt à opter pour une ROM sur laquelle on ne peut pas retrouver ses données!

Étape 2: La stabilité

Cette étape inclut les tests suivants, par ordre d’importance:

Stabilité système, c’est-à-dire le taux de plantages des processus système. Les plantages du Market ou d’un processus relatif à un paramètre modifié (comme le changement de la langue du clavier, par exemple) en font partie. Plusieurs ROMs que j’ai testées sont par exemple dans l’incapacité d’installer une application depuis le Market (messages d’erreur, téléchargement bloqué), d’autres sont incapables de gérer l’achat In-App dans les applications tierces, comme les jeux. Les redémarrages intempestifs du smartphone, les screen freeze (écran qui ne réagit plus, forçant à redémarrer le téléphone), les sleep-of-death (smartphone en veille qui ne se rallume pas normalement) et tous les problèmes relatifs aux modules réseau (wifi, bluetooth, téléphone, 3G) font également partie de cette catégorie, et sont particulièrement pénalisants!

Stabilité des applications tierces, c’est-à-dire le taux de plantages des applications installées sur le smartphone. Plusieurs ROMs que j’ai testées ne gèrent pas correctement les apps stock (Calendrier, Mémos, Horloge, Tâches…etc.), par exemple, ce qui oblige le recours à une alternative sur le Market.

Les droits root doivent être stables, et la ROM doit contenir une version universelle de CWM (certaines ROMs incluent une version personnalisée de CWM ne permettant pas toujours de « voir » les sauvegardes effectuées avec la version de CWM incluse dans la ROM précédente!). La présence d’applications de type « Kitchen », permettant de piloter les fonctions relatives aux droits root (gestion de CWM, des droits root, de la bootanimation, du battery mod et de l’overclocking) est appréciée.


Logo de SuperUser

Étape 3: L’autonomie

Là encore, on est dans le vif du sujet, et dans une des étapes les plus éliminatoires: l’autonomie! Les développeurs doivent clairement comprendre qu’une ROM stable mais qui tient entre 4 et 6 heures sur batterie n’est pas très glorieuse, sauf s’il est explicitement mentionné que cette ROM est orientée « performances au détriment de l’autonomie » (je m’abstiendrai de la tester, le cas échéant!). Certains me diront que cela dépend des applications installées sur le smartphone, quelques unes étant effectivement connues pour faire tourner en tâche de fond des processus très discrets et particulièrement voraces. Mais j’utilise exactement les mêmes applications que sur ma ROM habituelle, qui tient, elle, plusieurs jours sans chargeur avec ces mêmes applications! De plus, le Gestionnaire des Tâches m’indique généralement que c’est le système qui consomme le plus de batterie. CQFD…

Étape 4: Les performances

Dans cette catégorie figure la capacité de la ROM à gérer des tâches simples (essentiellement la fluidité des bureaux et du Launcher – ce n’est pas la peine de faire tourner des jeux 3D sur une ROM qui ne peut pas faire défiler des grilles d’icônes d’applications sans saccades!), puis, si elles réussissent ce test, des tâches gourmandes en ressources avec un maximum de fluidité (et sans siroter la batterie, s’il vous plaît!). Tous les jeux, y compris 3D, doivent être fluides et sans saccades! Il est également préférable qu’elles ne transforment pas le smartphone en toast sorti du grille-pain! L’importance de la possibilité d’overclocker dépend de l’appareil testé: en effet, si l’intérêt de l’overcloking reste discutable sur un smartphone haut de gamme comme le Samsung Galaxy S2, il a quand même son importance sur des appareils Android aux performances modestes, comme la tablette Acer Iconia Tab A501.

Étape 5: L’interface


Interface de GO Launcher EX, un célèbre Launcher sous Android

Le choix et la qualité du Launcher par défaut, jouent également dans la note de la ROM. Un Launcher atypique (comme celui de MIUI) est apprécié s’il offre une interface design, à condition de ne pas dérouter l’utilisateur. Par exemple, un Launcher où il n’est pas évident de trouver le menu des Paramètres, souvent utilisé, pénalise la ROM. Les polices disponibles, leur lisibilité, le design de la ROM en général (menu des notifications, des paramètres, battery mod…etc.) rapportent des petites miettes en plus (ou en moins) dans la note finale.

Étape 6: Les goodies

La présence d’un kitchen (applications pour gérer le thème de la ROM, le battery mod, le recovery et les droits root), d’applications utiles livrées avec la ROM (des applications bureautiques sur tablette par exemple, des jeux…etc.), de widgets, de thèmes…etc. rapportent du bonus. Enfin, la mise à disposition de mises à jour OTA ou via une application livrée joue le rôle de cerise sur le gâteau!

Comparatif de ROMs pour Acer Iconia Tab A501

Petit récapitulatif de toutes les ROMs que j’ai déjà testées sur ma Acer Iconia Tab A501. A savoir que certaines ROMs sont conçues pour la A500, dépourvue du module 3G. Vous perdrez donc cette fonction en installant des ROMs pour A500 (à condition qu’elles aient été testées et approuvées pour A501, évidemment!). Les point négatifs en gras sont de mon point de vue rédhibitoires.

ROM Stock Acer 3.0.1

Liste des ROMs proposées par Acer

Design: Moyen
Fonctionnalités/apps natives: Moyen (Polaris Office)
Stabilité: Bien
Performances générales: Moyen

+ ROM très stable, plantages rares

– Certains jeux ne tournent pas sous cette ROM
– Performances à la traine

Commentaire: Très bonne ROM, mais un peu lente et dommage que Asphalt 6 HD ne fonctionne pas dessus.

ROM Taboonay 2.2

Topic officiel de la ROM Taboonay

Design: Moyen
Fonctionnalités/apps natives: Moyen (overclock et root)
Stabilité: Bien
Performances générales: Bien

+ ROM très performante
+ Possibilité d’overclocker
+ ROM 3.2 rootée
+ Plantages peu fréquents par rapport aux autres ROMs

– Les apps natives à intérêt limité
– Quelques problèmes d’achat sur le market en In-App

Commentaire: Cette ROM est très stable, mais avait parfois tendance à vider rapidement la batterie lorsque la tablette est en veille, et pouvait même aller jusqu’à éteindre celle-ci après plusieurs heures d’inutilisation!

Edit: Repassé sous cette ROM depuis 2 mois, je n’ai plus eu le problème d’extinction.

ROM Taboonay (ICS) 3.0.1

Topic officiel de la ROM Taboonay

Design: Bien
Fonctionnalités/apps natives: Mauvais (pas de kitchen, ni d’overclock, droits root instables)
Stabilité: Bien
Performances générales: Moyen

+ ROM globalement stable
+ ROM ICS rootée
+ Plantages peu fréquents par rapport aux autres ROMs

– Impossibilité de désactiver le correcteur orthographique
– Impossibilité d’overclocker
– Droits root instables, qui ont tendance à disparaître
– Connexion wifi aléatoire malgré l’application du patch correcteur (décrochages du module wifi)
– Absence du driver 3G

Commentaire: Bien plus décevante que sa prédécesseuse (la 2.2), la ROM ICS du développeur français « Vache » n’a su conserver que sa stabilité globale (taux de plantages des apps faible). Pour commencer, elle a hérité d’un défaut de sa « grand-mère », la version 2.1: les droits root ont tendance à disparaître tout seuls, ce qui de plus est systématique après une restauration par CWM! Ensuite, elle n’autorise pas l’overclocking, contrairement aux versions précédentes de Taboonay. En outre, elle a perdu son driver 3G, faisant du wifi un passage obligé pour avoir Internet sur la Acer A501… quand celui-ci veut bien marcher! Pour finir, l’option de désactivation du correcteur orthographique du clavier est inopérante. Dans l’attente d’une mise à jour, cette ROM est à éviter!

ROM Pyrana v2

Topic officiel de la ROM Pyrana

Design: Très Bien
Fonctionnalités/apps natives: Moyen (overclock et root)
Stabilité: Recalée
Performances générales: Bien

+ ROM très performante
+ Interface Honeycomb design (bouton refaits)
+ ROM 3.2 rootée

– Les apps natives à intérêt limité
– Instabilité de certains modules système rendant l’utilisation de la tablette impossible

Commentaire: Cette ROM était très prometteuse, mais il a suffit de changer la langue du clavier pour qu’un message d’erreur annonçant son plantage apparaisse toutes les 10 secondes, qui de plus est très difficile à fermer! Reboot, cache wipe et factory reset n’ont rien changé!

ROM Harkon 1.0

Topic officiel de la ROM Harkon

Design: Moyen
Fonctionnalités/apps natives: Moyen (overclock et root, Master CPU Free)
Stabilité: Moyen
Performances générales: Moyen

+ ROM 3.2 rootée
+ Overclock possible jusqu’à 1.6 GHz

– Un redémarrage intempestif
– Problèmes d’achat sur le Market
– Plantages d’apps fréquents

Commentaire: Au début, je me suis dit que cette ROM était très prometteuse. Mais les applications ont souvent tendance à se planter avec. Il est même arrivé à la tablette de redémarrer toute seule!

ROM Thor

Hors Classement

Page officielle de la ROM Thor

Non testée pour cause de défaut majeur qui est l’absence de connexion 3G, critère éliminatoire pour moi. Je l’ai quand même mise ici parce qu’on dit beaucoup du bien d’elle. Incontourable (d’après ce qu’on dit) si vous vous en fichez de la 3G! Pour ma part, c’est une fonction indispensable, et je ne suis absolument pas intéressé par le tethering.

ROM Moscow Desire’s Alexandra III

Topic officiel de la ROM Alexandra

Design: Moyen
Fonctionnalités/apps natives: Bien (c’est une ROM entièrement basée sur la stock Acer, donc logiciels de Acer + quelques goodies fournis par le développeurs dont CPU Master Free, BusyBox, SU…etc.)
Stabilité: Très Bien
Performances générales: Très Bien

+ ROM 3.2.1 rootée (l’ultime version de Honeycomb)
+ Overclock possible jusqu’à 1.6+ GHz

Quelques lags de la tablette après extinction d’écran prolongée
– L’écran se rallume parfois tout seul après mise en veille

Mise à jour du 27/04/2012: Le problème lags à l’allumage de l’écran est dû à l’installation de l’antivirus Avast! Mobile Security. La ROM n’y est donc pour rien. 🙂

Commentaire: S’il doit exister une ROM parfaite pour Acer Iconia Tab A501, c’est celle-là! De loin la meilleure ROM qui puisse exister, très stable, très performante. Elle s’assimile un peu à une ROM stock Acer avec en plus la possibilité d’overclocker jusqu’à 1.6+ GHz et les droits root! Que demander de plus?
Le développeur promet pour bientôt une version ICS, que je suis impatient de tester!

SensatioN ROM 3.0 pour Samsung Galaxy S2


Accueil du launcher natif de la ROM

Topic de la ROM SensatioN 3.0

Basée sur la ROM KK5 (Android 2.3.6 – la plus récente à ce jour), cette ROM épate tout d’abord avec son design sensationnel. Les icônes sont bien fichues, et les fenêtres en verre semi-transparent sont du plus bel effet. Enfin un launcher qui m’a convaincu de laisser tomber l’excellent GOLEX (Go Launcher EX), dont je commençais un peu à me lasser. Le kitchen présent (app livrée avec une ROM custom, permettant de peaufiner certaines réglages système propres à la ROM), Deluxe Settings, commun à plusieurs ROMs que j’ai testées, permet de paramétrer davantage le design du launcher en fonction de ses propres goûts (effet CRT, càd la barre blanche qui apparaît à l’extinction de l’écran comme sur une ancienne télé, lock screen opaque ou transparent, ainsi que quelques autres réglages aux noms plus anecdotiques comme JKay Glass Deluxe ou JKay AOSP Deluxe (?)…).


Drawer de la ROM

Le drawer (partie du launcher dédiée à la liste des applications) offre un effet de transition en 3D très fluide. Je m’interroge par contre sur les critères de tri utilisés sur les icônes, qui ne suivent pas toujours un ordre logique (alphabétique en principe, mais certaines icônes ne sont pas à leur place!).


Barre de notification déroulée

Côté restauration des données avec Titanium Backup, aucun problème n’a été constaté, même au niveau des SMS, un test qui disqualifie pourtant de nombreuses ROMs que j’ai testées. En revanche, la restauration des contacts pose problème avec Titanium Backup, mais l’application Contacts de la ROM propose un outil de sauvegarde des contacts Google vers la carte SD, ce qui permet ensuite de les restaurer sur le téléphone en local. Un problème donc heureusement contournable.


Application Téléphone de la ROM

Dernière bonne nouvelle, last but not least, l’autonomie excellente en idle (écran éteint) et très correcte en utilisation normale, et une stabilité globalement très bonne, sauf avec les applications stock, ce qui peut s’avérer dans certains cas bien embêtant: en effet, il m’est arrivé de voir l’application E-mail native se planter en beau milieu de rédaction d’un mail (ce qui est déjà bien difficile avec le clavier livré!) avant la production d’un brouillon. De même, il m’est arrivé de voir l’application Horloge se planter lors de la configuration d’un réveil, alors que j’étais déjà au lit et tombant de sommeil! J’ai dû redémarrer mon téléphone, ce qui a heureusement suffi à remédier au problème. Deux exemples de la Loi de Murphy, dont cette ROM semble bien être adepte…

Bref, cette ROM est très satisfaisante, autant au niveau design qu’au niveau de l’autonomie et de la stabilité, sauf au niveau des apps stock, un défaut qui lui vaut largement la confiscation de sa dernière étoile!

Mise à jour du 07/02/2012: Nouveaux bugs constatés depuis la publication de l’article:
– L’affichage de certaines photos dans l’app Facebook éteint l’écran et les LEDs (sans éteindre l’appareil, le bouton « Retour » reste fonctionnel)
– Deuxième plantage lors de la saisie d’un mail dans l’app stock (ça commence à bien faire!)
– Un matin pendant que le réveil sonnait, le son de l’alarme saccadait
Pas d’incidence sur la note de la ROM pour le moment.

Note: 4/5

Avantages
Inconvénients
+ Design de l’interface
+ Autonomie
+ Stabilité globale…
– …sauf avec les apps stock!