Agilitest vs Mr Suricate : Outils low-code pour les tests logiciels
Exemple des outils no/low-code
7.1 Agilitest :
Agilitest se présente comme une solution no-code conçue pour automatiser les tests fonctionnels. Son objectif est de permettre aux testeurs, qu’ils soient manuels ou ingénieurs automaticiens, de créer des tests complets sur différentes plateformes sans avoir besoin de l’assistance d’un développeur.
Agilitest offre aux testeurs manuels la liberté d’automatiser leurs tests sans recourir à un développeur, démocratisant ainsi l’automatisation et confiant le pouvoir aux experts fonctionnels.
Pour les ingénieurs automaticiens, Agilitest propose une technologie fiable de détection d’objets afin de renforcer la stabilité des frameworks de tests et de maîtriser les coûts d’automatisation et de maintenance.
Agilitest couvre divers aspects, ça permet aux experts fonctionnels de prendre en charge l’automatisation des campagnes de test en créant des tests de bout en bout sur différentes plateformes, y compris les fenêtres de bureau, les terminaux mobiles, le support des services web SOAP et REST et l’automatisation des tests fonctionnels SAP.
En résumé, Agilitest vise à rendre l’automatisation des tests plus accessible, offrant une solution complète pour répondre aux besoins variés des professionnels du test.
7.2 Mr Suricate :
Mr Suricate se positionne comme un outil spécialisé dans la détection des anomalies et des bugs sur les sites web et les mobiles. Son approche repose sur la reproduction minutieuse des parcours utilisateurs, permettant ainsi d’identifier les problèmes de manière proactive.
Il propose une offre de services complète là où l’équipe de ses experts peut externaliser la prise en charge de l’ensemble des campagnes de tests fonctionnels et offrir son expertise dédiée.
Actuellement, l’équipe des experts Mr Suricate travaille en collaboration avec divers secteurs, y compris le e-commerce, les banques et l’assurance, en participant aussi dans la mise en place de stratégies de tests fonctionnels automatisés. Leur objectif est de permettre une optimisation des coûts liés aux campagnes de tests.
La solution Mr Suricate est conçue pour couvrir tous les aspects des tests, que ce soit sur des environnements de recette ou de production. Sa flexibilité se manifeste à travers son accès en ligne et sa compatibilité avec un pilotage de campagne via API. Elle a été pensée pour être utilisée par des profils non-développeurs.
En ce qui concerne la détection et la qualification des bugs, Mr Suricate propose un suivi continue à l’aide de son interface en ligne qui compile en permanence les données métriques des campagnes de scénarios et remonte par conséquent aux clients les problèmes par e-mail, avec des captures d’écran ou des vidéos en direct depuis l’outil lui-même.
Chaque utilisateur de Mr Suricate bénéficie de services dédiés, comprenant la rédaction de cahiers de recette, la création de cas de tests, la mise en place et la supervision des scénarios, le reporting, ainsi que la maintenance.
La grille d’évaluation des outils d’All4Test
1. Facilité de détection des éléments Web
Agilitest :
Agilitest se concentre sur la facilité de détection des éléments web en utilisant une approche basée sur le DOM (Document Object Model), Cela signifie qu’Agilitest recherche des éléments en se basant sur leur structure HTML et leurs propriétés, ce qui le rend plus simple à configurer.
La détection des éléments dans Agilitest est généralement plus intuitive et moins sujette aux erreurs car elle ne dépend pas d’identifiants uniques spécifiques mais plutôt sur une capture sur le champ à tester tout en proposant plusieurs types de localisation des éléments et en fournissant des statistiques pour chaque localisateur.
Agilitest est compatible avec les applications Web modernes, y compris celles utilisant des frameworks logiciels spécifiques.
Mr. Suricate :
Outil de capture non-pertinent par rapport à la recommandation des sélecteurs.
Actuellement le plugin Suricate des sélecteurs manque un peu d’efficacité lors de la génération automatique des sélecteurs. L’utilisateur de l’outil doit donc maîtriser le DOM et la priorisation des sélecteurs afin de faire ses bons choix.
Comme solution, l’éditeur est donc en train de développer un nouvel outil de capture, Capturicate, pour les besoins d’un enregistreur, et cet outil de capture sera disponible au début de l’année 2024 et devrait être plus pertinent.
2. Facilité de détection des éléments Mobile :
Agilitest :
Agilitest propose une approche basée principalement sur la capture ainsi qu’une fonctionnalité d’identification par l’apparence visuelle.
Il utilise une approche basée sur la capture pour la détection des éléments mobiles. Ça permet d’afficher l’écran de l’application mobile sur l’ordinateur, cliquer sur les éléments que vous souhaitez cibler et il les détectera automatiquement par la suite. Cela élimine la nécessité de rechercher manuellement les éléments ou d’écrire du code pour les identifier.
Il prend en compte aussi l’apparence visuelle des éléments mobiles pour les identifier. Cela signifie qu’il est possible d’utiliser des repères visuels tels que les couleurs, les formes et les positions pour les cibler, ce qui est dans des cas plus convivial que de compter sur des localisateurs.
Il prend en charge les principales plateformes mobiles, notamment Android et iOS. Il est possible d’automatiser des tests sur des appareils physiques ou des émulateurs/simulateurs.
Mr. Suricate :
Pas encore testé.
3. Facilité de détection des éléments API :
Agilitest :
Agilitest ne propose pas une fonctionnalité d’import pour les collections Json de Postman ou l’import des Swagger.
Il ne propose pas aussi d’import des exécutions des requêtes via le Network des pages Web.
L’interface est simple mais manque quelques fonctionnalités tel que l’automatisation de l’ajout des pièces jointes.
Mr. Suricate :
Pas encore testé.
4. Facilité de détection des éléments SAP :
Agilitest :
Agilitest propose une reconnaissance basée sur des captures des actions de haut niveau (click, saisie clavier…), chaque capture contient l’élément et l’action qui lui est associée.
Actuellement Agilitest couvre le thème SAP Belize plus que le thème SAP Signature.
Comme la détection des éléments web, Agilitest a aussi la capacité d’ajouter des repères visuels dans l’interface utilisateur de l’application SAP. Ces repères visuels peuvent être utilisés pour identifier et interagir avec des éléments, ce qui offre une flexibilité dans la détection des éléments SAP.
Mr. Suricate :
Pas encore testé.
5. Capacité de l’outil à être utilisé par des non-DEV
Agilitest :
La fonctionnalité principale de capture des actions de haut niveau proposée par Agilitest élimine le besoin de codage tout en proposant des tests robustes et maintenables.
Mr. Suricate :
A l’exception de la fonctionnalité de choix du sélecteur (qui pour le moment nécessite des connaissances en CSS et en DOM) La solution Mr Suricate couvre les besoins en test sans nécessité d’un profil développeur et sans intégration (100 % en ligne ou pilotage de campagne via API).
6. Ergonomie (IHM)
Agilitest :
L’aspect ergonomique d’Agilitest contribue à une adoption simple et à une utilisation efficace de l’outil ainsi qu’il propose l’automatisation des scénarios par l’ajout des blocs par glisser-déposer. Par contre, il propose une interface avec une palette de couleurs moins agréable visuellement. Les choix de couleurs dans l’IHM peuvent sembler moins harmonieux, ce qui peut rendre l’interface moins attrayante pour les utilisateurs
Mr. Suricate :
Bonne ergonomie par une programmation visuelle
L’aspect ergonomique contribue à une adoption plus facile et à une utilisation efficace de l’outil.
L’automatisation des scénarios se fait par l’assemblage de blocs par glisser-déposer, comme la programmation avec le langage Scratch pour les enfants. Cela apporte une dimension pratique et ludique qui crée de la sympathie chez l’utilisateur.
7. Facilité de maintenance des scripts
Agilitest :
La solution Agilitest est généralement incassable, elle est robuste aux changements et aux évolutions du logiciel et de ses pages car les actions de haut niveau (click, saisie clavier…) seront toujours valables ainsi que Agilitest contient une surcouche qui capte automatiquement les problèmes techniques (les temps d’attente des serveurs, la disponibilité des composants : sans besoin même d’ajouter des Waits entre les actions).
Mr. Suricate :
L’utilisation de la couche d’exécution des tests Playwright par Mr Suricate garantit la stabilité et la robustesse des tests automatisés (tout en soulignant le besoin de bien choisir ses sélecteurs afin de rendre la maintenance plus facile).
8. Support éditeur (réactivité, disponibilité)
Agilitest :
Editeur réactif aux demandes, questions, et propositions (La plupart des évolutions ont été liées à des demandes utilisateurs). Les équipes R&D sont installées en France.
Mr. Suricate :
Pareil que Agilitest, l’éditeur Mr Suricate est bien réactif aux demandes, questions, et propositions ainsi que ses équipes sont installés en France.
9. Ancienneté du produit
Agilitest :
Agilitest est un outil fondé récemment en 2017
Mr. Suricate :
Mr Suricate est un outil fondé récemment en 2015
10. Tarif Licence annuelle pour 1 user
Agilitest :
N’hésitez pas à nous contacter pour obtenir des détails, incluant la possibilité d’un tarif préférentiel avec remise en passant par All4Test.
Mr. Suricate :
N’hésitez pas à nous contacter pour obtenir des détails, incluant la possibilité d’un tarif préférentiel avec remise en passant par All4Test.
11. Connexion avec outil de test manuel du client (oui/non)
Agilitest :
Agilitest est compatible avec le standard Testng. La connexion à un outil de gestion des tests et à des TLM (Test Lifecycle Management) est possible s’il s’agit d’un outil compatible avec le standard Testng.
Mr. Suricate :
Il n’y a pas d’intégration avec des TLM (Test Lifecycle Management) pour l’instant.
Le manque actuel de possibilité de se connecter aux référentiels de tests manuels connus (Xray, Squash…) déjà implémentés chez des sociétés peut être un challenge pour les clients avec des référentiels de tests existants qui souhaitent les récupérer dans Mr Suricate. Bien que des développements soient en cours, cette limitation doit être prise en compte rapidement.
12. Connexion possible avec CI/CD (oui/non)
Agilitest :
Agilitest est bien compatible avec l’ensemble des plateformes d’intégration continue.
Mr. Suricate :
Etant donné qu’il s’agit d’un SaaS sur le Cloud, Mr Suricate propose un environnement de travail prêt à l’emploi
L’absence de besoin d’installation de code ou de logiciels offre une utilisabilité accrue, permettant un déploiement rapide et une gestion des tests et des résultats des tests simplifiée.
Mr Suricate simplifie considérablement la configuration. Pas besoin de mise en place d’une plateforme d’intégration continue comme Jenkins, ce qui fait gagner du temps et évite les complications. Il peut en fait planifier et lancer des tests à intervalles réguliers, le tout en interne, sans nécessiter des éléments supplémentaires comme Jenkins ou des machines virtuelles.
Il historise aussi chaque modification apportée aux tests. Et comme l’historique est séparé par scénario, on peut revenir sur une révision antérieure sans perdre le travail fait sur d’autres scénarios. Chaque révision est consultable, et on peut même faire un copier-coller d’un bloc seulement.
13. Qualité du reporting / Dashboard
Agilitest :
Agilitest propose un rapport qui contient les itérations, les checkpoints, les résultats attendus, les résultats obtenus, les statistiques… Ainsi qu’il propose aussi un rapport vidéo.
Mr. Suricate :
Mr Suricate propose des Tableaux de bord hérités de Jira et faciles à exploiter : L’outil génère des rapports de test qui montent dans des Dashboards exportables en format PDF avec en plus un système d’alerte par e-mail ou SMS en cas d’échec d’exécution, cela offre une vision claire et détaillée des résultats des tests. Ces tableaux de bord ne se contentent pas seulement de fournir des données brutes, mais ils les présentent de manière visuellement intuitive, facilitant ainsi la compréhension et l’analyse des résultats et des performances des tests.
14. Validité du code au cas d’arrêt d’utilisation de l’outil
Agilitest :
En cas d’arrêt de l’utilisation de Agilitest, il sera possible de conserver son référentiel ATS (action test script) pour rejouer les tests et il n’y aura pas de coût en les exécutant. Il s’agit d’un langage Open source et la licence est uniquement liée à la création et la maintenance des tests.
Mr. Suricate :
L’utilisation de la couche d’exécution des tests Playwright par Mr Suricate rend l’output du code source exploitable (à confirmer). Haut du formulaire
Conventions de nommage par outil :
| Nommage Standard | Nommage Mr Suricate | Nommage Agilitest |
| Suite de test | Campagne de test | Répertoire |
| Cas de test | Scénario de test | ScriptATS |
| Etape de test | Un groupe d’actions de niveau 1 | Action |
| Blocs | Metablock | Sous-Script |
| Commentaire | Pas disponible | Etape fonctionnelle |
Tableau de comparaison des outils no/low-code :
Grille d’évaluation des outils de test no/low-code | ||
| Note de 1 à 5 (5 meilleur note) | Evaluation Mr Suricate | Evaluation AGILITEST |
| Facilité de détection des éléments web | 3 | 5 |
| Facilité de détection des éléments mobile | RAS | 5 |
| Facilité d’automatisation des API | RAS | 3 |
| Facilité d’automatisation du SAP | RAS | 5 |
| Capacité de l’outil à être utilisé par des non-DEV | 4 | 5 |
| Ergonomie (IHM) | 5 | 4 |
| Facilité de maintenance des scripts | 4 | 5 |
| Support éditeur (réactivité, disponibilité) | 5 | 5 |
| Ancienneté du produit | 3 | 3 |
| Tarif Licence annuelle pour 1 user | 5 | 5 |
| Connexion avec outil de test manuel du client (oui/non) | 3 | 4 |
| Connexion possible avec CI/CD (oui/non) | 5 | 5 |
| Qualité du reporting / Dashboard | 5 | 4 |
| Validité du code au cas d’arrêt d’utilisation de l’outil | 4 | 4 |
Conclusion Mr Suricate vs Agilitest
Voir également nos différents articles sur les mêmes sujets :
- Outils no/low-code : Outils Faciles pour Tous
- Automatisation des tests : Frameworks & Bonnes pratiques
- Formation : Automatisation des tests low code
Afin de continuer à rester informé sur les actualités de l’univers du test, inscrivez-vous à notre newsletter.
À bientôt les chasseurs de bugs !
Article créer par Nadhmi Benmohamed consultante QA chez ALL4TEST.
