Introduction des contrôles automatisés de la qualité des données !
Nous sommes ravis d'annoncer une nouvelle fonctionnalité majeure sur la plateforme de données Water Rangers : des contrôles automatisés de la qualité des données !
Les contrôles automatisés des données, associés à une vérification humaine, renforcent la confiance dans les données collectées par la communauté.
Notre nouveau processus automatisé de contrôle de la qualité des données signale les problèmes potentiels dès la soumission des observations. Il aide les collecteurs de données à repérer et à corriger rapidement les erreurs et offre aux administrateurs de jeux de données un moyen plus rapide et plus clair de les examiner. Cette approche renforce la confiance dans les données de science participative utilisées pour la recherche et la prise de décision. Ce projet est soutenu par la Fondation RBC.
La nouvelle fonctionnalité utilise un approche en deux volets:
- Des contrôles automatisés signalent les problèmes potentiels au fur et à mesure que les collecteurs de données soumettent leurs observations.
- Les administrateurs de jeux de données examinent les données signalées afin de s'assurer que les observations correctes ne sont pas traitées comme des erreurs.
Qu'est-ce que cela signifie pour vous
Si vous êtes un collecteur de données
- Vous recevrez un retour d'information immédiat et exploitable sur vos observations.
- Vous repérerez les erreurs courantes avant qu'elles ne soient enregistrées et qu'elles n'induisent des décisions erronées.
- Vous recevrez des notifications par e-mail lorsqu'un administrateur de jeu de données vous laissera un message.
Qu'as tu besoin de faire:
- Examinez les indicateurs de qualité des données lorsqu'ils apparaissent dans vos observations.
- Corrigez les erreurs le cas échéant, ou ajoutez des notes de contexte si le résultat est correct.
Observez le processus d'assurance qualité en action !
Si vous êtes administrateur de jeux de données
- Vous pourrez communiquer clairement avec les collectionneurs au sujet de leurs observations grâce aux notes intégrées.
- Vous pourrez filtrer et télécharger les observations par date, lieu et autres champs.
- Vous pouvez ainsi analyser rapidement les données et distinguer les problèmes réels des résultats certes réels, mais inhabituels.
- Vous aurez davantage confiance dans les données que vous publiez et partagez.
Qu'as tu besoin de faire:
- Examinez toutes les observations signalées sur votre tableau de bord.
- Approuver, modifier ou marquer les observations pour un suivi.
- Mettez en place un calendrier pour examiner régulièrement les observations signalées.
Regardez une explication sur l'utilisation du nouveau tableau de bord de vérification des données !
Pourquoi les contrôles de qualité des données sont-ils importants ?
Problèmes courants signalés
- L'enregistrement des résultats s'effectue dans des unités différentes de celles attendues : °F au lieu de °C.
- Des zéros ont été utilisés comme valeurs de remplacement lorsqu'aucune mesure n'a été effectuée.
- Erreurs de frappe et problèmes de décimales (enregistrement de 5.82 au lieu de 582 pour la conductivité).
- Des mesures sensiblement différentes des mesures « normales ».
Des données de haute qualité sont essentielles à un suivi scientifique communautaire pertinent. Cependant, même des problèmes mineurs, comme des fautes de frappe ou des erreurs d'unités, peuvent nuire à la fiabilité des données ou en limiter l'utilisation.
Les organismes utilisent des contrôles d'assurance et de contrôle qualité (AQ/CQ) pour détecter et corriger les erreurs et garantir la fiabilité des données. Auparavant, le personnel de Water Rangers examinait manuellement les nouvelles données chaque semaine. Ce processus était long et source d'erreurs. Les contrôles automatisés permettent un examen plus précoce et plus systématique.
Water Rangers fait partie du partenariat CaSTCo au Royaume-Uni, un collectif qui œuvre au développement d'outils et de bonnes pratiques pour les scientifiques amateurs qui collectent et partagent leurs données. En savoir plus ici.
Comment fonctionne le processus d'assurance qualité automatisé
Les limites intégrées de l'équipement empêchent les valeurs impossibles
Chaque observation sur notre plateforme inclut désormais des informations sur l'équipement utilisé pour mesurer les résultats ! Chaque méthode de surveillance comprend limites de l'équipement qui empêchent les utilisateurs de saisir des valeurs supérieures à ce que l'appareil peut mesurer.
Par exemple, le Taylor bandelettes de test dans nos kits de test ont une limite supérieure de 8.4 pour le pHAucune valeur supérieure à cette limite ne peut être saisie pour cet équipement.
Si vous contribuez à un ensemble de données sur la plateforme Water Rangers, notre système d'assurance qualité automatisé fonctionne discrètement en arrière-plan, sans aucune intervention de votre part. Ce système signale les problèmes potentiels dès la saisie d'une observation, et nous appliquons ces mêmes contrôles à toutes les données historiques de la plateforme.
Voici à quoi s'attendre:
- La plateforme signale clairement les observations qui pourraient nécessiter un examen.
- Le processus d'assurance qualité ajoute des notes expliquant pourquoi un résultat a été signalé.
- Les administrateurs des ensembles de données ont le dernier mot et approuvent toutes les observations.
- Lorsqu'un administrateur de jeu de données laisse une note sur une observation, la plateforme vous enverra une notification par e-mail.
Le diagramme de flux ci-dessous présente un aperçu du processus d'assurance qualité en deux étapes appliqué à chaque nouvelle observation téléchargée. Alors que l'assurance qualité de Water Rangers signale les observations, Les administrateurs de jeux de données peuvent également utiliser ces nouveaux statuts d'assurance qualité. signaler les observations problématiques.
Ensemble, les contrôles automatisés, l'examen par les administrateurs de jeux de données et les limites d'équipement créent plusieurs niveaux de contrôle qualité pour la qualité des données sans ajouter d'étapes supplémentaires pour les collecteurs de données.
Comprendre les nouveaux statuts d'assurance qualité
La plateforme attribue à chaque observation un statut QA afin de communiquer clairement les actions nécessaires.
| Statut d'assurance qualité | Explication | Statut attribué par |
| Pas encore vérifié | Cette observation n'a pas fait l'objet d'un contrôle de qualité des données. | Assurance qualité des gardes forestiers, administrateurs de jeux de données |
| Vérifié : contrôle qualité terminé | Les contrôles QA automatisés n'ont détecté aucun problème concernant cette observation (notez que des problèmes peuvent néanmoins être présents). | Assurance qualité des gardes forestiers, administrateurs de jeux de données |
| Nécessite une révision | Une ou plusieurs valeurs relevées lors de l'observation sont inhabituelles pour le paramètre considéré ou improbables d'après les observations antérieures effectuées sur le site et nécessitent un examen. | Assurance qualité des gardes forestiers, administrateurs de jeux de données |
| Problème détecté | Une ou plusieurs lectures de l'observation dépassent les limites plausibles (c.-à-d. des valeurs de pH inférieures à 2). | Assurance qualité des gardes forestiers, administrateurs de jeux de données |
| Un suivi est nécessaire | L'enquête est en cours. Un ou plusieurs points doivent encore être confirmés et/ou corrigés auprès du collecteur de données. | Administrateurs de jeux de données |
| Approuvé par l'administrateur du jeu de données | L'administrateur du jeu de données a effectué une seconde vérification de l'observation signalée et a confirmé son exactitude. | Administrateurs de jeux de données |
Note concernant les indicateurs QA
Notre nouveau système d'assurance qualité automatisé est conçu pour détecter les problèmes courants, mais il n'est pas infaillible. Un signalement ne signifie pas que les données sont incorrectes ; il indique simplement les points qui pourraient nécessiter un examen plus approfondi.
L'assurance qualité automatisée peut tout de même signaler certains résultats réels et importants, surtout s'ils sortent des conditions typiques du site. De même, il est impossible de détecter automatiquement tous les problèmes. Nous continuerons d'améliorer nos règles d'assurance qualité en fonction des retours de la communauté.
N'hésitez pas à nous faire part de vos commentaires à l'adresse data@waterrangers.ca.
Que peuvent faire les administrateurs de jeux de données ?
Pour les administrateurs de jeux de données, l'assurance qualité automatisée offre une méthode structurée et efficace pour examiner les données sans avoir à vérifier manuellement chaque observation.
Recherche de données signalées
- Les notifications du tableau de bord vous alertent des observations signalées nécessitant un examen.
- Consultez la Contrôle des données (AQ) page directement depuis la vue d'édition du jeu de données.
Examen et résolution des problèmes
Depuis la page QA, les administrateurs peuvent :
- Examinez les observations signalées.
- Approuver les résultats corrects.
- Signaler les observations nécessitant un suivi.
- Modifier les observations et laisser des notes administratives à l'intention des collecteurs de données.
Filtrage et téléchargement de vos données
Cela remet au goût du jour une fonctionnalité très appréciée de la plateforme précédente ! Les administrateurs peuvent également utiliser les nouveaux outils d’assurance qualité pour :
- Filtrer les données par statut QA.
- Affinez les résultats par plage de dates ou par lieu.
- Téléchargez uniquement le sous-ensemble de données dont ils ont besoin.
Et après
Nous encourageons tout le monde à essayer les nouveaux outils d'assurance qualité :
- Examinez les observations signalées dans vos ensembles de données.
- N'hésitez pas à nous faire part de vos commentaires !
- Utilisez les notes administratives pour communiquer clairement et efficacement.
- Pour les administrateurs, essayez de filtrer et de télécharger un sous-ensemble de vos données.
Grâce à l'assurance qualité automatisée, Water Rangers franchit une étape importante vers des données plus fiables, des flux de travail plus fluides et un meilleur soutien pour tous ceux qui contribuent à la surveillance des eaux douces.
Avec toute notre gratitude à la Fondation RBC
Water Rangers est fier de reconnaître le soutien de Fondation RBC pour notre projet Transformer les données en actions : Donner aux communautés les moyens d’accéder à des informations ouvertes et exploitables sur l’eauLe don de 200 000 $ sur deux ans de la Fondation RBC contribue à soutenir notre travail visant à améliorer la plateforme Water Rangers grâce à de nouveaux outils qui rendent les données sur l’eau plus accessibles, inclusives et exploitables.
