Graphiques et validations avec ChiroSurf 2.2 à partir des csv Tadarida (07 01 2024)

Messages : 103 Date d'inscription : 02/09/2020

La version 2.4 est disponible avec des changements et des améliorations. Ce post sera mis à jour prochainement.

Le premier message de ce post présente les graphiques avec ChiroSurf_2.2.
Le second explique comment faire les validations à partir de ChiroSurf_2.2.
Ils reprennent les informations des notices pdf incluses dans le fichier zip de ChiroSurf_2.2.

Graphiques avec ChiroSurf_2.2 (à partir des données des csv Tadarida du programme Vigie Chiro)

* Six graphiques sont proposés: chacun prend des formes différentes selon que l’utilisateur choisit «sp.» ou un taxon précis dans la liste déroulante, ou selon qu’il y ait ou non des contacts au niveau de confiance Tadarida choisi.

* Les graphiques en points (sauf celui qui compare les données de plusieurs csv) permettent d’ouvrir en un clic les fichiers wav correspondant à chaque point.

* Les graphiques en points 5 et 6 sont utilisés pour valider.
image 1

* Une barre de validation permet, même quand on ne souhaite pas procéder à une validation, d’obtenir des informations sur le fichier ouvert et se met à jour à chaque nouveau wav ouvert:
image 2

* De gauche à droite: Horaire du contact - Code du taxon (analyse Tadarida) - Confiance Tadarida - Fréquence médiane - Plage de détection en seconde

* Les graphiques en points avec le choix «sp.» permettent d’afficher une image, le nom vernaculaire et le nom scientifique des taxons, même si ces derniers ne sont pas présents dans les données du csv. Il suffit de cliquer sur l’icône de la légende dédiée à l’espèce pour l’afficher. Pour fermer l’image, il faut simplement cliquer sur celle-ci ou sur l’icône d’un autre taxon. On peut ainsi avoir une image et les noms des taxons de tous les groupes: chiroptères, sauterelles 1, sauterelles 2, autres mammifères, autres taxons...

* Ci-dessous un clic sur le triangle gris de la légende, dédié à l’oreillard gris, affiche l’image.
image 3

1. Graphique en barres 1: données quantitatives brutes
- Il donne pour chaque taxon détecté le nombre de contacts potentiels (analyse Tadarida) à un niveau de confiance donné.
- Il permet en même temps de visualiser la part de contacts non validés et de contacts validés par l’observateur.

* Choix «sp.»: tous les taxons d’un groupe, ici les sauterelles 1.
image 4

* Choix d’un taxon précis: ce graphique affiche la répartition des contacts potentiels de l’analyse Tadarida en fonction du niveau de confiance Tadarida. Il est cliquable et renvoie au graphique en points 3, au niveau de confiance sur lequel on a cliqué.
image 5

2. Graphique en barres 2: données quantitatives brutes + données validées
- Identique au précédent mais donne pour chaque taxon détecté le nombre de contacts potentiels (analyse Tadarida) ou validés par l’observateur.
- Il permet en même temps de visualiser la part de contacts validés par l’observateur comme «SUR» ou «PROBABLE» et la part des autres contacts: ceux non validés mais à un niveau de confiance donné et les contacts validés comme «POSSIBLE».

3. Graphique en points 3: données brutes au cours du temps
- Il affiche pour chaque taxon les contacts potentiels au cours de la nuit (analyse Tadarida), à un niveau de confiance donné, d’après leur fréquence médiane et leur horaire.

* Choix «sp.»: tous les taxons d’un groupe, ici les sauterelles 1 avec le protocole pédestre.
image 6

La fin du point 4 ci-dessus mais avec un agrandissement x48 :
image 7

* Choix d’un taxon précis avec contact(s) au niveau de confiance choisi:
* Point fixe chiroptères, Nycnoc :
image 8

* Choix d’un taxon précis sans contact au niveau de confiance choisi: ce graphique est cliquable et renvoie au graphique précédent au niveau de confiance sur lequel on a cliqué. Il affiche la répartition des contacts potentiels de l’analyse Tadarida en fonction du niveau de confiance Tadarida.

image 9

* À tout moment il est possible d’afficher ce graphique, même si des contacts sont présents, grâce à l’icône qui le représente en haut à droite:
image 10

4. Graphique en points 4: données brutes au cours du temps + données validées
- Identique au précédent mais il affiche pour chaque taxon les contacts potentiels au cours de la nuit, à un niveau de confiance donné, et les contacts validés par l’observateur comme «SUR» ou «PROBABLE», d’après leur fréquence médiane et leur horaire.

5. Graphique de validation en points 5: données non validées au cours du temps
- Il affiche pour chaque taxon les contacts au cours de la nuit non encore validés par l’observateur, à un niveau de confiance donné, d’après leur fréquence médiane et leur horaire.
- Il sert pour les validations et se met à jour à chaque validation.

* Choix «sp.»: tous les taxons d’un groupe, ici les sauterelles 2 («decticelles»).

* Un clic sur l’icône devant le code «Roeroe» a permis d’afficher le nom et l’image.
image 11

* Choix d’un taxon précis avec contact(s) au niveau de confiance choisi:
* Exemple de protocole routier, chiroptères, Pippip, agrandissement x8
image 12

* Choix d’un taxon précis sans contact au niveau de confiance choisi: ce graphique est cliquable et renvoie au graphique précédent au niveau de confiance sur lequel on a cliqué. C’est utile pour choisir un niveau de confiance adéquat pour valider. Il affiche la répartition des contacts potentiels de l’analyse Tadarida en fonction du niveau de confiance Tadarida.

image 13

* Avec contacts entièrement validés: Si tous les contacts ont été validés pour un niveau de confiance donné, un marqueur rouge le signale. Dans l’exemple ci-dessous, tous les contacts de noctule commune ont été validés pour plusieurs plages de confiance.

image 14

6. Graphique de validation en points 6: données validées au cours du temps
- Il affiche pour chaque taxon les contacts au cours de la nuit validés par l’observateur d’après leur fréquence médiane et leur horaire.
- Il sert pour les validations et se met à jour à chaque validation.
- Son affichage est indépendant du niveau de confiance.

* Choix «sp.» ou taxon précis: idem que le graphique 5 mais pour les contacts validés.

7. Graphique de comparaison en points: données brutes de plusieurs csv au cours du temps
- Il faut ouvrir un second, voire un troisième csv, et cliquer sur le seul graphique disponible avec cette configuration. Il affiche pour chaque taxon les contacts potentiels au cours de la nuit (analyse Tadarida) de plusieurs csv, à un niveau de confiance donné, d’après leur fréquence médiane et leur horaire.
image 15

- En gardant à l’esprit que des différences existent même entre enregistreurs identiques et de même série (sensibilité de déclenchement, bruit parasite…), il permet par exemple de comparer les données brutes issues de plusieurs enregistreurs, réglés sur la même horloge, posés en des points différents au cours d’une même nuit.

- Point faible: tous les points du csv 1 sont d’abord affichés, puis ceux du csv 2 et ceux d’un éventuel csv 3. Par conséquent, il est préférable de choisir en csv 1 celui qui est susceptible de contenir le plus de contacts, sinon les points des autres csv seront masqués.

* Choix «sp.»:
image 16

* Choix d’un taxon précis avec contact(s) au niveau de confiance choisi:
image 17

8. Cas particulier pour les graphiques 5 et 6: un fichier csv validé par un validateur du MNHN
Dans ce cas, pour un validateur du MNHN au cours de ses validations (mise à jour des graphiques à chaque contact validé), ou pour un observateur qui lit le csv «_Vu_Vu» généré, des marqueurs automatiques et des info-bulles apportent des indications.

Ci-dessous l’exemple du graphique 6: quand on passe le curseur sur un des marqueurs (Validation observateur confirmée en vert / Confiance modifiée en orange / Taxon modifié en rouge), la validation précise effectuée par le validateur du MNHN apparaît en haut en blanc sur fond noir.
image 18

Messages : 2 Date d'inscription : 17/10/2022

Messages : 103 Date d'inscription : 02/09/2020

Valider avec ChiroSurf_2.2 (protocoles fixe, pédestre et routier)

- Bien comprendre au préalable le fonctionnement des graphiques dans ChiroSurf 2.2.

- Pour faciliter l’accès aux csv, il est possible d’indiquer un dossier dans lequel ils sont stockés:
Fichier > Paramètres... > Dossier des csv Tadarida > en choisir un puis «OK»

A. Validation des données d’un csv issu de l’analyse Tadarida.
B. Poursuivre la validation des données d’un csv partiellement validé.
C. Pour un validateur du MNHN.

A. Validation des données d’un csv issu de l’analyse Tadarida

1. Ouvrir la fenêtre des graphiques et un fichier csv issu du traitement Tadarida (protocoles Vigie Chiro)
image 1

* Un observateur ne peut valider qu’un fichier nom.csv SANS préfixe «_Vu»
-Ceci va générer un fichier supplémentaire «nom_Vu.csv» contenant les validations
-Les validations remplissent les colonnes «taxon_observateur» et «probabilite_observateur»
de ce fichier «nom_Vu.csv»
-Le csv «nom.csv» de départ reste intact

* Un validateur du MNHN peut ouvrir un csv AVEC le préfixe «_Vu»
-Ceci va générer un fichier supplémentaire «nom_Vu_Vu.csv» contenant les vérifications
-Les vérifications remplissent les colonnes «taxon_validateur» et «probabilite_validateur»
de ce fichier «nom_Vu_Vu.csv»
-Le csv «nom_Vu.csv» de départ reste intact

Lors de l’ouverture d’un fichier «nom.csv»:
- ChiroSurf vérifie d’abord s’il trouve dans le même dossier un fichier «nom_Vu.csv»
- S’il n’en trouve pas, il charge les données du fichier «nom.csv» et créera un fichier «nom_Vu.csv», sans modifier le fichier «nom.csv».
- S’il en trouve un, alors il charge automatiquement à la place les données du fichier «nom_Vu.csv» et mettra ce dernier à jour à chaque validation, sans modifier le fichier «nom.csv».

2. Laisser ChiroSurf cloner le csv et trier les taxons > Choisir un groupe de taxons > Ouvrir un des deux graphiques de validation (contacts non encore validés ou contacts déjà validés)
image 2

- Pour afficher / masquer la fenêtre des graphiques:
* Si l’on souhaite masquer le graphique, il suffit de cliquer dans le sonagramme ou l’oscillo.
* Pour le faire réapparaître, cliquer sur l’icône de lancement de la fenêtre des graphiques.

3. Choisir un taxon précis ou tous les taxons à valider

- «sp.»: tous les taxons du groupe ensemble
- Taxon précis: seuls les taxons présents dans le csv, issus de l’analyse Tadarida ou ajoutés par l’observateur après validation, sont proposés dans la liste déroulante.
image 3

4. Ouvrir la barre de validation (et la laisser ouverte!)

* Pour la lancer, il faut cliquer sur l’icône image

* Elle apporte des informations issues du csv et permet les validations.
image 4

* Cette barre doit rester ouverte: elle se met à jour automatiquement quand on ouvre un autre
fichier wav en cliquant sur un point.

5. Choisir un agrandissement approprié dès le départ

* De x0,8 pour tout voir (peu précis) à x48. À x12 on peut distinguer deux contacts de fréquence médiane égale séparés de 5 secondes. À x48 on peut les distinguer s’ils sont séparés d’une seule seconde.
image 5

* Pour se déplacer dans le graphique il faut utiliser les flèches noires

* Changer l’agrandissement en cours de validation n’est pas pratique: pour l’instant cela fait perdre le point visé qu’il faut chercher à nouveau.

* Pour afficher à nouveau le graphique, cliquer sur l’icône à droite de la barre de validation:
image 6

* Pour masquer le graphique et revenir au sonagramme, il faut simplement cliquer dans le sonagramme ou l’oscillo.

6. Ouvrir un fichier wav à partir du graphique

* Premier fichier wav: cliquer simplement sur un des points du graphique, ouvrir le dossier contenant le fichier wav correspondant et «Ouvrir» (sans rechercher le fichier, il sera trouvé automatiquement). Le sonagramme du fichier s’affiche pour votre analyse.
image 7

* Pour les fichiers suivants, il suffira de cliquer sur un point.
* La fenêtre des graphiques se masque automatiquement pour permettre votre analyse.

7. Indications de la barre de validation

* À chaque fichier wav ouvert à partir d’un graphique en points, la barre de validation met à jour les informations de l’analyse Tadarida pour ce contact:
image 8

* De gauche à droite : Horaire du contact - Code du taxon (analyse Tadarida) - Confiance Tadarida - Fréquence médiane - Plage de détection en seconde

8. Valider un taxon après votre analyse

a. Choisir un des taxons dans un des groupes avec une des 6 listes déroulantes.

* On peut choisir n’importe quel taxon proposé par Tadarida, même dans un groupe différent.

* Attention : ChiroSurf vérifie que le sonagramme affiché correspond bien au point sur lequel on a cliqué. Si l’on a cherché des informations dans le fichier suivant ou précédent, il faut d’abord revenir au bon sonagramme (avec les boutons < ou >) pour que la validation puisse continuer.

image 9

* Ce taxon s’affiche à droite sur fond jaune:
image 10

* L’icône de droite ne permet plus d’afficher les graphiques, elle est modifiée pour signaler l’attente
du choix d’un degré de confiance par l’observateur avant la validation.

b. Choisir un des niveaux de confiance proposés:

* Avec le graphique 5 des contacts non encore validés: «SUR», «PROBABLE», «POSSIBLE»

image 11

* Avec le graphique 6 des contacts déjà validés: «SUR», «PROBABLE», «POSSIBLE», «VIDE». Le choix «VIDE» permet d’effacer une validation effectuée pour le contact en cours de validation. Il n’a pas besoin qu’un taxon soit indiqué parce qu’il ne fait qu’effacer la validation de ce contact précis.
image 12

* Le niveau de confiance choisi s’affiche et l’icône signale que la validation est prête, en attente de confirmation. Cliquer sur l’icône de droite pour finaliser la validation de ce contact.
image 13

c. Validation effectuée pour ce contact.

* La barre de validation se réinitialise pour le suivant:
image 14

* La fenêtre des graphiques réapparaît pour choisir un autre point-contact.

9. Graphiques après la validation

* Les graphiques se mettent à jour dès le contact validé.
- Le point validé n’apparaît plus dans le graphique 5 des points non validés.
- Par contre il apparaît dans le graphique 6 des points validés.

* Si un point validé ne disparaît pas du graphique 5:
C’est qu’un autre signal était tellement proche (temps et fréquence médiane) qu’il était masqué et apparaît maintenant à sa place. À partir de l’agrandissement x12 on peut distinguer des points séparés de 5 secondes. Avec l’agrandissement x48 on peut distinguer des points séparés d’une seconde.

B. Poursuivre la validation des données d’un csv partiellement validé.

* Il est possible de poursuivre plus tard la validation du csv si on laisse dans le même dossier le fichier «nom.csv» et le fichier «nom_Vu.csv».
* On procède exactement de la même manière en ouvrant le même fichier csv (SANS suffixe «_Vu»).

* Tant que le fichier «nom_Vu.csv» reste dans le même dossier que le fichier «nom.csv», ChiroSurf charge automatiquement les données du fichier «nom_Vu.csv» quand on ouvre le fichier «nom.csv» et mettra à jour le fichier «nom_Vu.csv» à chaque validation, sans modifier le fichier «nom.csv».

C. Cas d’un validateur du MNHN:

Un validateur du MNHN doit entrer un code (une seule fois) pour permettre des fonctionnalités supplémentaires: Fichier > Paramètres… > Préférences > MNHN > entrer le code > OK.

Il devient alors possible de valider un fichier «nom_Vu.csv» qui va générer un fichier «nom_Vu_Vu.csv».

Pour un validateur du MNHN au cours de ses validations (mise à jour des graphiques à chaque contact validé), ou pour un observateur qui lit le csv «_Vu_Vu» généré, des marqueurs automatiques et des info-bulles apportent des indications.

Ci-dessous l’exemple du graphique 6: quand on passe le curseur sur un des marqueurs (Validation observateur confirmée en vert / Confiance modifiée en orange / Taxon modifié en rouge), la validation précise effectuée par le validateur du MNHN apparaît en haut, en blanc sur fond noir.

image 15

Messages : 7 Date d'inscription : 14/02/2023 Age : 67 Localisation : BELGIQUE

Bonjour Yann
Encore BRAVOOO pour ce logiciel ChiroSurf 2.1!!
En pratique, je copie mes fichiers wav issus de mes Teensy Passive Recorders, sur un espace synchronisé vers cloud Microsoft OneDrive ( ce qui me conserve de l'espace disque en local). Afin de passer les sons sur VigieChiro Tadarida, je procède comme suit
1) la moulinette Kaleidoscope avec "split to max duration, seconds = 5 ,
2) compression avec 7Zip format 700CD
3) transfert les zip sur VigieChiro
4) nettoyage de mes fichiers temporaires Kaleidoscope et 7Zip,
5) copie du résultat de participation CSV dans le répertoire correspondant.
Avec ChiroSurf, j'ouvre le csv, clique dans le nuage de points sur un son... mais
Il y a donc une différence entre le nom connu dans le csv ( par exemple xxx20230910_201109_000.wav ) et le nom du fichier initial ( xxx20230910_201109.wav )

Graphiques et validations avec ChiroSurf 2.2 à partir des csv Tadarida (07 01 2024) Captur12

Si je force le choix sur le fichier initial non splitté et que je vois dans la liste qui s'affiche ( xxx20230910_201109.wav), je reçois le message d'erreur " the file doen't correspond to the point you have clicked" et le processus s'arrête.
Serait-il possible de ne faire qu'un message d'attention (warning) et d'ouvrir le fichier sélectionné?
D'avance merci pour votre réponse.

Messages : 103 Date d'inscription : 02/09/2020

Bonjour Jean Philippe,

Merci pour ChiroSurf qui est encore très incomplet: la future version en cours de finalisation sera top mais c'est long. L'arrêt du processus est nécessaire pour éviter des erreurs de validation par la suite dans la prochaine version, l'idée étant dans un premier temps de forcer à afficher d'abord le wav du point cliqué. Le message que j'ai mis est du franglais, ça m'arrive pour aller très vite (et parfois je fais pire) mais là j'ai oublié de revenir dessus dans un premier temps puis de le transposer en français. En anglais ça donnera "This file doesn't match the point you clicked on". En forçant l'ouverture on perd la facilité d'ouvrir en un clic les fichiers à partir du deuxième.
Comme Yves dans le message qui suit (j'ai édité celui-ci après), je ne suis pas certain d'avoir compris la situation. Si ce sont bien les fichiers après passage dans kaleidoscope, dans ce cas je n'avais pas fait attention au fait que les fichiers renommés avec un passive recorder ou d'autres enregistreurs ne comportaient pas dans leur nom la même fin que leur nom dans les csv Tadarida. Si c'est ça, la solution est simple avec Lupas Rename que tu dois déjà utiliser: après avoir sélectionné le dossier de fichiers wav, il faut cocher la ligne "insérer après le nom" et mettre dans le champ de droite correspondant _000. Les fichiers seront ainsi tous renommés et ouverts comme il faut.

Une autre possibilité est que tu te sois trompé de dossier en allant chercher les fichiers renommés mais non passés par kaléidoscope et dans ce cas je me pose la même question que Yves ci-dessous. Les graphiques ne fonctionnent qu'avec les fichiers découpés, un point représentant un contact dans un fichier de 5 sec max qu'il faut valider.

Admin Messages : 388 Date d'inscription : 17/08/2020

Bonjour Jean-Philippe,

Pourquoi vas-tu rechercher le fichier initial ? Dans le cas d'une séquence de plus de 5 secondes, il n'y aura pas forcément de concordance dans les noms donc je pense qu'il est préférable d'analyser les fichiers "finaux" (= ceux-là même qui ont été uploadé) ou alors j'ai raté qq chose ??

Messages : 7 Date d'inscription : 14/02/2023 Age : 67 Localisation : BELGIQUE

Merci Yann et Yves pour vos réactions rapides!
Voici les raisons de ma demande:

Historiquement (suite à qqes erreurs de mélanges dans mes cartes SD) je prends l'habitude de sauvegarder immédiatement le contenu brut de ma carte SD au sortir du recorder sur un espace cloud ( MS OneDrive familial 5x1TB) et ensuite faire les manipulations/analyses.

En effet, après la moulinette Kaleidoscope, par rapport aux fichiers initiaux, ils sont suffixés par 000 et, si splittés, le timestamp dans les noms sont modifiés pour corresponde à la 1ere seconde du nouveau fichier. Je comprends bien que l'identification Tadarida se rapporte à un nom de fichier plus grand ou égale à celui d'origine... et je m'adapte manuellement.

Vu l'extraordinaire avancée de l'outil ChiroSurf, je voudrais revoir mes historiques soit sur 2022 et 2023 plus de 400.000 enregistrements et = plus de 2 TB de données, sur 43 carrés et souvent plusieurs points/carré, tous passés sur VigieChiro Tadarida.
Avec les moyens du bord ( soit "rien") il ne me sera pas possible de reprendre tous mes enregistrements et les resauver en mode splittés sur 5 sec. (votre dernière videoconf avait déjà mentionné les difficultés pour les pro de la gestion de ces espaces disques et machinerie IA.. alors je ne vous dis pas pour un retraité!)

Merci à Vous!!

Admin Messages : 388 Date d'inscription : 17/08/2020

ok, je comprends mieux le besoin ! Désolé d'avoir douté de ta clairvoyance ;-)
Attends toi cependant à des difficultés lorsqu'il y a de l'activité continue sur plusieurs minutes ! Peut-être qu'un retraitement Kaleidoscope sera nécessaire pour tes nuits les plus denses !

Messages : 103 Date d'inscription : 02/09/2020

D'autant que pour l'instant ChiroSurf n'est pas calibré pour des fichiers longs. En outre, pour le protocole fixe les graphiques ne sont pas assez précis dans la version 2.1 (fichiers de la même minute alignés verticalement sur l'axe temporel). Dans la prochaine version ce sera bien plus précis. Autre souci à signaler, résolu dans mes tests depuis mais présent pour la 2.1, les enregistrements avec deux micros en même temps (droite et gauche) peuvent générer en pédestre et routier un débordement d'un point sur la section suivante (à cause du 0 et du 1 selon le micro et l'organisation de la référence aux fichiers dans les csv).

» Rhinolophe euryale ou Petit rhinolophe ?
» Evaluer la sensibilité des micros SMX-US et SMX-U1 à partir des WAV
» ChiroSurf 2.4, analyse bioacoustique, gratuit, portable [24 04 24]
» ChiroSurf sur Mac et Linux
» Fermeture intempestive de chirosurf lors de l'ouverture d'un fichier audio

Rechercher

Résultats par : Messages Sujets
Recherche avancée