Echec de traitement de données

Bonjour,
Inscrit récemment au protocole Vigie-chiro, je rencontre des problèmes lors du traitement des données des relevées effectués en juin lors du 1er passage (protocole fixe).
J'ai suivi "à la lettre" les tuto et transmis pour le carré 071179 5 participations (Z1 à Z5).
Les participations Z1 (envoi d'1 fichier zip, taille 13,27 MO) et Z4 (24 fichiers zip, taille 15,7 GO) ont bien fonctionné et les résultats accessibles.
Par contre, cela n'a pas l'air de fonctionner pour Z2, Z3 et et Z5 (relancer à 2 reprises). Après traitement, il n'y a aucun résultat visible ou cela reste bloqué sur traitement planifié ou traitement en cours.
Est-ce lié à une limite du serveur relative au nombre et la taille totale des fichiers transmis:
Z2 = 51 fichiers, taille 34,3 GO (4 nuits d'enregistrements)
Z3 = 50 fichiers 33,5 GO (6 nuits d'enregistrements)
Z5 = 23 fichiers 15,5 GO (7 nuits d'enregistrements)

ou seulement un engorgement saisonnier du serveur?

Faut t'il que j'effectue l'envoie en faisant 2 participations par point de relevé au lieu de 3, histoire de diviser le nombre et la taille des fichiers?
Merci d'avance pour vos réponses
Benoît

Bonjour,

Il n'y a pas de soucis concernant la taille. Tadarida se comporte très bien jusqu'à une limite de 80000 fichiers. Au-delà il y a parfois des problèmes.

Il faut parfois attendre jusqu'à 48h si le serveur est très sollicité. Si le problème perdure, je vous conseille de contacter Yves par mail en lui donnant le lien vers la participation en question.

Je vois que la participation de Z5 a fonctionné. Par contre, oui, il y a eu une erreur concernant les fichiers zip pour les participations de Z2 et Z3. A priori, au moins 1 des fichiers zip est manquant ou corrompu. Si un des fichiers est manquant, vous pouvez réessayer de les uploader, le logiciel reconnaitra automatiquement les fichiers manquant et les chargera. Si ce n'est pas le cas, tenez-moi au courant, on essaye de documenter ce genre de bugs pour améliorer le système.
Bon courage !

Bonjour,
Comme conseillé par Yves Bas, j'ai retenté le "upload" de Z2 après "rezipage" de l'ensemble des fichiers.
Encore un échec, sachant que les nouveaux fichiers avaient le même nom et non pu venir écraser les précédents (message comme quoi les fichiers étaient déja uploadés). De mon point de vue tous les fichiers sont zippés et uploadé (rien de manquant et pas de message d'avertissement dans ce sens). Quid de la corruption de l'un d'entre eux? ça je ne serais le dire!
Le plus simple serait je pense de supprimer les participations Z2 et Z3 ou de supprimer les fichiers garder en mémoire. Puis je refais la manip d'envoi?
Qu'en pensez-vous?
benoît

Oui, on a apparemment un souci de fichiers qui arrivent corrompus sans etre détecté par le front-end du site, j'en suis bien désolé... Il n'est pas facile de purger les fichiers reçus donc dans ce cas et dans l'immédiat, je n'ai pas d'autres propositions que de ressaisir la participation et de renvoyer les fichiers. Parallèlement, envoyez-moi un mail pour que je supprime la ou les participations qui ne sont pas bonnes. Désolé pour ces désagréments...

Bonjour à tous je viens d'arriver sur le forum !

J'espère trouver une solution à mon problème et que ma question est dans la bonne rubrique.

Mon problème est le suivant : je ne reçois plus les csv d’identification de la part de vigie-chiro et mon bilan de la participation visible sur vigie-chiro est vide. Au début du mois, j’ai réaliser des participations pour lesquelles j’ai reçu les identifications et mon traitement des données avant la participation était identique à celui que je réalise en ce moment (en suivant le tuto de participation). Je ne comprend donc pas pourquoi cela ne fonctionne plus.

Voici des exemples des fichiers .zip que j’ai transmis et pour lesquels je n’ai pas de retour :

- Cir130563-2022-Pass1-LH6-Chiro.zip

- Cir130462-2022-Pass1-LB15-Chiro.zip

Et voici des fichier où j’ai reçu une identification :

- Cir130410-2022-Pass1-HA10-Chiro.zip

- Cir130410-2022-Pass1-LA9-Chiro.zip

Les noms des fichiers sont rédigés de la même manière.

Je réalisé ces participation en créant des mailles sur le protocole pédestre, mon protocole d’échantillonnage est basé sur des enregistrement de 10min découpés en 5s avec kaléidoscope cela me donne 120 fichiers de 5s que je mets sous format .zip.

Est-ce que quelqu'un à une idée sur la cause du problème ?

Merci par avance et bonne journée à tous !

Maxime

* et quand je clique sur " afficher les autres fichier de traitement" le csv est vide ...

Bonjour Maxime,
Il semblerait que tes noms de fichier ne soient pas conforme, tu as mis des codes particuliers à la place des "Tron1", "Tron2", etc, cf. le guide : https://docs.google.com/presentation/d/1XIdBZB47D3NCpP6vd_EyVWXWcaPhFDVyAO_tF8Q3E8o/edit?usp=sharing
Mais je ne pense pas que ce soit le seul problème. Les logs indiquent que Tadarida-D n'arrive pas à traiter tes fichiers. Peux-tu nous partager un des fichiers wave pour comprendre ?
Merci !

Merci pour ce retour rapide !

Désolé je ne maîtrise pas encore le forum et ne sais partager une enregistrement donc voici un lien d'un des fichiers waves pour lequel je n'ai pas reçu de réponse : https://we.tl/t-JpMpu7Gz0D

Voice une photo des paramètres de kaléidoscope et de l'application Batrecorder que j'utilise, si cela peut aider à résoudre le problème.

Le fichier wave que tu as partagé :
- n'est pas découpé par Kaleidoscope. Si tu l'uploades directement sans passer par l'étape Kaleidoscope, il sera rejeté car trop long
- n'a pas un nom conforme
Il s'appelle "Cir130563-2022-Pass1-MA1-Chiro"
et devrait s'appeler "Cir130563-2022-Pass1-Tron1-Chiro" si c'est bien le point n°1 du carré

Désolé je pensais que vous vouliez le fichier non découpé, voici le fichier découpé que j'ai transmis : https://we.tl/t-sstNDymWUW

Pensez-vous que le problème de Tadarida-D vient seulement du nom ? Car les anciens fichiers que j'ai transmis et pour lesquels j'ai eu une réponse étaient nommés de la même manière.

Je vais changer le nom du fichier pour qu'il soit conforme et faire une nouvelle tentative de participation.

bonjour,
je me suis inscrite l'an passé au protocole Point Fixe, et j'ai pu sans problème recevoir les résultats de Tadarida après les 2 passages de juin et septembre.
Cette année, je rencontre un problème lors du traitement des données. Il me semble pourtant avoir suivi la même procédure (au passage, bravo pour tous ces tutos très bien faits!), les fichiers zippés se sont tous uploadés sans soucis, mais lorsque je lance la participation, je vois que le traitement s'est terminé au bout de 4 minutes. J'avais demandé qu'on me supprime la précédente participation pour recommencer l'envoi après avoir re-traités avec Kaleidoscope, re-zippés les fichiers.
Mais rien y fait, je ne sais pas d'où vient le problème ...
Je mets le lien vers ma participation, au cas où

https://vigiechiro.herokuapp.com/#/participations/62bb2d4ad2b093595591b737

merci

Béatrice

Bonjour Béatrice,
il semblerait que les fichiers zip n'aient pu etre décompressés. Possible que le format soit incompatible (je vois des extensions "z01", "z02" qui ne correspondent pas aux fichiers produits par 7-zip que nous recommandons pour créer des "paquets". Essayez de suivre le tutoriel et tenez nous au courant, pour rappel c'est ici : https://docs.google.com/presentation/d/1Wxk-XVmiGazUPIkSQtmqAKaU2hzlX-V3OhsJIHEORlM/edit?usp=sharing
et même plus précisement ici pour la compression :
https://docs.google.com/presentation/d/12cf-lh70QYy6W4BL9p8rCdsFd3PQ-ywtwRy4V_MVhfk/edit?usp=sharing
Bonnes participations !

Bonjour,

Je rencontre le même problème que certains d'entre vous, sur 16 participations effectuées de juin à septembre, seulement 3 ont abouti à des résultats, j'attend toujours les résultats pour les 13 autres...

Est-ce que lorsqu'il n'y a pas de chauve-souris, on reçoit tout de même une liste avec les autres sons identifiés (orthoptères, oiseaux, bruit...) ?
voivi une de mes participations qui n'a pas fonctionnée en exemple : https://vigiechiro.herokuapp.com/#/participations/649c2dc9300e602c855d905f

Merci d'avance pour votre aide.
Bonne journée

Lise

Tu as oublié de cliquer sur "Lancer la participation" à la fin de ton upload. Si tu oublies, tu peux retourner sur l'écran d'upload et le faire quelques jours après, mais si tu as uploadé tes sons il y a plus d'un mois, ils ont probablement été supprimés automatiquement, désolé... Il faut alors les uploader à nouveau sur la participation !

Bonjour,
Pour ma dernière participation, après avoir lancé l'analyse et attendu le message disant que le traitement était terminé, j'ai obtenu le message suivant :
"Le traitement a échoué."
Dans le message d'erreur très long, il semble qu'il y ait (entre autres) un problème de connexion au serveur. Est-ce qu'il suffit de relancer le traitement ou est-ce qu'il y a un problème avec mes fichiers ?
Voici le lien vers ma dernière participation : https://vigiechiro.herokuapp.com/#/participations/650c9da544db6fcfedb125cf

Merci d'avance pour votre aide !
Bien cordialement,
Claire

Quand vous voyez "request" à la fin du message d'erreur, c'est un problème lié au serveur de la base de données. Malheureusement ce serveur est un peu capricieux. Il a des pannes de courte durée de temps en temps, et semble-t-il plus souvent quand le traffic est intense comme en ce moment. Je surveille toutes les semaines et relance en échelonnant pour pas trop brusquer ce serveur... On va probablement bricoler comme cela encore quelques mois car on envisage de changer de technologie de base de données et donc de serveur début 2024.

Quelle quiche je suis !
Merci bien Yves Bas, c'est à la fois une bonne et une mauvaise nouvelle !

Bonjour,

J'ai réussi à récupérer les données pour 12 de mes relevés cependant il reste 2 participations où je reçois des fichiers Excel vides (même après avoir relancé plusieurs fois l'analyse) :

- https://vigiechiro.herokuapp.com/#/participations/649ea5d5407855481d01998e
- https://vigiechiro.herokuapp.com/#/participations/64a416bf2fd77e4bd5cfe355

Et une de mes participations affiche un message d'erreur "le traitement à échoué" sur la page du site alors que j'ai bien reçu un excel avec des résultats :

https://vigiechiro.herokuapp.com/#/participations/649c2dc9300e602c855d905f

Merci de votre précieuse aide.

Lise

Pour les 2 premières participations, il semble que tes fichiers ont été purgés car uploader longtemps avant que tu ne cliques sur "lancer la participation", est-ce bien le cas ? Si oui, il va malheureusement falloir que tu charges à nouveau les fichiers dans une nouvelle participation et supprimer celle-ci (j'attends néanmoins ton feu vert)
Pour la dernière, il s'agit d'un souci avec le serveur de bdd, je viens de relancer. Nous espérons que ces soucis de serveur de bdd prendront fin avec une mise à jour à venir.

Désolé pour ces désagréments