Skip to main content

Bonjour
Il y a longtemps (2016 à 2019) j'ai travaillé chez ODS et j'avais profité de la plateforme pour construire https://www.datastro.eu/, un portail de données ouvertes sur l'astronomie (bonjour s'il y en a qui se rappellent de moi :)). Depuis je ne m'en suis plus trop occupé et plein de jeux de données sont "cassés"... Je vais essayer de regarder tout ça petit à petit, mais mes connaissances sont limitées, j'aurais besoin d'aide, du support ODS ou d’autres personnes utilisatrices et avec de meilleures connaissances techniques que moi.

 

Je vais commencer par deux ensembles de jeux de données :
1/La carte de la pollution lumineuse : je ne sais pas si vous pouvez la voir car j'ai dû la dépublier ("Light Pollution Map (Globe at Night) / Carte de pollution lumineuse") et j’arrive pas à le republier. Mais voici un aperçu des sources :

J'avais ajouté en source les fichiers issus du site https://globeatnight.org/maps-data/ par année : "https://www.globeatnight.org/2016data/GaN2016" par ex, au format txt/csv/json. Et quand j'essaie de publier/dépublier/mettre à jour le jeu de données, j'ai "La ressource n'a pas pu être récupérée car elle est introuvable". Pourtant le site ne semble pas avoir changé, et quand j'essaie de créer un nouveau jeu de données en mettant la dernière année disponible sur leur site ça marche.
Le problème c'est que j'ai peur de modifier car j'avais une belle carte qui cumulait genre 10 ans de données. Et quand j'essaie de mettre à jour juste une année (en mettant un fichier 2015.txt à la place de 2015.csv par ex), je ne sais pas si je contribue à régler le problème du jeu de données global.
Est-ce que vous me conseillez de mettre à jour tous les jeux de données de chaque année, en mettant à chaque fois du .csv par ex, pour pouvoir mettre à jour la carte que j'avais ? En gros, ma question est : comment "réparer" ce jeu de données constitué de plusieurs années /fichiers source ?

 

2/ les données issues du Minor Planet Center : https://www.minorplanetcenter.net/data, j'en ai plein dans mon portail, mis à jour régulièrement de manière automatique (https://www.datastro.eu/explore/?sort=explore.popularity_score&refine.publisher=Minor+Planet+Center). Mais j'ai souvent des messages d'erreur, et je n'arrive pas à mettre à jour / republier les données. Par ex pour "Elements of Near Earth Asteroids for current poche plus 15 days", quand j'essaie de mettre à jour la source (https://minorplanetcenter.net/Extended_Files/neap15_extended.json.gz) ou de changer de format ça ne marche pas, la ressource est introuvable. Et ça fait ça pour la plupart des jeux de données issus du MPC
Est-ce que vous voyez pourquoi ça pourrait bloquer, et comment je pourrais faire régler définitivement les problèmes ? Ou c'est peut être un problème de leur côté?

Désolée pour ce pavé et ces questions multiples, et un grand merci d’avance aux personnes qui accepteront de passer un peu de temps pour m’aider à remettre en fonctionnement mon portail Datastro :)

Bonjour Lise,

On ne se connaît pas, je suis arrivé après que tu sois parti d’ODS. Mais je connais bien datastro.eu 😉

Concernant les deux soucis rencontrés :

  1. Carte de pollution lumineuse

Effectivement, le site semble avoir supprimé les fichiers txt de 2014 et avant.
Pour résoudre, ce que je te propose, serait de dupliquer le jeu de données et d’essayer de remplacer les sources non existantes par les fichiers csv présents sur le site et de vérifier si le schéma de données reste cohérent.
Une fois que cela est fait et que le dataset est cohérent, soit je remplace dans les pages code editor les datases visés, un recherche/remplace devrait faire le job, soit je fais la même opération sur le jeu de données de départ.

  1. Données de Minor Planet Center

Effectivement, j’arrive aussi à télécharger en direct les données mais pas depuis mon domaine ODS… possible qu’on soit ban de leur côté.

Deux possibilités: 

  • Contacter MPC pour essayer de voir ce qui cloche sur les appels et débloquer la situation.
  • Trouver des sites miroirs pour les données. J’ai pu trouver rapidement ce site qui semble recenser plusieurs sites de ce type comme ce FTP

Bonne continuation à toi et dispo en cas de retour.


Reply