Auteur Sujet: Import GTFS et mise à jour des données  (Lu 1148 fois)

Mathieu Hicauber

  • Utilisateur
  • *
  • Messages: 8
    • Voir le profil
Import GTFS et mise à jour des données
« le: décembre 20, 2016, 05:08:09 pm »
Bonjour

J'ai lu sur un vieux thread que la mise à jour des données lors d'un import GTFS était dans les tuyaux (le sujet en question datait de début 2014). Qu'en est-il aujourd'hui ?

A la lecture du code, il semblerait notamment que les objects ID des JourneyPatterns soient générés d'une manière en partie aléatoire (notamment basée sur la position de l'élément dans le fichier  trips.txt). Ceci implique que sur un import sur une base existante, des données sont potentiellement écrasées ?

L'object id du JP est basé sur l'objectId de l'objet Route, généré de la façon suivante :

String routeKey = gtfsTrip.getRouteId() + "_" + gtfsTrip.getDirectionId().ordinal();
if (gtfsTrip.getShapeId() != null && !gtfsTrip.getShapeId().isEmpty())
   routeKey += "_" + gtfsTrip.getShapeId();
routeKey += "_" + line.getRoutes().size();



Dois-je en déduire que l'import GTFS ne peut pour l'instant fonctionner qu'en mode "on efface / on réimporte tout" ?

Merci d'avance de vos réponses.

Mathieu.

Metienne

  • Utilisateur
  • *
  • Messages: 139
    • Voir le profil
Re : Import GTFS et mise à jour des données
« Réponse #1 le: décembre 21, 2016, 09:33:26 am »
Bonjour,
votre analyse est correcte,
GTFS ne fournissant pas la notion d'itinéraire ni de mission dans ses fichiers, Chouette ne sait pas relier la course à un itinéraire existant; le seul cas où la mise a jour fonctionne est de s'assurer dans le fichier GTFS que les nouvelles missions sont toujours à la fin des missions déjà connues et que des missions ne disparaissent pas. Ce qui est effectivement limité.
Il serait bon de mettre le sujet à l'étude (au club utilisateur par exemple) : comment caractériser un itinéraire de manière unique en fonction de la structure qu'il soutient dans GTFS
Cordialement,
Michel Etienne

Mathieu Hicauber

  • Utilisateur
  • *
  • Messages: 8
    • Voir le profil
Re : Import GTFS et mise à jour des données
« Réponse #2 le: décembre 21, 2016, 11:17:14 am »
Bonjour et merci pour votre réponse rapide.

Dans le mesure ou Chouette est déjà capable d'extraire les différents itinéraires à partir des données GTFS, on doit certainement pouvoir générer un identifiant unique et répétable à partir d'une sorte de hash basé sur les identifiants des
arrêts par exemple ? Qu'en pensez-vous ?

Le seul problème que je vois est le cas ou le système à mettre à jour contient déjà deux itinéraires distincts mais avec la même séquence d'arrêts (bien que je ne vois pas trop l'intérêt...).

Metienne

  • Utilisateur
  • *
  • Messages: 139
    • Voir le profil
Re : Import GTFS et mise à jour des données
« Réponse #3 le: décembre 21, 2016, 11:34:06 am »
ce second cas peut arriver si des attributs de pickup ou dropoff soient différents; dans chouette ceux-ci sont portés par l'itinéraire
 nous avons une évolution GTFS en cours sur le regroupement des missions dans des itinéraires englobants (exemple missions ABCD, ACD et BD à regrouper dans l'itinéraire ABCD) , nous allons en profiter pour tester un codage par hash pour s'assurer de la faisabilité de cette solution

il restera alors à régler l'arrivée d'un nouvel itinéraire englobant si une mission (exemple ABECD) apparaît

Mathieu Hicauber

  • Utilisateur
  • *
  • Messages: 8
    • Voir le profil
Re : Import GTFS et mise à jour des données
« Réponse #4 le: décembre 28, 2016, 10:32:03 am »
Bonjour (et bonne fête pour les présents...)

Pouvez-vous m'en dire un peu plus sur ce développement en cours (planning / version prévue) ?
En effet, la plupart des collectivités avec qui nous traitons ne sont capables de fournir uniquement que du GTFS. Etre capable de pouvoir conserver une topologie de réseau et de la mettre à jour lors d'un import GTFS serait une évolution importante et bienvenue :-)

Merci d'avance.

Cordialement,

Mathieu.

clouberry

  • Utilisateur
  • *
  • Messages: 8
    • Voir le profil
Re : Import GTFS et mise à jour des données
« Réponse #5 le: août 30, 2017, 05:36:49 pm »
Bonjour,

Nous sommes en plein tests de la branche tad_gtfs de chouette et nous avons un cas de test où nous ne parvenons pas à faire deux imports successifs (mise à jour incrémentale). Visiblement ça bloque au niveau de la reconnaissance des itinéraires.
Scénario :
1. import du fichier couralinTest1_initial. OK
2. import du fichier couralin_test1_MAJ. Echec. id du vehicleJourney null L221 LineRegisterCommand.java (mobi.chouette.exchange)

Merci,
Christine

Metienne

  • Utilisateur
  • *
  • Messages: 139
    • Voir le profil
Re : Import GTFS et mise à jour des données
« Réponse #6 le: novembre 07, 2017, 04:30:15 pm »
bonjour,
je reviens vers vous tardivement,
le programme a un problème de mise à jour lorsque les courses du deuxième jeu de données ne redéfinissent pas l'itinéraire complet, je dois ajouter la prise en compte de ce cas
je devrais avoir terminé d'ici le 15/11
Cordialement,
Michel Etienne

Metienne

  • Utilisateur
  • *
  • Messages: 139
    • Voir le profil
Re : Import GTFS et mise à jour des données
« Réponse #7 le: novembre 21, 2017, 09:28:01 am »
Bonjour,
la branche tad_gtfs est enfin corrigée; le problème venait de la non présence d'une course représentant l'itinéraire le plus long lors de la mise à jour (second import)
ce cas est maintenant traité correctement.
Cordialement

Mathieu Hicauber

  • Utilisateur
  • *
  • Messages: 8
    • Voir le profil
Re : Import GTFS et mise à jour des données
« Réponse #8 le: novembre 21, 2017, 09:44:17 am »
Merci pour ce travail ! Nous allons tester ça de ce pas :-)

Question en passant : l'import de shapefile est-il pleinement fonctionnel ? Nous avons pu détecter quelques soucis sur certains imports GTFS, mais je n'ai pas encore creusé pour voir si ça venait de chouette ou du fichier GTFS - Avez-vous déjà détecté des anomalies de ce coté ?

Nous avons au passage corrigé une petite bricole sur le champ "shape_dist_traveled" optionel du fichier stop_times qui générait une NPE. PR à venir sur github.

Metienne

  • Utilisateur
  • *
  • Messages: 139
    • Voir le profil
Re : Import GTFS et mise à jour des données
« Réponse #9 le: novembre 21, 2017, 09:47:31 am »
bonjour,
L'import shapefile est normalement opérationnel, toutefois, il semble que la fonction tracé de Chouette ne soit plus en phase avec les API OSRM; une mise à jour doit être effectuée.
Cordialement,
Michel Etienne