Auteur Sujet: Import GTFS  (Lu 1437 fois)

roychris

  • Utilisateur
  • *
  • Messages: 29
    • Voir le profil
Import GTFS
« le: novembre 21, 2016, 12:11:24 pm »
Bonjour,

Je viens d'essayer d'importer le GTFS du STIF dans la version 3.4.0. L'import est en échec.
Le log en PJ. Savez-vous d'où cela peut venir ?
Merci,

Christophe
« Modifié: novembre 21, 2016, 03:51:07 pm par roychris »

roychris

  • Utilisateur
  • *
  • Messages: 29
    • Voir le profil
Re : Import GTFS
« Réponse #1 le: novembre 21, 2016, 10:40:20 pm »
Je me réponds à moi-même...

J'ai sélectionné d'importer uniquement les points d'arrêts dans l'import.
Cette fois-ci, cela m'a généré une nouvelle erreur plus connue : Java heap space.
J'ai modifié le Xmx de wildfly dans standalone.sh (retrouvé un peu au pif, je ne comprends pas bien comment fonctionne les conteneurs de Docker) et là bingo, ça marche. J'ai pu importer les arrêts, les correspondances puis le reste des données.
Et les exports qui ne fonctionnaient pas sur la 3.1.0 fonctionnent sur la 3.4.0. Super ! Merci pour le boulot !

Metienne

  • Utilisateur
  • *
  • Messages: 141
    • Voir le profil
Re : Import GTFS
« Réponse #2 le: novembre 25, 2016, 11:02:01 am »
Bonjour et merci pour votre retour
Pouvez-vous nous préciser la valeur de Xmx que vous avez dû appliquer?
Cordialement,
Michel Etienne

clouberry

  • Utilisateur
  • *
  • Messages: 8
    • Voir le profil
Re : Import GTFS
« Réponse #3 le: novembre 30, 2016, 03:40:02 pm »
Bonjour,

Je teste actuellement des imports de fichiers GTFS.
Sur chouette en ligne, j'ai importé 3 zip GTFS sans problème.

J'ai tenté d'importer ces mêmes fichiers GTFS dans mon environnement local chouette 3.1.
Au troisième, est apparu une erreur de violation de contrainte d'unicité sur la colonne RegistrationNumber de la table Lines.
En effet, il se trouve qu'il existe bien déjà une ligne avec un registrationNumber égal à 1 qui provient du 2ème fichier.

A la lecture du code source de chouette 3.4.0, la contrainte est toujours d'actualité sur cette colonne. Cependant, je n'ai eu aucune erreur lors de l'import sur chouette en ligne.
Comment donc est-ce possible d'importer plusieurs lignes qui ont le même registrationNumber ?

Merci d'avance,

Christine Louberry




Aurige

  • Administrator
  • Utilisateur
  • *****
  • Messages: 49
    • Voir le profil
Re : Import GTFS
« Réponse #4 le: novembre 30, 2016, 03:54:25 pm »
tu n'as aucune erreur et l'import se fait bien (du coup la question serait plutôt "pourquoi est ce que ça marche bien ?;) ) ou bien tu n'as ni erreur ni import ?

clouberry

  • Utilisateur
  • *
  • Messages: 8
    • Voir le profil
Re : Import GTFS
« Réponse #5 le: novembre 30, 2016, 04:12:26 pm »
Sur chouette en ligne, je n'ai aucune erreur, tout s'importe correctement.
Alors que sur notre environnement local, j'ai une erreur de contrainte d'unicité sur cette fameuse colonne.
En effet, je me demande pourquoi ça fonctionne sur chouette en ligne, alors que normalement cette contrainte n'a pas disparu.
J'ai importé les fichiers dans le même ordre dans les deux environnements.
Si je comprends bien, j'ai dans le fichier 2 et le fichier 3, des routes qui ont le même "route_id" gtfs et qui est visiblement utilisé pour renseigner la colonne "registrationNumber" dans chouette.
« Modifié: novembre 30, 2016, 04:15:57 pm par clouberry »

Aurige

  • Administrator
  • Utilisateur
  • *****
  • Messages: 49
    • Voir le profil
Re : Import GTFS
« Réponse #6 le: novembre 30, 2016, 04:16:46 pm »
Votre environnement local (où le pb se pose) est en 3.1 d'après votre message précédent, c'est bien ça ?
(désolé pour le tutoiement sur ma réponse précédent, j'ai cru répondre à Christophe Roy qui a initié le thread et que je connais bien).

clouberry

  • Utilisateur
  • *
  • Messages: 8
    • Voir le profil
Re : Import GTFS
« Réponse #7 le: novembre 30, 2016, 04:20:51 pm »
Oui c'est bien ça

Metienne

  • Utilisateur
  • *
  • Messages: 141
    • Voir le profil
Re : Import GTFS
« Réponse #8 le: novembre 30, 2016, 04:30:41 pm »
Bonjour,
la contrainte unique a bien été levée dès la version 3.3 de chouette; elle est restée par erreur dans l'annotation du modèle java, mais cette annotation n'est pas exploitée par Hibernate car c'est chouette2 en ruby qui synchronise la base avec le modèle.
Nous allons corriger le modèle java pour le resynchrooniser avec le modèle Ruby.
Chouette 3.1 a bien la contrainte d'unicité sur RegstrationNumber; la contrainte a été levée suite à la remise en adéquation de Chouette sur le dernier document de spécification de Neptune : http://www.normes-donnees-tc.org/wp-content/uploads/2014/07/NF_F-Neptune-maj2014-v4.1.pdf
Cordialement,
Michel Etienne

clouberry

  • Utilisateur
  • *
  • Messages: 8
    • Voir le profil
Re : Import GTFS
« Réponse #9 le: novembre 30, 2016, 04:33:37 pm »
Ok ça confirme notre hypothèse de départ mais c'est vrai qu'à la lecture du modèle java, on voyait toujours la contrainte.
Très bien, nous allons donc faire sauter la contrainte en attendant de migrer vers chouette 3.4.0.
Merci beaucoup pour votre réactivité.

Christine Louberry