Le forum (ô combien francophone) des utilisateurs de Powerbuilder.
Bonjour,
Je cherche a faire un importfile d'un fichier qui me renvoit -15 => file limit exceed.
Quelle est la taille maximum en poid ou nombre de ligne, mon fichier actuel fait 44 Mo pour 4 990 000 lignes.
Merci d'avance
Dernière modification par raubry (19-12-2013 14:44:01)
Hors ligne
Salut,
déjà ça dépends si tu utilises une version de PB unicode ou non.
La version Unicode bloquera plus vite que la version ANSI
Un nombre de lignes approximatif est donné sur le site de sybase : approximativement 839,000 lignes mais ça dépends aussi du nbr de colonnes et des données dedans.
Mon conseil : Lire le fichier ligne par ligne avec FileOpen, FileRead/FileReadEx et l'importer ligne par ligne avec ImportString()
Hors ligne
Ok, et est-ce que le datastore ou datawindow ne va pas lui être à son tour limité ?
Hors ligne
Il y a forcément une limite à moins que ton PC n'ai une quantité de Ram infinie mais tu bloqueras moins vite en faisant ligne par ligne qu'en faisant un importFile() d'un bloc.
à toi de tester.
C'est pour quoi faire ces 5 millions de lignes ? si c'est pour les mettre en DB via la DW tu peux aussi envisager de les insérer une par une en DB au lieu de le faire en un bloc.
Hors ligne
rincevent a écrit:
C'est pour quoi faire ces 5 millions de lignes ? si c'est pour les mettre en DB via la DW tu peux aussi envisager de les insérer une par une en DB au lieu de le faire en un bloc.
si c'est pour les mettre en DB autant utiliser une fonction d'import massif propre au SGBDR
Hors ligne
Merci pour vos réponses.
Ce n'est pas pour mettre en DB.
Nous allons migrer notre appli vers une autre SGBD et devons sortir justement de la base des fichiers contenant plusieurs millions de lignes.
J'utilise ce fichier que je charge dans un DS ou DW afin de comparer avec une autre source l'intégrité des données.
En fait je charge 2 DataStore, et je vérifie le nombre d’occurrence que j'ai dans chaque afin de vérifier qu'il n'y ai pas d'erreur, doublons ou anomalie dans mes données que j'ai extraits.
C'est un peu compliqué mais j'espère que vous avez compris.
Hors ligne
Non ça va c'est très clair même par rapport à d'autres
Tiens nous au courant des tes résultats après nos quelques conseils et n'hésite pas à éditer ton premier message pour y ajouter [RESOLU] le cas échéant
Hors ligne
Hors ligne
J'ai fini par découpé mon fichier initial qui fait 12,7 millions de lignes en fichier de 2 millions de lignes et ca charge.
Je mets moins de 5 min à charger tout, alors que le fileread me prend plus de 30 min, et je l'ai arrêté avant.
Merci de votre aide
Hors ligne