PowerBuilder à Donf ! / [RESOLU] Importfile renvoi -15

raubry · 19-12-2013 10:32:16

Bonjour,

Je cherche a faire un importfile d'un fichier qui me renvoit -15 => file limit exceed.

Quelle est la taille maximum en poid ou nombre de ligne, mon fichier actuel fait 44 Mo pour 4 990 000 lignes.

Merci d'avance

Dernière modification par raubry (19-12-2013 14:44:01)

rincevent · 19-12-2013 10:42:14

Salut,

déjà ça dépends si tu utilises une version de PB unicode ou non.

La version Unicode bloquera plus vite que la version ANSI

Un nombre de lignes approximatif est donné sur le site de sybase : approximativement 839,000 lignes mais ça dépends aussi du nbr de colonnes et des données dedans.

Mon conseil : Lire le fichier ligne par ligne avec FileOpen, FileRead/FileReadEx et l'importer ligne par ligne avec ImportString()

raubry · 19-12-2013 10:50:45

Ok, et est-ce que le datastore ou datawindow ne va pas lui être à son tour limité ?

rincevent · 19-12-2013 11:02:11

Il y a forcément une limite à moins que ton PC n'ai une quantité de Ram infinie mais tu bloqueras moins vite en faisant ligne par ligne qu'en faisant un importFile() d'un bloc.

à toi de tester.

C'est pour quoi faire ces 5 millions de lignes ? si c'est pour les mettre en DB via la DW tu peux aussi envisager de les insérer une par une en DB au lieu de le faire en un bloc.

erasorz · 19-12-2013 11:08:46

rincevent a écrit:
C'est pour quoi faire ces 5 millions de lignes ? si c'est pour les mettre en DB via la DW tu peux aussi envisager de les insérer une par une en DB au lieu de le faire en un bloc.

si c'est pour les mettre en DB autant utiliser une fonction d'import massif propre au SGBDR

raubry · 19-12-2013 12:17:08

Merci pour vos réponses.

Ce n'est pas pour mettre en DB.

Nous allons migrer notre appli vers une autre SGBD et devons sortir justement de la base des fichiers contenant plusieurs millions de lignes.

J'utilise ce fichier que je charge dans un DS ou DW afin de comparer avec une autre source l'intégrité des données.

En fait je charge 2 DataStore, et je vérifie le nombre d’occurrence que j'ai dans chaque afin de vérifier qu'il n'y ai pas d'erreur, doublons ou anomalie dans mes données que j'ai extraits.

C'est un peu compliqué mais j'espère que vous avez compris.

rincevent · 19-12-2013 13:17:48

Non ça va c'est très clair même par rapport à d'autres

Tiens nous au courant des tes résultats après nos quelques conseils et n'hésite pas à éditer ton premier message pour y ajouter [RESOLU] le cas échéant

raubry · 19-12-2013 13:27:37

raubry · 19-12-2013 14:43:40

J'ai fini par découpé mon fichier initial qui fait 12,7 millions de lignes en fichier de 2 millions de lignes et ca charge.

Je mets moins de 5 min à charger tout, alors que le fileread me prend plus de 30 min, et je l'ai arrêté avant.

Merci de votre aide