PostgreSQL La base de donnees la plus sophistiquee au monde.

Forums PostgreSQL.fr

Le forum officiel de la communauté francophone de PostgreSQL

Vous n'êtes pas identifié(e).

#1 18/02/2015 09:11:14

mortimer.pw
Membre

Export/Import selectif avec transformation

Bonjour,

Je travaille sous CenOS 5.9 avec un moteur PostgreSQL 9.2.4.

Je cherche un moyen pour transférer RAPIDEMENT (je ne peux bloquer plus d'un quart d'heure les 2 serveurs en production) une partie des données d'une table d'une base de données sur un serveur (4 millions de lignes), vers une autre table d'une autre base de données d'un autre serveur (avec quelques modifications de champ à la volée).

Quelle solution préconisez-vous ?

D'avance merci.

Hors ligne

#2 18/02/2015 09:56:26

ruizsebastien
Membre

Re : Export/Import selectif avec transformation

Bonjour,

1 solution possible :
"COPY to" vers un fichier csv
modification du fichier avec un script shell
"COPY from" depuis le fichier modifié vers votre base cible.
Tout ça scripté, pour 4 millions de lignes, ça devrait être très rapide.


Autre solution : utiliser un ETL (certains sont open source).

Cordialement,

Dernière modification par ruizsebastien (18/02/2015 09:58:09)


Cordialement,

Sébastien.

Hors ligne

#3 18/02/2015 09:57:42

gleu
Administrateur

Re : Export/Import selectif avec transformation

Tout dépend des modifications mais a priori, ça interdit pg_dump.

Le mieux est certainement un ETL style Kettle. Mais c'est peut-être l'artillerie lourde pour les modifs à faire.


Guillaume.

Hors ligne

#4 18/02/2015 10:28:28

mortimer.pw
Membre

Re : Export/Import selectif avec transformation

Bonjour Messieurs,
Ok, je vais tenter l'utilisation de COPY en premier.
Merci.

Hors ligne

Pied de page des forums