Forums PostgreSQL.fr

lemjid

Membre

Nombre important de fichiers

Bonjour,

Pour les bonnes pratiques, je suis à la recherche d'un document technique (ou lien URL).
Qui explique le phénomène de la limite de Linux en terme de gestion de nombreux fichiers. (nombre exorbitant)
Ceci pourra être important (à titre d'exemple) pour le choix et la gestion des fichiers Wal/Archive (PostgreSQL) avant d'être confronté à un problème
système (d'origine) qui peut impacter la base de données.
Par exemple des problèmes ont été détectés en utilisant des outils comme "tar" qui accuse le coup devant un nombre important de fichiers.

Par avance merci

herve.lefebvre

Membre

Re : Nombre important de fichiers

Euh, je ne connais pas vraiment de limite au nombre de fichiers.
Il y a une limite au nombre de fichiers ouverts simultanément oui.
Il y a aussi une limite au nombre de fichiers liée au nombre d'inodes qui a été défini lors de la création du filesystem.

Pour vos problèmes avec "tar" je suspecte que le problème n'est pas le nombre de fichiers, mais l'utilisation d'un jocker ("*") dans un répertoire qui a genre plusieurs milliers de fichiers,  qui lorsqu'il est interprété remplit le buffer de noms de fichiers.

lemjid

Membre

Re : Nombre important de fichiers

Bonjour Herve,

Merci pour ta réponse.
Au fait j'ai cité le problème de "tar" à titre d'exemple.
Par ailleurs, ça m'intéresse aussi le sujet du nombre d'inodes par rapport au type de FS pareil que pour le nombre de fichiers ouverts.
Si quelqu'un aura de la documentation dessus je serai ravi en vous remerciant par avance.

herve.lefebvre

Membre

Re : Nombre important de fichiers

$ cat /etc/mke2fs.conf
[defaults]
        base_features = sparse_super,filetype,resize_inode,dir_index,ext_attr
        default_mntopts = acl,user_xattr
        enable_periodic_fsck = 0
        blocksize = 4096
        inode_size = 256
        inode_ratio = 16384

... 

Indique que par défaut, un boc d'inodes de 256 octets sera écrit par mkfs pour 16384 octets formattés.

Le nombre d'inodes peut être spécifié directement avec l'option -N lors du mkfs. (Ne pas oublier qu'un fichier, selon sa taille, peut prendre plusieurs inodes).

Le nombre d'inodes présents, utilisés et libres peut être vérifié avec "df -i".

lemjid

Membre

Re : Nombre important de fichiers

Bonjour,

Merci beaucoup Herve.