Apache Iceberg (catalogue Polaris)¶
Fait partie du lakehouse (vue d'ensemble et schéma des interactions).
Le modèle Apache Iceberg (catégorie Gouvernance) déploie un catalogue Iceberg REST — Apache Polaris — adossé à une base PostgreSQL (CloudNativePG) créée avec lui.
| Champ | Rôle |
|---|---|
| Bucket S3 du warehouse (onglet Stockage, requis) | Bucket qui contiendra tables et métadonnées. Choisir un bucket du namespace remplit automatiquement endpoint, région et clés d'accès. Fixé à la création. |
| Endpoint S3, Région S3 (onglet Stockage) | Remplis par le sélecteur de bucket, à saisir à la main pour un S3 externe. us-east-1 par défaut pour la région. Fixés à la création. |
| Access Key ID, Secret Access Key (onglet Stockage) | Identifiants du bucket, eux modifiables après coup — par exemple après rotation des clés. |
| Nom du catalogue Iceberg | lakehouse par défaut : c'est le warehouse que Trino, Spark ou PyIceberg désignent. Fixé à la création. |
| Realm Polaris | POLARIS par défaut, un realm par instance. Fixé à la création. |
| Limite mémoire, Limite CPU (onglet Capacité) | 2Gi et 1000m par défaut. |
| Taille du stockage PostgreSQL (onglet Capacité) | 5Gi par défaut. Agrandissement seulement : un volume ne se réduit pas. |
Au déploiement, deux tâches s'exécutent automatiquement : l'initialisation du realm (identifiants du principal root) puis la création du catalogue sur le bucket, avec les droits nécessaires. La carte passe en Running avant leur fin — comptez une à deux minutes de plus avant que le catalogue soit utilisable.
Identifiants du catalogue
Les moteurs s'authentifient auprès du catalogue avec le principal root, conservé dans le secret <nom>-root-principal du namespace (clés clientId, clientSecret, catalogUri, catalogName) — voir Secrets. Le catalogue ne distribue pas d'identifiants S3 temporaires (pas de STS sur le stockage objet de la plateforme) : chaque moteur utilise ses propres clés du bucket, d'où les champs S3 répétés dans les modèles Trino et JupyterHub.
L'API REST est exposée sur https://<nom>-<namespace>.<domaine>/api/catalog (réservée aux appels authentifiés — pas d'interface web).
Suppression¶
Supprimer le catalogue Apache Iceberg supprime sa base PostgreSQL et ses secrets, mais pas les fichiers du bucket : les tables restent lisibles par un nouveau catalogue pointant sur le même emplacement, ou se nettoient depuis la page Buckets.