Apache NiFi¶
Fait partie du lakehouse (vue d'ensemble et schéma des interactions).
Le modèle Apache NiFi (catégorie Traitement) déploie NiFi 2 avec connexion par le compte de la plateforme : la personne qui déploie l'instance obtient automatiquement le droit de modifier le flow (l'administrateur initial est un compte technique de la plateforme, invisible dans NiFi) et autorise les autres comptes depuis l'interface NiFi (menu Users / Policies). Le flow et les dépôts (FlowFiles, contenu, provenance, état) sont sur un volume persistant.
| Champ | Rôle |
|---|---|
| Version de NiFi | Tag de l'image apache/nifi. Vide = version du chart. |
| Nombre de nœuds (onglet Cluster) | 1 par défaut. NiFi tourne toujours en cluster (élection de leader et état partagé nativement sur Kubernetes, Leases/ConfigMap, sans ZooKeeper), un pod et un volume par nœud. Modifiable à tout moment (voir ci-dessous). |
| Heap JVM, Limite mémoire, Limite CPU (onglet Capacité) | 2g, 3Gi et 2 cœurs par défaut ; garder ~1 Gi de marge entre le heap et la limite mémoire. |
| Taille du volume (dépôts et flow) (onglet Capacité) | 20Gi par défaut, par nœud. Fixé à la création : le redimensionnement d'un volume existant ne se fait pas depuis cette interface. |
| Catalogue Apache Iceberg (Polaris) (onglet Lakehouse, optionnel) | Pose POLARIS_URI, POLARIS_CREDENTIAL et les variables S3_* dans le pod, à référencer soi-même dans un flow : NiFi n'a pas de processeur Iceberg natif, rien n'est câblé automatiquement. |
Changer le nombre de nœuds¶
Depuis la fenêtre de configuration de l'application (champ Nombre de nœuds, ou Réplicas) :
- Ajouter des nœuds : les nœuds en place continuent de tourner ; chaque nouveau nœud rejoint le cluster et en reçoit le flow.
- Retirer des nœuds : les nœuds à numéro le plus élevé s'arrêtent, puis le Control Panel les retire du cluster NiFi (sans quoi NiFi refuserait toute modification du flow tant qu'un nœud reste « déconnecté »). Un nœud retiré garde son volume : les données encore en file d'attente sur ce nœud reviennent si on le rajoute.
- Éteindre / Démarrer : arrête tous les nœuds, puis les redémarre au même nombre.
Après un changement du nombre de nœuds ou un redémarrage, NiFi peut demander de se reconnecter : chaque nœud signe ses propres sessions, une session ouverte sur un autre nœud n'est plus reconnue. Le flow et les données ne sont pas concernés. Juste après un démarrage, l'interface peut aussi afficher une erreur le temps que les nœuds forment le cluster (moins d'une minute en général) : rafraîchir la page.
Applications NiFi créées avant la version 2.8.70
Une application mono-nœud plus ancienne est migrée automatiquement à sa première mise à jour (modification de configuration ou redémarrage) : elle est arrêtée, son volume est cloné sous le nom attendu par le nouveau mode, puis elle redémarre avec son flow et ses données. L'ancien volume est ensuite supprimé.
TLS de bout en bout
NiFi 2 n'écoute qu'en HTTPS : un certificat interne est généré au déploiement et vérifié par la passerelle de la plateforme. Le premier démarrage prend 1 à 3 minutes (chargement des extensions).
Suppression¶
Supprimer une instance Apache NiFi retire aussi son client OpenID de la plateforme.