Saltar a contenido

Lakehouse: visión general

Seis plantillas del catálogo forman juntas un lakehouse sobre los buckets S3 de la plataforma: un catálogo de tablas Apache Iceberg (implementado por Apache Polaris), el motor SQL distribuido Trino, notebooks JupyterHub, un servidor Spark Connect, un servidor de tracking MLflow y Apache NiFi para la ingesta. El catálogo se despliega primero, el resto en el orden deseado, en el mismo namespace.

Catálogo lakehouse (categorías Processing, Governance, Data Science)

flowchart LR
    B[(Bucket S3<br/>warehouse)]
    P[Apache Iceberg<br/>catálogo Polaris]
    T[Trino]
    J[JupyterHub]
    S[Spark Connect]
    M[MLflow]
    N[Apache NiFi]
    T -- metadatos --> P
    J -- metadatos --> P
    P -- archivos de metadatos --> B
    T -- datos Parquet --> B
    J -- datos --> B
    J -- Spark Connect --> S
    S -- metadatos --> P
    S -- datos --> B
    J -- runs --> M
    M -- artefactos --> B
    N -- ingesta --> B

Aplicaciones