dremio dbt adapter 一些简单说明

精选原创

rongfengliang 2023-12-19 09:26:24 ©著作权

文章标签 数据对象存储数据源 文章分类 JavaScript 前端开发

©著作权归作者所有：来自51CTO博客作者rongfengliang的原创作品，请联系作者获取转载授权，否则将追究法律责任

dbt-dremio 是dremio 官方维护的dbt adapter ，目前还在持续迭代中

官方参考玩法

实际上核心是基于dbt +dremio 进行模型的创建

dremio dbt adapter 一些简单说明_数据源

内部集成玩法

对于我们实际运行是需要对象存储服务的（比如使用minio），对象存储做为实际数据的物理存储，同时会使用apache icerberg 表存储格式
对于模型是存储在我们的space 中的

参考profile 定义

dremio:
  outputs:
    dev:
      password:  <password>
      port: <port using http default 9047> 
      software_host: <endpoint>
      object_storage_source:  <dremio s3 source  >
      object_storage_path:  <s3 bucket>
      dremio_space:   <dremio space >
      threads: 3
      type: dremio
      use_ssl: false
      user:  <user>
  target: dev