跳转到主要内容

Dremio插件为Intake

项目描述

Intake-Dremio

基于pyarrow Flight的Intake插件

用户安装

要安装intake-dremio插件,请执行以下命令

conda install -c conda-forge intake-dremio

pip install intake-dremio

pyviz通道和conda-forge conda通道安装时,必须确保已安装libarrow-flight

conda install -c pyviz -c conda-forge intake-dremio libarrow-flight

这是因为从pyarrow 16开始,conda-forge将pyarrow分割成单独的包。

示例

一个引用Dremio数据集的Intake目录由指向Dremio实例的uri、用户名和密码以及一个SQL表达式(sql_expr)组成,例如

sources:
  dremio_vds:
    driver: dremio 
    args:
        uri: grpc+tcp://{{ env(DREMIO_USER) }}:{{ env(DREMIO_PASSWORD) }}@x.x.x.x:32010  
        sql_expr: SELECT * FROM TABLE ORDER BY "timestamp" ASC

由以下支持

AWSAWS云计算和安全赞助商DatadogDatadog监控FastlyFastlyCDNGoogleGoogle下载分析MicrosoftMicrosoftPSF赞助商PingdomPingdom监控SentrySentry错误日志StatusPageStatusPage状态页