跳转到主要内容

Intake avro插件

项目描述

# Intake-avro

[![Build Status](https://travis-ci.org/ContinuumIO/intake-avro.svg?branch=master)](https://travis-ci.org/ContinuumIO/intake-avro) [![Documentation Status](https://readthedocs.org/projects/intake-avro/badge/?version=latest)](http://intake-avro.readthedocs.io/en/latest/?badge=latest)

Apache Avro(https://avro.apache.org/)格式是一种流行的信息交换方法,尤其适用于在高速系统中进行消息和记录的分布。

在[Intake](https://github.com/ContinuumIO/intake/)中,提供了两个插件用于读取avro数据

  • avro_table适用于结构简单到足以用列表示类型的数据,即扁平架构。此插件的输出是dataframes,读取速度优化。

  • avro_sequence更为通用,可以处理所有可能的avro架构,但产生的是通用的python字典序列,因此比表读取器慢得多。

### 安装

conda安装指令如下

` conda install -c conda-forge fastavro uavro conda install -c intake intake_avro `

### 示例

请参阅examples/目录中的笔记本。

项目详情


下载文件

下载适合您平台的应用程序。如果您不确定选择哪个,请了解有关安装软件包的更多信息。

源代码分发

intake-avro-0.2.1.tar.gz (30.5 kB 查看哈希)

上传于 来源

由以下支持