Dask + Snowflake集成
项目描述
Dask-Snowflake
此连接器处于早期实验/测试阶段。
如果您有兴趣试用它,请联系我们!
安装
使用pip
安装dask-snowflake
pip install dask-snowflake
或者使用conda
conda install -c conda-forge dask-snowflake
使用
dask-snowflake
为Dask与Snowflake之间的并行IO提供了read_snowflake
和to_snowflake
方法。
>>> from dask_snowflake import read_snowflake
>>> example_query = '''
... SELECT *
... FROM SNOWFLAKE_SAMPLE_DATA.TPCH_SF1.CUSTOMER;
... '''
>>> ddf = read_snowflake(
... query=example_query,
... connection_kwargs={
... "user": "...",
... "password": "...",
... "account": "...",
... },
... )
>>> from dask_snowflake import to_snowflake
>>> to_snowflake(
... ddf,
... name="my_table",
... connection_kwargs={
... "user": "...",
... "password": "...",
... "account": "...",
... },
... )
请参阅它们的docstrings以获取更多API信息。
测试
运行测试需要Snowflake账户和访问数据库。测试套件将自动查找特定的SNOWFLAKE_*
环境变量(如下所示),必须设置这些变量。
建议但不是必需的,将这些环境变量存储在dask-snowflake
存储库根目录中的本地.env
文件中。此文件将由git
自动忽略,从而降低意外提交的风险。
下面是一个示例.env
文件的样子
SNOWFLAKE_USER="<test user name>"
SNOWFLAKE_PASSWORD="<test_user_password>"
SNOWFLAKE_ACCOUNT="<account>.<region>.aws"
SNOWFLAKE_WAREHOUSE="<test warehouse>"
SNOWFLAKE_ROLE="<test role>"
SNOWFLAKE_DATABASE="<test database>"
SNOWFLAKE_SCHEMA="<test schema>"
然后,您可以source .env
或安装pytest-dotenv
来自动设置这些环境变量。
注意:如果您运行测试并得到一个提到“write+execute memory for ffi.callback()”的
MemoryError
,那么您可能有一个来自conda-forge的过时的cffi
构建。请将其删除并使用pip
安装版本。conda remove cffi --force pip install cffi
许可证
关闭
dask-snowflake-0.3.3.tar.gz的哈希
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 5cb58b99981ef35bd32510bf54ada3132689b56f76e16d54b774834b3bf95391 |
|
MD5 | cc08098cbdd76546d6d291c4982422ef |
|
BLAKE2b-256 | 11b99034b75e369afdb32e49f05d2372ed65e9f1e5c21cee3909927a0ed226f7 |
关闭
dask_snowflake-0.3.3-py3-none-any.whl的哈希
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 801b1d302793b86e363b58aa8fdad4785ed6ec4ed6e8167723659a1561c5b6a5 |
|
MD5 | 603b841734ae05ef2f9e1ff519049e18 |
|
BLAKE2b-256 | c9458e577e85cd1e5c16b73eeb6b932702f5a1e3bcef95e8fc017f22c9c55451 |