envd · PyPI · Python 包索引

数据科学家用的发展环境管理工具。

这些详情尚未由PyPI验证

项目链接

主页

项目描述

AI/ML的开发环境

什么是envd？

envd (ɪnˈvdɪ) 是一个命令行工具，可以帮助您创建基于容器的AI/ML开发环境。

创建开发环境并不容易，尤其是在当今复杂的系统和依赖关系下。从Python到CUDA、BASH脚本和Dockerfile，一切都在不断崩溃，这感觉像是一场噩梦——直到现在！

只需简单声明在build.envd中所需的软件包，然后执行一个命令：envd up，即可立即启动您所需的环境！

为什么使用`envd`？

使用envd构建的环境提供以下功能，无需额外设置

简单的CLI和语言

envd 允许您快速无缝地将强大的 CLI 工具集成到现有的 Python 工作流程中，以配置编程环境，而无需学习新的语言或 DSL。

def build():
    install.python_packages(name = [
        "numpy",
    ])
    shell("zsh")
    config.jupyter()

隔离，兼容 OCI 镜像

使用 envd，用户可以创建一个隔离的空间进行训练、微调或服务。通过利用先进的虚拟化技术以及其他功能，如 buildkit，它是一个理想的配置环境解决方案。

envd 环境镜像兼容 OCI 镜像规范。通过利用 OCI 镜像的力量，您可以使环境对任何人开放！使用像 Harbor 或 Docker Hub 这样的容器注册中心来实现这一点。

本地和云

envd 现在可以用于混合平台，从本地机器到由 Kubernetes 托管的集群。这些选项中的任何一种都为开发人员提供了创建项目的高效且灵活的方式！

$ envd context use local
# Run envd environments locally
$ envd up
...
$ envd context use cluster
# Run envd environments in the cluster with the same experience
$ envd up

有关更多详细信息，请参阅文档。

快速构建任何地方

envd 提供了许多优势，如远程构建和软件缓存功能，例如 pip 索引缓存或 apt 缓存，借助 buildkit 实现 - 所有这些都是为了使您的生活更加轻松，而无需进入代码本身！

从 PyPI/APT 缓存中重用先前下载的包可以节省时间和精力，使构建更高效。无需重新下载之前已获得的资源 - 单次下载就足以用于重复使用！

使用 Dockerfile v1，用户无法利用 PyPI 缓存来提高安装速度 - 但 envd 提供了这项支持以及更多功能！

此外，envd 还支持远程构建，这意味着您可以在远程机器上（例如云服务器）构建环境，然后将其推送到注册中心。当您在资源有限的机器上工作时，或者当您预期构建机器具有更高的性能时，这尤其有用。

团队知识复用

忘记复制粘贴 Dockerfile 指令 - 使用 envd 通过导入任何 Git 仓库的 include 函数轻松构建函数并复用它们！快速构建强大的自定义解决方案。

envdlib = include("https://github.com/tensorchord/envdlib")

def build():
    base(os="ubuntu20.04", language="python")
    envdlib.tensorboard(host_port=8888)

envdlib.tensorboard 定义在 github.com/tensorchord/envdlib

def tensorboard(
    envd_port=6006,
    envd_dir="/home/envd/logs",
    host_port=0,
    host_dir="/tmp",
):
    """Configure TensorBoard.

    Make sure you have permission for `host_dir`

    Args:
        envd_port (Optional[int]): port used by envd container
        envd_dir (Optional[str]): log storage mount path in the envd container
        host_port (Optional[int]): port used by the host, if not specified or equals to 0,
            envd will randomly choose a free port
        host_dir (Optional[str]): log storage mount path in the host
    """
    install.python_packages(["tensorboard"])
    runtime.mount(host_path=host_dir, envd_path=envd_dir)
    runtime.daemon(
        commands=[
            [
                "tensorboard",
                "--logdir",
                envd_dir,
                "--port",
                str(envd_port),
                "--host",
                "0.0.0.0",
            ],
        ]
    )
    runtime.expose(envd_port=envd_port, host_port=host_port, service="tensorboard")

入门 🚀

要求

Docker (20.10.0 或更高版本)

安装和初始化 `envd`

envd 可以使用 pip 安装，或者您可以直接下载二进制发布版。安装后，请运行 envd bootstrap 进行初始化。

pip install --upgrade envd

安装后，请运行 envd bootstrap 进行初始化

envd bootstrap

有关更多替代安装方法，请参阅文档。

当运行 envd bootstrap 时，您可以使用 --dockerhub-mirror 或 -m 标志配置 docker.io 注册中心的镜像。
envd bootstrap --dockerhub-mirror https://docker.mirrors.sjtug.sjtu.edu.cn

创建 `envd` 环境

请克隆 envd-quick-start

git clone https://github.com/tensorchord/envd-quick-start.git

构建清单 build.envd 看起来像

def build():
    base(os="ubuntu20.04", language="python3")
    # Configure the pip index if needed.
    # config.pip_index(url = "https://pypi.tuna.tsinghua.edu.cn/simple")
    install.python_packages(name = [
        "numpy",
    ])
    shell("zsh")

请注意，这里我们以 Python 为例，但请查看其他语言（如 R 和 Julia）的示例这里。

然后请运行以下命令来设置新环境

cd envd-quick-start && envd up

$ cd envd-quick-start && envd up
[+] ⌚ parse build.envd and download/cache dependencies 2.8s ✅ (finished)
 => download oh-my-zsh                                                    2.8s
[+] 🐋 build envd environment 18.3s (25/25) ✅ (finished)
 => create apt source dir                                                 0.0s
 => local://cache-dir                                                     0.1s
 => => transferring cache-dir: 5.12MB                                     0.1s
...
 => pip install numpy                                                    13.0s
 => copy /oh-my-zsh /home/envd/.oh-my-zsh                                 0.1s
 => mkfile /home/envd/install.sh                                          0.0s
 => install oh-my-zsh                                                     0.1s
 => mkfile /home/envd/.zshrc                                              0.0s
 => install shell                                                         0.0s
 => install PyPI packages                                                 0.0s
 => merging all components into one                                       0.3s
 => => merging                                                            0.3s
 => mkfile /home/envd/.gitconfig                                          0.0s
 => exporting to oci image format                                         2.4s
 => => exporting layers                                                   2.0s
 => => exporting manifest sha256:7dbe9494d2a7a39af16d514b997a5a8f08b637f  0.0s
 => => exporting config sha256:1da06b907d53cf8a7312c138c3221e590dedc2717  0.0s
 => => sending tarball                                                    0.4s
envd-quick-start via Py v3.9.13 via 🅒 envd
⬢ [envd]❯ # You are in the container-based environment!

设置 Jupyter notebook

请编辑 build.envd 以启用 jupyter notebook

def build():
    base(os="ubuntu20.04", language="python3")
    # Configure the pip index if needed.
    # config.pip_index(url = "https://pypi.tuna.tsinghua.edu.cn/simple")
    install.python_packages(name = [
        "numpy",
    ])
    shell("zsh")
    config.jupyter()

您可以通过 envd envs ls 获取正在运行的 Jupyter notebook 的端点。

$ envd up --detach
$ envd envs ls
NAME                    JUPYTER                 SSH TARGET              CONTEXT                                 IMAGE                   GPU     CUDA    CUDNN   STATUS          CONTAINER ID
envd-quick-start        http://localhost:42779   envd-quick-start.envd   /home/gaocegege/code/envd-quick-start   envd-quick-start:dev    false   <none>  <none>  Up 54 seconds   bd3f6a729e94

v0 和 v1 的区别

注意要使用 v1 配置文件，请将 # syntax=v1 添加到您的 build.envd 文件的第一行。

功能	v0	v1
是 `envd<v1.0` 的默认选项	✅	❌
支持开发	✅	✅
支持 CUDA	✅	✅
支持服务	⚠️	✅
支持自定义基础镜像	⚠️	✅
支持安装多种语言	⚠️	✅
支持 `moby` 构建器	❌	✅ ^(a)

注意 (a) 要使用 moby 构建器，您需要使用以下命令创建一个新的环境： envd context create --name moby-test --builder moby-worker --use。有关 moby 构建器的更多信息，请参阅 issue-1693。

重要更多详细信息，请参阅升级到 v1 文档。

路线图 🗂️

请查看 ROADMAP。

贡献 😊

我们欢迎开源社区、个人和合作伙伴的各种贡献。

加入我们的 discord 社区！
要从源代码构建，请阅读我们的贡献文档和开发教程。

贡献者 ✨

感谢以下这些优秀的人们 (表情符号键)

_{朋友 A.} 📖 🎨	_{Aaron Sun} 📓 💻	_Aka.Fido 📦 📖 💻	_{Alex Xi} 💻	_{Bingtan Lu} 💻	_{Bingyi Sun} 💻	_{Ce Gao} 💻 📖 🎨 📆
_{Frost Ming} 💻 📖	_{Guangyang Li} 💻	_Gui-Yue 💻	_{Haiker Sun} 💻	_{Ikko Ashimine} 💻	_Isaac 💻	_JasonZhu 💻
_{Jian Zeng} 🎨 🤔 🔬	_{Jinjing Zhou} 🐛 💻 🎨 📖	_Jun 📦 💻	_{Kaiyang Chen} 💻	_Keming 💻 📖 🤔 🚇	_{Kevin Su} 💻	_{Ling Jin} 🐛 🚇
_Manjusaka 💻	_Nino 🎨 💻	_{Pengyu Wang} 📖	_Sepush 📖	_{Shao Wang} 💻	_{Siyuan Wang} 💻 🚇 🚧	_苏岩 📖
_致我的 📖	_{图穆希米耶·伊夫} 💻	_张伟 💻	_黄伟晓 💻	_王伟珍 💻	_XRW 💻	_金旭 💻
_玄沃 💬 🎨 🤔 👀	_刘毅江 💻	_李一龙 📖 🐛 💻	_唐远 💻 🎨 📖 🤔	_程宇晨 🐛 🚇 🚧 🔧	_吴越东 💻	_郑云川 💻
_李哲铭 💻	_李正果 💻 📖	_赵振振 🚇 📓 💻	_何志珍 💻 📖	_cutecutecat 💻	_dqhl76 📖 💻	_heyjude 💻
_jimoosciuc 📓	_kenwoodjw 💻	_李梦阳 💻	_nullday 🤔 💻	_rrain7 💻	_tison 💻	_王晓雷 💻
_wyq 🐛 🎨 💻	_x0oo0x 💻	_向天宇 📖	_谢一丁 💻	_邢0821 🤔 📓 💻	_xxchan 📖	_zhyon404 💻
_杨成锴 💻

本项目遵循all-contributors规范。欢迎任何形式的贡献！

许可证 📋

Apache 2.0

项目详情

这些详情尚未由PyPI验证

项目链接

主页

发行历史发行通知 | RSS源

本版本

0.3.45

2024年1月24日

0.3.44

2024年1月16日

0.3.43

2023年12月28日

0.3.42

2023年12月28日

0.3.40

2023年9月1日

0.3.39

2023年8月18日

0.3.38

2023年8月14日

0.3.37

2023年8月4日

0.3.36

2023年7月18日

0.3.35

2023年7月11日

0.3.33

2023年7月6日

0.3.32

2023年7月6日

0.3.31

2023年7月4日

0.3.30

2023年6月29日

0.3.27

2023年6月17日

0.3.26

2023年6月14日

0.3.25

2023年6月13日

0.3.24

2023年6月8日

0.3.23

2023年5月25日

0.3.22

2023年5月12日

0.3.21

2023年5月6日

0.3.20

2023年5月2日

0.3.19

2023年4月25日

0.3.18

2023年4月23日

0.3.17

2023年4月21日

0.3.16

2023年3月30日

0.3.15

2023年3月24日

0.3.14

2023年3月17日

0.3.13

2023年2月20日

0.3.12

2023年2月15日

0.3.11

2023年2月6日

0.3.10

2023年1月25日

0.3.9

2023年1月20日

0.3.8

2023年1月20日

0.3.6

2023年1月11日

0.3.5

2023年1月3日

0.3.1

2022年12月23日

0.3.0

2022年12月16日

0.2.6

2022年12月15日

0.2.5

2022年12月7日

0.2.5rc7 预发布

2022年12月4日

0.2.5rc6 预发布

2022年12月4日

0.2.5rc5 预发布

2022年12月4日

0.2.5rc4 预发布

2022年12月2日

0.2.5rc1 预发布

2022年11月28日

0.2.5a8 预发布

2022年11月23日

0.2.5a7 预发布

2022年11月15日

0.2.5a6 预发布

2022年11月14日

0.2.5a5 预发布

2022年11月14日

0.2.5a4 预发布

2022年11月14日

0.2.5a3 预发布

2022年11月14日

0.2.4

2022年10月31日

0.2.3

2022年9月16日

0.2.2

2022年9月16日

0.1.0

2022年6月18日

下载文件

下载您平台的文件。如果您不确定选择哪个，请了解更多关于安装包的信息。

源分发

envd-0.3.45.tar.gz (333.8 kB 查看哈希值)

上传时间 2024年1月24日 源

构建分发

envd-0.3.45-py2.py3-none-musllinux_1_1_x86_64.whl (14.1 MB 查看哈希值)

上传时间 2024年1月24日 Python 2 Python 3 musllinux: musl 1.1+ x86-64

envd-0.3.45-py2.py3-none-manylinux_2_5_x86_64.manylinux1_x86_64.manylinux_2_17_x86_64.manylinux2014_x86_64.whl (14.1 MB 查看哈希值)

上传时间 2024年1月24日 Python 2 Python 3 manylinux: glibc 2.17+ x86-64 manylinux: glibc 2.5+ x86-64

envd-0.3.45-py2.py3-none-macosx_11_0_arm64.whl (28.6 MB 查看哈希值)

上传时间 2024年1月24日 Python 2 Python 3 macOS 11.0+ ARM64

envd-0.3.45-py2.py3-none-macosx_10_9_x86_64.whl (28.6 MB 查看哈希值)

上传时间 2024年1月24日 Python 2 Python 3 macOS 10.9+ x86-64

envd-0.3.45.tar.gz的哈希值

envd-0.3.45.tar.gz的哈希值
算法	哈希摘要
SHA256	`d475cc0fec647127bb0d765a9be0c69ac31d7beee1f83ebf6253893320f2ae0b`
MD5	`1d4d2a6c932bf8bd4a57985098a553c0`
BLAKE2b-256	`d94f018cbb69d814d579f54516a844f00ecf3f845a842cca48593f22298ca80d`

哈希值用于 envd-0.3.45-py2.py3-none-musllinux_1_1_x86_64.whl

envd-0.3.45-py2.py3-none-musllinux_1_1_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`278218a7c269dbc2e75b46cf4e810c5e3ac2ae560730b2f1e66edcb62729d553`
MD5	`df45260c987035d799840752f974f9ff`
BLAKE2b-256	`1811a9064be4d647441f6b6a0b826eba6906000cb199c433ec34f0735fb2727e`

哈希值用于 envd-0.3.45-py2.py3-none-manylinux_2_5_x86_64.manylinux1_x86_64.manylinux_2_17_x86_64.manylinux2014_x86_64.whl

envd-0.3.45-py2.py3-none-manylinux_2_5_x86_64.manylinux1_x86_64.manylinux_2_17_x86_64.manylinux2014_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`4b3b1a196bfbf889d7d793c23896fe8c58efb14923790d787a7fe1ebed7a644f`
MD5	`f7435036fc77ac17abc242555df72c12`
BLAKE2b-256	`4afb86a21bd6494850e905b8d02b6c3da9a8998487179c7edacd8e2504f822de`

哈希值用于 envd-0.3.45-py2.py3-none-macosx_11_0_arm64.whl

envd-0.3.45-py2.py3-none-macosx_11_0_arm64.whl 的哈希值
算法	哈希摘要
SHA256	`a8032bc2374f15f0fc7b9230b9cb771e6b220ffb58990d3ea97699e34bc853b0`
MD5	`b748c3f1dbd68a1e6af2264348c70240`
BLAKE2b-256	`bb9bb0fe119c6623b96015aa63427c678b8832a61a2b708adbd7e77c498a89cf`

哈希值用于 envd-0.3.45-py2.py3-none-macosx_10_9_x86_64.whl

envd-0.3.45-py2.py3-none-macosx_10_9_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`1e8fecf69293a3cd42f7ab544323f355831b0a5ee02827c25f4d142f49783799`
MD5	`d2502ecc5aa72440da48e85015395e88`
BLAKE2b-256	`588b1c55b3d7552f046179159e7a0a2010165e2aa89b66ea07eb4cce13541e81`

envd 0.3.45

导航

已验证详情

维护者

未验证详情

项目链接

元数据

分类器

项目描述

什么是envd？

为什么使用`envd`？

入门 🚀

要求

安装和初始化 `envd`

创建 `envd` 环境

设置 Jupyter notebook

v0 和 v1 的区别

更多关于文档 📝

路线图 🗂️

贡献 😊

贡献者 ✨

许可证 📋

项目详情

已验证详情

维护者

未验证详情

项目链接

元数据

分类器

发行历史发行通知 | RSS源

下载文件

源分发

构建分发

envd 0.3.45

导航

已验证详情

维护者

未验证详情

项目链接

元数据

分类器

项目描述

什么是envd？

为什么使用envd？

入门 🚀

要求

安装和初始化 envd

创建 envd 环境

设置 Jupyter notebook

v0 和 v1 的区别

更多关于文档 📝

路线图 🗂️

贡献 😊

贡献者 ✨

许可证 📋

项目详情

已验证详情

维护者

未验证详情

项目链接

元数据

分类器

发行历史 发行通知 | RSS源

下载文件

源分发

构建分发

为什么使用`envd`？

安装和初始化 `envd`

创建 `envd` 环境

发行历史发行通知 | RSS源