DataLad扩展包，用于将外部网络资源爬取到自动化数据分发中
项目描述
____ _ _ _
| _ \ __ _ | |_ __ _ | | __ _ __| |
| | | | / _` || __| / _` || | / _` | / _` |
| |_| || (_| || |_ | (_| || |___ | (_| || (_| |
|____/ \__,_| \__| \__,_||_____| \__,_| \__,_|
Crawler
此扩展增强了DataLad（《http://datalad.org》）的功能，使其能够将外部网络资源爬取到自动化数据分发中。有关附加命令和功能的说明，请参阅扩展文档。
有关如何使用或贡献DataLad（以及此扩展）的详细信息，请参阅DataLad网站或主GitHub项目页面。
安装
在安装此软件包之前，请确保您已安装最新版本的git-annex（《https://git-annex.branchable.com/install》）。之后，从PyPi安装最新版本的datalad-crawler。建议使用专用virtualenv。
# create and enter a new virtual environment (optional)
virtualenv --system-site-packages --python=python3 ~/env/datalad
. ~/env/datalad/bin/activate
# install from PyPi
pip install datalad_crawler
支持
本项目的文档在此处可以找到： http://docs.datalad.org/projects/crawler
有关此软件的所有错误、问题和改进请求都可以在此提交： https://github.com/datalad/datalad-crawler/issues
如果您在使用DataLad时遇到问题或想提问，请将问题提交至NeuroStars.org，并添加datalad标签。NeuroStars.org是一个类似StackOverflow的平台，专注于神经信息学。
所有以前的DataLad问题都可以在这里找到：http://neurostars.org/tags/datalad/
致谢
DataLad的开发得到了美国-德国计算神经科学（CRCNS）项目“DataGit：将目录、仓库和部署物流融合到一个联邦的‘数据分发’”的支持（Halchenko/Hanke），该项目由美国国家科学基金会（NSF 1429999）和德国联邦教育与研究部（BMBF 01GQ1411）共同资助。此外，德国萨克森-安哈尔特州和欧洲区域发展基金（ERDF）也提供了支持，项目：行为脑科学中心，成像平台。该工作还得到了ReproNim项目（NIH 1P41EB019936-01A1）的进一步促进。
下载文件
下载适合您平台文件。如果您不确定该选择哪个，请了解更多关于安装包的信息。
