开发迁移到 ArcticDB GitHub 仓库

此仓库和项目现在处于维护模式。开发已迁移至 ArcticDB。

有关如何设置、安装和使用 Arctic 的信息已迁移至 README-arctic.md。

变更日志

1.82.2 (2024-02-01)

• 发布：#1022 准备发布 1.82.2
• 性能：#1021 提高Tickstore读性能
• 错误修复：#1019 删除失败的requirements.txt版本
• 文档：#1019 更新 ArcticDB 网站和文档的链接
• 文档：#1017 修复 chunkstore 的 list_symbols 文档

1.82.1 (2023-10-09)

• 发布：#1014 准备发布 1.82.1
• 错误修复：#1013 修复 dateutil.timezone.tzutc() 的索引时区的序列化时区名称
• 错误修复：#1013 修复 dateutil.timezone.gettz("UTC") 的单级索引时区的序列化时区名称

1.82.0 (2023-07-24)

• 发布：#1012 版本 1.82.0
• 兼容性：更新 pinning 从 pandas<1.1, 到 pandas<2
• 兼容性：更新 pinning 从 numpy<1.19 到 numpy<2
• 构建：指定要测试的 python/numpy/pandas 版本
• 错误修复：#887 #928 在 pandas 1.0 中移除 Panel 后解决导入错误
• 错误修复：修复 pandas get_timezone() 参数不能为 None
• 错误修复：修复 np.float/np.int/np.book 废弃
• 错误修复：修复 numpy tostring() 已废弃。请使用 tobytes() 代替。
• 错误修复：numpy.testing.utils 已废弃
• 错误修复：pandas.util.testing 已废弃
• 清理：移除 async_benchmark

1.81.2 (2023-05-11)

• 功能：#1000, #1001, #1002, #1003, #1007, #1008 ArcticDB 文档、链接等
• 错误修复：#1009 强制 CircleCI 安装 tzlocal==4.2

1.81.1 (2023-03-13)

• 功能：#996 同时发布 wheel 和 tar.gz, egg 格式的 wheel

1.81.0 (2023-03-10)

• 错误修复：#979 修复 circleci mongo 安装问题
• 功能：#980 使 testpack 在 mongod 4.4.18 上运行
• 错误修复：#985 抑制 Panel 导入的 FutureWarning
• 错误修复：#989 VersionStore 慢速快照删除添加新索引
• 错误修复：#806, #990 DateTimeIndex 时区序列化

1.80.5 (2022-09-05)

• 功能：#950 移除所有 python 2.7 和 six 包的痕迹
• 功能：#959 添加 python 3.8 支持
• 功能：#962 锁定 pandas<1.1.0, numpy<1.19.0

1.80.4 (2022-01-25)

• 错误修复：#940 修复每块行数导致除以零的问题
• 功能：#943 在构建时检查 README.md 和 CHANGES.md 的 markdown 渲染
• 错误修复：#946 将测试依赖项移动到 tests_require

1.80.3 (2022-01-20)

• 功能：#941 使用命名索引为 VersionStore 以避免 127 个最大完全限定索引名称
• 错误修复：#935, #936 修复 README.md 渲染问题，防止 PyPI 上传

1.80.2 (2022-01-10)

• 错误修复：#932 撤销序列化优化 (#909, #910)

1.80.1 (2021-12-09)

• 错误修复：#855 使用 IXSCAN 为 list_symbols，加快快照速度（实际上是 #856）
• 错误修复：#926 避免使用 pymongo > 3.6.0 的路径学慢 count_documents() 调用

1.80.0 (2021-10-28)

• 功能：#919 在 README.md 中添加 CircleCI 徽章
• 功能：#917 添加 CircleCI 构建
• 错误修复：#910 修复列子集错误
• 错误修复：#909 通过移除中间 DataFrame 构造提高 FrameToArray 序列化器在 ChunkStore 中的速度
• 错误修复：#902 Chunkstore-read-speedup
• 错误修复：#872 如果未授权对缓存数据库进行操作，则不进行垃圾邮件发送
• 错误修复：#874 Pickle 协议 5 在 3.7 及以下版本中不受支持
• 错误修复：处理未初始化的缓存对象
• 功能：#897 锁定 numpy 1.18.4
• 功能：#897 锁定 pandas 1.0.3
• 错误修复：#881 修复问题 #815
• 错误修复：#875 修复 flake8 错误

1.79.4 (2020-12-01)

• 错误修复：更新代码以与最新的 pandas 版本兼容
• 错误修复：修复 numpy 序列化器中缺失列的处理

1.79.3 (2019-12-6)

• 错误修复：#832 对于 pd.Series，使用 Bytes 到 unicode
• 功能：#825 可配置的最大 BSON 大小
• 错误修复：#823 不要重试批量写入错误
• 功能：#802 将 kwargs 传递给 chunkstore 中的迭代器

1.79.2 (2019-05-21)

• 功能：允许通过设置集合调整 list_library 的缓存
• 错误修复：#777: 处理 dataframes 中的空列

1.79.1 (2019-05-03)

• 错误修复：Pandas 转换多索引为 unicode，如果设置了标志。

1.79 (2019-05-02)

• 错误修复：#765 Pandas 数据列需要编码转换为 Unicode。

1.78 (2019-05-02)

• 错误修复：使用默认编码（ASCII）而不是字节进行反序列化。

1.77 (2019-05-01)

• 错误修复：pypandoc 在 PYPI 上无法正确渲染 README。
• 错误修复：#744 在空 DataFrame 上调用 get_info 产生异常。
• 错误修复：#751 使用拉丁1处理 py2 datetime 和其他对象类型的反序列化。
• 错误修复：#598 在读取时添加将 py2 str 转换为 py3 str（Unicode 类型）的选项。

1.74 (2019-02-28)

• 错误修复：#712 Pandas 在 chunkstore 序列化器中的弃用警告。
• 错误修复：#670 大量 pycodestyle 修复。
• 错误修复：#691 修复 pandas 0.23.4+ 的 arrays_to_mgr。
• 错误修复：#698 修复 logging 警告中无处理程序的问题。
• 错误修复：#705 使用 sort_index 代替 sortlevel_。
• 错误修复：#710 在写入和追加版本中初始化 SEGMENT_SHA。
• 特性：#669 异步 Arctic 的实验性初始实现。
• 特性：#704 在 BSONStore 中默认不启用分片。
• 特性：#688 移除 Chunkstore 对 #422 问题的检查。
• 特性：#717 为 list_libraries 添加最佳努力缓存。
• 错误修复：#722 在 chunkstore 中读取缺失列的列时出现异常。

1.73 (2018-11-27)

• 错误修复：#658 来自旧 pandas 版本的 Panel 对象的写入/追加错误。
• 特性：#653 在 Arctic 模块中添加版本元信息。
• 特性：#663 将 Arctic 数值版本包含在版本文档的元数据中。
• 特性：#650 在 VersionStore 中为块实现前向指针（模式：启用/禁用/混合）。

1.72 (2018-11-06)

• 特性：#577 为 numpy 记录添加增量序列化器实现。
• 错误修复：#648 修复包含无 hasobject 属性的 Timezone aware Pandas 类型的 issue。

1.71 (2018-11-05)

• 错误修复：#645 修复 Pandas DataFrame 在多索引列中混合对象/字符串类型时的写入错误。

1.70 (2018-10-30)

• 错误修复：#157 确保序列化 DataFrame 保持值等效（例如，避免在混合字符串列中 NaN --> 'nan'）。
• 错误修复：#608 确保 Arctic 在 MongoDB 3.6 上表现良好（排序）。
• 错误修复：#629 列关键字参数不再被修改。
• 错误修复：#641 DateRange.intersection 开放/关闭范围修复。
• 特性：#493 在调用 MongoClient 时可以传递 kwargs，例如 ssl。
• 特性：#590 对于包含对象的 DataFrame，加快写入处理程序选择。
• 特性：#604 改进对 pickling 序列化决策的处理。

1.69 (2018-09-12)

• 文档：VersionStore 文档。
• 错误修复：#612 ThreadPool 应由使用它的进程创建。
• 特性：在 ChunkStore 中追加时添加 upsert 选项。

1.68 (2018-08-17)

• 特性：#553 兼容新旧 LZ4 API。
• 特性：#571 移除 Cython LZ4 代码，使用最新的 python-lz4。
• 特性：#557 基于线程池的压缩。速度改进和基准测试。
• 错误修复：修复 tickstore Unicode 处理，支持 Unicode 和 utf-8 数组。
• 错误修复：#591 修复 tickstore 读取不返回具有本地时区的索引的问题。
• 特性：#595 在 VersionedItem 中添加 host 属性。
• 错误修复：#594 在 chunkstore 上启用分片。

1.67.1 (2018-07-11)

• 错误修复：#579 修复 restore_version 和 append 导致的符号损坏问题。
• 错误修复：#584 修复删除后续版本中的符号后的快照 list_versions 问题。

1.67 (2018-05-24)

• 错误修复：#561 修复在 write_metadata 后 PickleStore 读取损坏的问题。

1.66 (2018-05-21)

• 错误修复：#168 不允许空字符串作为列名。
• 错误修复：#483 从 datetime_to_ms 中移除潜在的浮点错误。
• 错误修复：#271 删除库时记录不存在的情况。
• 特性：MetaDataStore：添加带有正则表达式、as_of 和匹配筛选器的元数据字段的 list_symbols。
• 特性：支持 Pandas 0.23.x 中 DataFrame 的序列化。

1.65 (2018-04-16)

• 错误修复：#534 VersionStore：覆盖不同 dtype（但相同数据格式）的符号不再引发异常。
• 错误修复：#531 arctic_prune_versions：在修剪前清理损坏的快照引用。
• 错误修复：在 Mac 上的 conda 环境中运行 setup.py develop。
• 特性：#490 添加对 numpy 1.14 的支持。

1.63 (2018-04-06)

• 错误修复：#521 在 macOS 上支持 Clang 6.0 编译器。
• 特性：#510 VersionStore：支持 Pandas DataFrame 中的多列。

1.62 (2018-3-14)

• 错误修复：#517 VersionStore：在某些边界情况下append操作不会重复数据
• 错误修复：#519 VersionStore：list_symbols速度提升和内存限制超过的修复

1.61 (2018-3-2)

• 特性：#288 在chunkstore中通过块映射读写
• 错误修复：#508 VersionStore：list_symbols和read现在始终返回最新版本
• 错误修复：#512 改进了list_versions的性能
• 错误修复：#515 VersionStore：_prune_previous_versions现在会重试清理操作

1.60 (2018-2-13)

• 错误修复：#503 ChunkStore：加快对-1段落的检查
• 特性：#504 将Arctic中的库数量增加到5000。

1.59 (2018-2-6)

• 错误修复：提高chunkstore中无效段落的检查性能
• 错误修复：#501 修复因将块从均衡器移动而导致写入路径上的虚假数据完整性异常

1.58 (2018-1-15)

• 错误修复：#491 将frombuffer的用法回滚到fromstring，修复了只读ndarray问题

1.57 (2018-1-11)

• 特性：#206 为tickstore添加字符串支持
• 错误修复：#486 通过对版本存储写入/附加失败进行失败，提高了mongo_retry的鲁棒性

1.56 (2017-12-21)

• 错误修复：#468 重新添加对pandas 0.20.x的兼容性
• 错误修复：#476 确保在fork后创建新的MongoClient时重新进行身份验证

1.55 (2017-12-14)

• 错误修复：#439 修复chunkstore迭代器中的光标超时问题
• 错误修复：#450 修复chunkstore删除操作中的错误，当块范围产生空df时
• 错误修复：#442 修复chunkstore中多段块中的不正确段值
• 特性：#457 通过segment_id_repair工具增强对#442的修复
• 错误修复：#385 配额统计中的异常不再终止写入
• 特性：PR#161 TickStore.max_date现在返回'local'时区的datetime
• 特性：#425 为tickstore添加用户定义的元数据
• 特性：#464 通过避免不必要的重新身份验证来提高性能
• 错误修复：#250 添加多进程安全性，在fork后检查初始化的MongoClient。
• 特性：#465 添加仅写入元数据的快速操作和将符号恢复到版本的快速操作

1.54 (2017-10-18)

• 错误修复：#440 修复读取空MultiIndex+tz Series的问题

1.53 (2017-10-06)

• 性能：#408 改善版本存储序列化器的内存性能
• 错误修复：#394 在chunkstore中读取多个符号
• 错误修复：#407 修复chunkstore中append操作上的段问题
• 错误修复：MetadataStore.append的不一致返回
• 错误修复：#412 pandas弃用和#289 改进numpy记录序列化器的异常报告
• 错误修复：#420 chunkstore忽略打开的日期范围
• 错误修复：#427 在符号覆盖期间，chunkstore元数据没有被正确替换
• 错误修复：#431 chunkstore迭代器不正确处理多段块

1.51 (2017-08-21)

• 错误修复：#397 移除对pymongo中已弃用方法的调用
• 错误修复：#402 在VersionStore中向空DF追加失败

1.50 (2017-08-18)

• 特性：#396 MetadataStore.read现在支持as_of参数
• 错误修复：#397 锁定pymongo==3.4.0

1.49 (2017-08-02)

• 特性：#392 MetadataStore
• 错误修复：#384 在ChunkStore中块开始/结束处缺少sentinels的时间数据
• 错误修复：#382 移除对cython预安装的依赖
• 错误修复：#343 在命名空间/数据库内部重命名库/集合

1.48 (2017-06-26)

• 错误修复：回滚#363，因为它会破坏多索引dataframe
• 错误修复：#372 对OSX构建的改进

1.47 (2017-06-19)

• 特性：重新引入#363 concat标志，实际上取消了1.45
• 错误修复：#377 修复BSONStore上的损坏的replace_one，并添加bulk_write

1.46 (2017-06-13)

• 特性：#374 在_id上而不是symbol上对BSONStore进行分片

1.45 (2017-06-09)

• 错误修复：回滚#363，因为它会导致追加时的排序问题

1.44 (2017-06-08)

• 特性：#364 从内部arctic LZ4公开compressHC并删除外部LZ4依赖
• 特性：#363 添加对旧数据的追加（与库中存在的进行比较）。使用concat=True仅追加新部分
• 特性：#371 在BSONStore中公开更多功能

1.43 (2017-05-30)

• 错误修复：#350 移除弃用的pandas调用
• 错误修复：#360 在VersionStore的空追加中版本不正确
• 特性：#365 添加通用BSON存储

1.42 (2017-05-12)

• 错误修复：#346 修复在版本存储中非常大的dataframe上的daterange子集错误
• 错误修复：#351 $size查询不能使用索引，使用替代查询

1.41 (2017-04-20)

• 错误修复：#334 在chunkstore.get_chunk_ranges中，Chunk范围参数与pandas对象失败
• 错误修复：#339 依赖于lz4<=0.8.2以修复构建错误
• 错误修复：#342 修复了在 Mac OSX 上的编译错误
• 错误修复：#344 修复了并发追加中的数据损坏问题

1.40 (2017-03-03)

• 错误修复：#330 使 Arctic._lock 可重入

1.39 (2017-03-03)

• 特性：#329 为 Arctic 添加 reset() 方法

1.38 (2017-02-22)

• 错误修复：#324 在 chunkstore 中，DateTime 索引必须排序
• 特性：#290 提高 tickstore 列读取的性能

1.37 (2017-1-31)

• 错误修复：#300 在 pandas 中弃用 to_datetime，使用 to_pydatetime 代替
• 错误修复：#309 修改 DateRange __str__ 的格式化
• 特性：#313 在 chunkstore 中设置和读取用户指定的元数据
• 特性：#319 在 ChunkStor 中支持审计日志
• 错误修复：#216 使用命名索引列时，Tickstore 写入失败

1.36 (2016-12-13)

• 默认基于哈希的分区
• 错误修复：在 VersionStore 快照操作期间重试套接字错误

1.35 (2016-11-29)

• 错误修复：#296 无法压缩/解压缩空字符串

1.34 (2016-11-29)

• 特性：#294 将 chunkstore 的每块元数据移动到单独的集合
• 错误修复：#292 在 ChunkStore 的大小分块中考虑元数据大小
• 特性：#283 在 ChunkStore DateChunker 中支持所有 pandas 频率字符串
• 特性：#286 向 ChunkStore 添加 has_symbol 并在 list_symbols 中支持部分符号匹配

1.33 (2016-11-07)

• 特性：#275 在 DateChunker 中支持元组范围对象
• 错误修复：#273 重复列破坏序列化器
• 特性：#267 Tickstore.delete 返回已删除的数据
• 依赖项：#266 用 pytest-server-fixtures 代替 pytest-dbfixtures

1.32 (2016-10-25)

• 特性：#260 在 Chunkstore 上支持配额
• 错误修复：#259 防止写入未命名的列/索引
• 错误修复：#252 pandas 0.19.0 兼容性修复
• 错误修复：#249 在未索引的数据上执行开放范围读取失败
• 错误修复：#262 VersionStore.append 在重新打包期间必须检查数据是否正确写入
• 错误修复：#263 配额：接近软配额限制时改进错误消息
• 性能：#265 VersionStore.write / append 在每次写入时不会积极地添加索引

1.31 (2016-09-29)

• 错误修复：#247 在 chunkstore 中修复分段读取
• 特性：#243 添加 get_library_type 方法
• 错误修复：更多 Cython 更改以正确处理 LZ4 错误
• 特性：#239 改进 chunkstore 的 get_info 方法

1.30 (2016-09-26)

• 特性：#235 在 ChunkStore 中返回符号上的块范围的方法
• 特性：#234 向 ChunkStore 提供迭代器访问
• 错误修复：#236 Cython 未处理 LZ4 函数调用的错误

1.29 (2016-09-20)

• 错误修复：#228 在追加期间Mongo故障转移可能会使 Version 处于不一致的状态
• 特性：#193 通过符号支持 ChunkStore 中的所有 Chunkers 和 Serializers
• 特性：#220 如果较旧的 Arctic 版本尝试读取不受支持的 pickled 数据，则引发异常
• 特性：#219 和 #220 支持 pickling 大数据（>2GB）
• 特性：#204 添加对库重命名的支持
• 特性：#209 在 ChunkStore 的更新方法中添加 upsert 功能
• 特性：#207 在 DateRange 分块器中支持 DatetimeIndexes
• 错误修复：#232 如果之前的追加失败，则不要在 VersionStore #append(...) 时引发异常

1.28 (2016-08-16)

• 错误修复：#195 使用字典列表作为顶级 tickstore 写入时，现在支持时区感知的 datetime

1.27 (2016-08-05)

• 错误修复：#187 与最新版本的 pytest-dbfixtures 兼容
• 特性：#182 改善 ChunkStore 的读写性能
• 特性：#162 重命名 ChunkStore 的 API
• 特性：#186 在更新时使用 chunk_range
• 错误修复：#189 范围删除不更新符号元数据

1.26 (2016-07-20)

• 错误修复：同时针对多个符号的更快的 TickStore 查询
• 错误修复：TickStore.read 现在尊重 allow_secondary=True
• 错误修复：#147 向 ChunkStore 添加 get_info 方法
• 错误修复：定期重新缓存 library.quota 以获取任何更改
• 错误修复：#166 向 ChunkStore 添加 SHA 索引
• 错误修复：#169 在 chunkstore 更新中 Dtype 不匹配
• 特性：#171 允许在 ChunkStore 中删除日期范围内的值
• 错误修复：#172 修复查询中间块中的日期时的日期范围错误
• 错误修复：#176 修复 Chunkstore 中的覆盖失败
• 错误修复：#178 - 更改 DB 中开始/结束日期的填充方式，同时修复追加以便它按预期工作。
• 错误修复：#43 - 删除对硬编码 Linux 时区文件的依赖

1.25 (2016-05-23)

• 错误修复：确保 Tickstore.write 不允许顺序消息
• 错误修复：VersionStore.write 现在允许将 'None' 作为值写入

1.24 (2016-05-10)

• 修复bug：与Arctic旧版本兼容的读写文档

1.22 (2016-05-09)

• 修复bug：#109 确保Arctic读取时的稳定排序
• 新功能：使用ASV的新基准测试套件
• 修复bug：#129 修复了在多符号TickStore读取过程中某些块可能被跳过的问题
• 修复bug：#135 修复了在python3中从pymongo返回不同数据类型的问题
• 新功能：#130 新的Chunkstore存储类型

1.21 (2016-03-08)

• 修复bug：#106 修复了不同维度的面板的Pandas Panel存储

1.20 (2016-02-03)

• 新功能：#98 在tickstore write()中将initial_image作为可选参数添加
• 修复bug：#100 写入pandas数据框时在end字段出现写入错误

1.19 (2016-01-29)

• 新功能：添加对python 3.3/3.4的支持
• 修复bug：#95 修复了在多个低级库中引发NoDataFoundException的问题

1.18 (2016-01-05)

• 修复bug：#81 修复了旧版本Arctic写入的多索引DataFrame的损坏读取
• 修复bug：#49 修复了tickstore的strifying

1.17 (2015-12-24)

• 新功能：添加对存储多索引DataFrame的时间支持
• 修复bug：修复了损坏的sdist发行版

1.16 (2015-12-15)

• 新功能：ArcticTransaction现在支持非审核的'transactions'：audit=False

with ArcticTransaction(Arctic('hostname')['some_library'], 'symbol', audit=False) as at:
...

 This is useful for batch jobs which read-modify-write and don't want to clash with
 concurrent writers, and which don't require keeping all versions of a symbol.

1.15 (2015-11-25)

• 新功能：向version_store添加了get_info API

1.14 (2015-11-25)

1.12 (2015-11-12)

• 修复bug：正确检测Pandas >= 0.18的版本。
• 修复bug：在AutoReconnect失败的情况下重试连接初始化。

1.11 (2015-10-29)

• 修复bug：通过9倍提高保存多索引Pandas DataFrames的性能
• 修复bug：authenticate应传播非OperationFailure异常（例如ConnectionFailure），因为这可能是套接字故障的指标
• 修复bug：在VersionStore.list_versions()中返回'deleted'状态，以便调用者可以检测到头版本是删除哨兵。

1.10 (2015-10-28)

• 修复bug：VersionStore.read(date_range=...)在使用TimeZones（尚未支持date_range切片）时可能执行错误操作。

1.9 (2015-10-06)

• 修复bug：修复了在多个线程之间共享Arctic实例时的认证竞争条件。

1.8 (2015-09-29)

• 修复bug：与3.0和预3.0 MongoDB兼容，用于查询当前认证

1.7 (2015-09-18)

• 新功能：通过传递arctic.date.DateRange来支持在VersionStore.read中读取pandas DataFrame的子集
• 修复bug：如果未针对特定库的DB进行认证，则重新对管理员进行认证。有时我们似乎错过了管理员DB认证。这是为了解决这个问题，直到我们弄清楚问题所在。

1.6 (2015-09-16)

• 新功能：添加对多索引Bitemporal DataFrame存储的支持。这允许在DataFrame内持久化数据和更改，使查看随时间修订的旧数据更容易。
• 修复bug：确保在发生异常时调用错误日志钩子

1.5 (2015-09-02)

• 始终使用主集群节点进行'has_symbol()'，这更安全

1.4 (2015-08-19)

• 修复bug：时区处理，现在确保使用非naive datetime
• 修复bug：修复了tickstore读取中缺失的图像

1.3 (2015-08-011)

• 改进了用户和库的控制脚本
• 修复bug：修复了顶级Arctic对象的pickling

1.2 (2015-06-29)

• 允许在VersionStore中对版本范围进行快照，并默认快照所有版本。

1.1 (2015-06-16)

• 修复bug：修复了向后兼容的bson编码数据的unpickling
• 添加了启用并行lz4压缩的开关

1.0 (2015-06-14)

• 初始公共版本