congruity

在许多方面，从使用具有全部功能和灵活性的经典Spark应用程序迁移到仅使用Spark Connect兼容的DataFrame API可能会具有挑战性。

该库的目标是提供一个兼容层，使其更容易采用Spark Connect。该库设计简单，只需将其导入到您的应用程序中，然后对现有的API进行monkey-patch以提供遗留功能。

非目标

该库并非长期解决方案。目标是提供一个随着时间而变得过时的兼容层。此外，我们并不旨在提供所有方法和功能的兼容性，而只是选择子集。最后，我们也不旨在达到使用某些原生RDD API时的相同性能。

用法

Spark JVM & Spark Connect兼容性库。

pip install spark-congruity

import congruity

示例

以下是在Spark JVM上运行的代码

from pyspark.sql import SparkSession

spark = SparkSession.builder.remote("sc://localhost").getOrCreate()
data = [("Java", "20000"), ("Python", "100000"), ("Scala", "3000")]
spark.sparkContext.parallelize(data).toDF()

此代码与Spark Connect不兼容。congruity库在底层重新排列代码，因此旧语法可以在Spark Connect集群上运行

import congruity  # noqa: F401
from pyspark.sql import SparkSession

spark = SparkSession.builder.remote("sc://localhost").getOrCreate()
data = [("Java", "20000"), ("Python", "100000"), ("Scala", "3000")]
spark.sparkContext.parallelize(data).toDF()

贡献

我们非常欢迎对这个项目的贡献。最简单的方法是选择以下RDD或SparkContext方法之一并实现兼容层。一旦完成，请提交一个pull request，我们将进行审查。

支持什么？

RDD

SparkContext

限制

• 错误处理和检查目前相当有限。我们尝试模拟现有行为，但并非总是可能，因为这些不变性并未编码在Python中，而是在Scala中的某个地方。
• numSlices - 目前我们不模拟此行为。