使用py4j与Scala/Java代码一起工作的实用程序
项目描述
一套兼容性例程，使得从Python与Scala交互变得更加容易。
偶尔，Python导向的数据商店需要为了性能原因使用JVM语言。通常这需要放弃整个Python代码库并从头开始，或者求助于服务架构（例如，Apache Thrift），这将增加系统复杂性。
您不必这样做。
使用py4j和Spylon，您可以轻松地与代码中性能关键的Scala代码部分进行交互，同时保持其余部分不变。
或者，您可以将其用作桥梁，允许为Scala/Java代码库构建包装器。
安装
Spylon可以从pip或conda-forge安装。
从pip安装时，如果希望与Apache Spark一起使用，应运行
` pip install spylon[spark] `
使用方法
使用spylon的最简单方法是将其用于帮助编写PySpark作业。如果您想提供自己的jar以作为Spark用户定义函数使用，您需要通过spark-submit向spark提供包含udf实现的jar。
为了获得更便捷的交互体验，您可以使用提供的Apache Spark启动器，从而简化在Python Jupyter笔记本中实例化PySpark应用程序的过程。
扩展
Spylon被设计成一个易于扩展的工具包。由于Apache Spark是Py4J的主要用户，因此已经为它和Spylon实现了一些特殊用例，这是Spylon用例的一些示例。
关闭
spylon-0.3.0.tar.gz的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 104b9bf7a28c15c27b3c3dcba199f847b93f09b78e97f15e0a0bcac3cbb0bbe4 |
|
| MD5 | 9e8c6fb7a9ac85dd23fc867775fb002a |
|
| BLAKE2b-256 | a11b236051a959a6cc76f5962e32aa743a31e77e3acd27a742e625d49eef4c7a |