Pyspark中pyspark.sql.functions常用方法(4) 
284
0df = spark.createDataFrame(
[(1, ["bar"]), (2, ["foo", "bar"]), (3, ["foobar", "foo"])],
("key", "values")
)
df.show()
+---+-------------+
|key| values|
+---+-------------+
| 1| [bar]|
| 2| [foo, bar]|
| 3|[foobar, foo]|
+---+-------------+
df.select(forall("values", lambda x: x.rlike("foo")).alias("all_foo")).show()
+-------+
|all_foo|
+-------+
| false|
| false|
| true|
+-------+filter 过滤
df = spark.createDataFrame([([1, None, 2, 3],), ([4, 5, None, 4],)], ['data'])
df.show()
+---------------+
| data|
+---------------+
|[1, null, 2, 3]|
|[4, 5, null, 4]|
+---------------+
df.select(fs.filter(df.data,lambda x: x>1).alias('filter')).show()
+---------+
| filter|
+---------+
| [2, 3]|
|[4, 5, 4]|
+---------+zip_with 数组合并
使用函数将两个给定的数组按元素合并为一个数组。如果一个数组较短，则在应用函数之前，在末尾附加null以匹配较长数组的长度。
df.select(fs.zip_with("xs", "ys", lambda x, y: x ** y).alias("powers")).show(truncate=False)
+---------------------------+
|powers |
+---------------------------+
|[1.0, 9.0, 625.0, 262144.0]|
+---------------------------+https://blog.csdn.net/weixin_43322583/article/details/143208261
本文系转载，版权归原作者所有，如若侵权请联系我们进行删除！
《行业指标体系白皮书》下载地址：
《数据治理行业实践白皮书》下载地址：
《数栈V6.0产品白皮书》下载地址：
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：
同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」，交流最新开源技术信息，群号码：30537511，项目地址：
@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号
