かなり好評いただきました第一弾 (「データサイエンスのための前処理入門PythonとSparkで学ぶビッグデータエンジニアリング (PySpark) 速習講座」)につづきまして、データ処理シリーズ第2弾をコース化いたしました！ 第一弾はバッチ処理でしたが、 ...

前回の続きの続きです。 前編はこちら 中編はこちら 後編では、以下の内容を紹介します。 Python UDTFの改善 spark 3.5から導入された機能として、python UDTF (User Defined Table Functions) があります。入力として、0個の以上の引数を受け取ります。 出力結果として、テーブルを返すことができます。 UDTFは ...