トップ / フィルタ・サンプリング

distinct / unique

重複行を取り除く。メソッド名がSnowparkとPolarsで異なる点に注意。

df.distinct()

ldf.unique()

挙動・設計の違い

SnowparkはSELECT DISTINCT *に相当するSQLを発行する。Polarsはハッシュテーブルを使って行の重複を判定し除外する。処理として行うことは同じだが、実装のレイヤーが異なる（SQLエンジン側 vs Polarsのネイティブ実装）。

移行時の落とし穴

メソッド名がそのまま違う（Snowpark: distinct()、Polars: unique()）ため、写経のときに書き間違えやすい。Polars側でdistinct()と書いてもメソッドが存在せずエラーになる。

フィルタ・サンプリングの他のメソッド

• filter / where ── 条件に合う行だけを残す。whereはfilterの別名で、書き方はどちらも同じ。
• limit ── 先頭から指定した行数だけを取得する。
• sample ── データの一部をランダムに抽出する。
• drop_duplicates ── 指定した列の値が一致する行を重複とみなして間引く。

出典・検証情報

• Snowpark 公式リファレンス（distinct / unique）
• Polars 公式リファレンス（distinct / unique）

Polars 1.43.2 で実行確認 / Snowpark Python SDK 1.54.0 で静的検証（2026-08-21）