トップ / フィルタ・サンプリング

distinct / unique

重複行を取り除きます。メソッド名がSnowparkとPolarsで異なる点に注意してください。

df.distinct()

ldf.unique()

挙動・設計の違い

SnowparkはSELECT DISTINCT *に相当するSQLを発行します。Polarsはハッシュテーブルを使って行の重複を判定し除外します。処理として行うことは同じですが、実装のレイヤーが異なります（SQLエンジン側 vs Polarsのネイティブ実装）。

移行時の落とし穴

メソッド名がそのまま違う（Snowpark: distinct()、Polars: unique()）ため、写経のときに書き間違えやすいです。Polars側でdistinct()と書いてもメソッドが存在せずエラーになります。

フィルタ・サンプリングの他のメソッド

• filter / where ── 条件に合う行だけを残します。whereはfilterの別名で、書き方はどちらも同じです。
• limit ── 先頭から指定した行数だけを取得します。
• sample ── データの一部をランダムに抽出します。
• drop_duplicates ── 指定した列の値が一致する行を重複とみなして間引きます。
• between ── 値が指定した範囲内（両端を含む）にあるかを判定します。
• in_ / isin ── 値が指定したリストの中に含まれるかを判定します。

出典・検証情報

• Snowpark 公式リファレンス（distinct / unique）
• Polars 公式リファレンス（distinct / unique）

Polars 1.43.2 で実行確認 / Snowpark Python SDK 1.54.0 で静的検証（2026-08-21）