カテゴリー: Pandas

空白の値の場合、連続した全角スペースで埋めるというCSVに遭遇したケースの対処法。 正規表現 “\s+” はスペース、タブ、改行などが該当し、+で1文字以上の繰り返しを指す。 strがreplac […]

Pandasのconcatメソッドでデータフレームを結合すると、列数が増える現象が発生。 カラム名にはデータと思しき値が入っている。 データの中にカンマが入ったテキストでもあったのかと思い、元データを確認するが、それらし […]

カテゴリーによる抽出などの完全一致は頻出だけど、部分一致は案外使わないのでメモ。 まずはいつものDF。 部分一致を使う場合は、str.containsメソッドを使う。戻ってくるのはSeries。 第1引数は正規表現での検 […]

複数のシリーズ同士を連結する際は、appendもしくはconcatを使う。 連結には2種類あって、行を連結するパターンと列を連結するパターンがある。ただ複数に別れたユーザIDの連結など、下に下につないでいくパターンが私の […]

要素の置換にはreplaceがまず浮かぶが、mapの方が高速で置換することができる（らしい）。 辞書を使った置換操作 mapの場合、辞書を使った置換ができる。これはapplyではできない。 データフレームではなく、シリー […]

pandasで数値の列と文字列を結合する場合、数値をobjectに変換してから結合する必要がある。 例えば 型を確認する 数値列がintになっている。これをそのまま結合すると、怒られる。 よって、一度数値型の列を文字列型 […]

ラムダ式の用法をマスターする上で、applyの知識をおさらいしておく。 apply apply関数は、データフレームもシリーズも適用することができる関数。 似た関数にはmapやapplymapがある。mapはシリーズに使 […]

地味に利用頻度が高い、ユニークな値のカウント方法について。 前処理を始める前の外観を確認する場合や、取り急ぎ要素の数をまとめた数字が欲しいと言われた場合に便利。 nuniqueメソッドを使うと1手早い。が、なぜかlenを […]