裏 RjpWiki

Julia ときどき R, Python によるコンピュータプログラム,コンピュータ・サイエンス,統計学

データ処理のお供に AWK -- その2

2020年12月10日 | ブログラミング

100000x1500 のデータフレームの,2列目の数値データによりソートしたデータファイルを作る。

R だと,以下のスクリプトで 220 秒ほどかかる。

df = read.csv("test.csv")
write.csv(df[order(df[,2]),], file="test1.csv", row.names=FALSE)

AWK, sort を組み合わせると 20 秒ほどで終わる。

awk -F "," '{print $2, $0}' test.csv | sort -ns | awk '{print $2}' > test2.csv

 

コメント    この記事についてブログを書く
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする
« データ処理のお供に AWK | トップ | Python 嫌いだけど,こんな P... »
最新の画像もっと見る

コメントを投稿

ブログ作成者から承認されるまでコメントは反映されません。

ブログラミング」カテゴリの最新記事