Linuxパイプとリダイレクト徹底解説 - コマンドを連携させる技術

1
2
3
4
5
6

# 存在するファイルと存在しないファイルを両方指定
ls /etc/hostname /nonexistent

# 出力例
# ls: cannot access '/nonexistent': No such file or directory  <- 標準エラー出力
# /etc/hostname                                                 <- 標準出力

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# コマンドの出力をファイルに保存
echo "Hello, World!" > greeting.txt

# 内容を確認
cat greeting.txt
# Hello, World!

# 上書きされることを確認
echo "Goodbye!" > greeting.txt
cat greeting.txt
# Goodbye!

1
2
3
4
5

# lsの結果をファイルに保存
ls -la /etc > etc_list.txt

# ファイル情報をファイルに保存
date > timestamp.txt

1
2
3
4
5
6
7
8
9

# 追記モードでファイルに書き込み
echo "Line 1" > log.txt
echo "Line 2" >> log.txt
echo "Line 3" >> log.txt

cat log.txt
# Line 1
# Line 2
# Line 3

1
2
3
4

# タイムスタンプ付きログの追記
echo "$(date): Script started" >> app.log
# 何かの処理...
echo "$(date): Script completed" >> app.log

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# noclobberオプションを有効化
set -o noclobber

# 既存ファイルへの上書きがエラーになる
echo "test" > existing_file.txt
# bash: existing_file.txt: cannot overwrite existing file

# 強制的に上書きする場合は >| を使用
echo "test" >| existing_file.txt

# noclobberを無効化
set +o noclobber

1
2
3
4
5
6

# ファイルからの入力を受け取る
wc -l < /etc/passwd
# 45

# catに標準入力を渡す（通常のcat fileと同じ結果）
cat < /etc/hostname

1
2
3
4
5
6
7
8

# ソート済みファイルから重複を除去
sort < unsorted.txt | uniq > unique.txt

# メール送信（mailコマンドがある場合）
mail -s "Report" user@example.com < report.txt

# 入力と出力の両方をリダイレクト
tr 'a-z' 'A-Z' < input.txt > output.txt

1
2
3
4
5
6

# ヒアドキュメントで複数行を入力
cat << EOF
This is line 1.
This is line 2.
This is line 3.
EOF

1
2
3
4
5
6
7

# 設定ファイルの作成
cat << 'EOF' > config.ini
[database]
host=localhost
port=5432
name=myapp
EOF

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# 変数展開あり
NAME="Alice"
cat << EOF
Hello, $NAME!
EOF
# Hello, Alice!

# 変数展開なし（シングルクォートで囲む）
cat << 'EOF'
Hello, $NAME!
EOF
# Hello, $NAME!

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# 文字列を標準入力として渡す
cat <<< "Hello, World!"
# Hello, World!

# 変数の値を標準入力として渡す
greeting="Good morning"
cat <<< "$greeting"
# Good morning

# コマンドの結果を渡す
bc <<< "2 + 3 * 4"
# 14

1
2
3
4
5
6

# エラーメッセージをファイルに保存
ls /nonexistent 2> error.log

# エラーログの内容を確認
cat error.log
# ls: cannot access '/nonexistent': No such file or directory

1
2
3
4
5
6
7
8

# 正常出力とエラー出力を別々のファイルに保存
ls /etc/hostname /nonexistent > output.txt 2> error.txt

cat output.txt
# /etc/hostname

cat error.txt
# ls: cannot access '/nonexistent': No such file or directory

1
2
3
4

# エラーログに追記
command1 2>> error.log
command2 2>> error.log
command3 2>> error.log

1
2

# エラーを無視してコマンドを実行
find /etc -name "*.conf" 2>/dev/null

1
2
3
4
5
6

# 全出力をファイルに保存
ls /etc/hostname /nonexistent &> all_output.txt

cat all_output.txt
# ls: cannot access '/nonexistent': No such file or directory
# /etc/hostname

1
2

# 従来の書き方
ls /etc/hostname /nonexistent > all_output.txt 2>&1

1
2
3
4
5

# 正しい順序: 標準出力をリダイレクトしてから、標準エラー出力を標準出力に向ける
command > file.txt 2>&1

# 間違った順序: 標準エラー出力を（まだターミナルを指している）標準出力に向けてから、標準出力をリダイレクト
command 2>&1 > file.txt  # エラーはターミナルに表示される

1
2
3
4
5

# 全出力を追記モードでファイルに保存
command &>> all_output.log

# 従来の書き方
command >> all_output.log 2>&1

1
2
3
4
5

# 基本的なパイプの使用
cat /etc/passwd | head -5

# 複数のパイプを連鎖
cat /etc/passwd | grep "bash" | wc -l

1
2
3

# 大きなファイルでも効率的に処理
# （最初の10行を見つけたらheadが終了し、catも停止する）
cat very_large_file.txt | head -10

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

# アクセスログからHTTPステータス別にカウント
cat /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c | sort -rn

# プロセス一覧からメモリ使用量順に上位10件を表示
ps aux | sort -k4 -rn | head -10

# ディレクトリ内のファイルをサイズ順に表示
ls -la | sort -k5 -n

# 特定のポートを使用しているプロセスを検索
netstat -tlnp 2>/dev/null | grep ":80"

# ファイル拡張子ごとのファイル数を集計
find . -type f | sed 's/.*\.//' | sort | uniq -c | sort -rn

1
2
3

# 最後のコマンド（true）の終了ステータスが返される
false | true
echo $?  # 0

1
2
3
4
5
6
7
8
9

# pipefailを有効化
set -o pipefail

# 最初のコマンドが失敗するとパイプライン全体が失敗
false | true
echo $?  # 1

# pipefailを無効化
set +o pipefail

1
2

cat /nonexistent 2>/dev/null | head -5 | wc -l
echo "${PIPESTATUS[@]}"  # 1 0 0

1
2
3
4
5
6

# 標準エラー出力もパイプに含める
ls /etc/hostname /nonexistent 2>&1 | cat

# 出力例
# ls: cannot access '/nonexistent': No such file or directory
# /etc/hostname

1
2

# bash 4.0以降の短縮記法
ls /etc/hostname /nonexistent |& cat

1
2

# 標準出力はファイルへ、標準エラー出力は別のコマンドへ
command 2>&1 1>output.txt | grep "ERROR" > errors.txt

1
2

# パイプラインの途中でデータをファイルに保存しつつ、次のコマンドにも渡す
ls -la | tee filelist.txt | head -5

1
2

# ファイルに追記
echo "New entry" | tee -a log.txt

1
2

# 3つのファイルに同時に書き出し
echo "Broadcast message" | tee file1.txt file2.txt file3.txt

1
2
3
4
5
6
7
8

# これはエラーになる（リダイレクトはsudo権限で実行されない）
sudo echo "127.0.0.1 myhost" >> /etc/hosts  # Permission denied

# teeを使った解決策
echo "127.0.0.1 myhost" | sudo tee -a /etc/hosts

# 標準出力への表示が不要な場合
echo "127.0.0.1 myhost" | sudo tee -a /etc/hosts > /dev/null

1
2

# 同じデータを2つの異なるコマンドで処理
echo "test data" | tee >(md5sum > md5.txt) >(sha256sum > sha256.txt) > /dev/null

1
2
3
4
5

# findの結果をrmの引数として渡す
find /tmp -name "*.tmp" -mtime +7 | xargs rm -f

# grepで見つかったファイルをlessで開く
grep -l "TODO" *.txt | xargs less

1
2
3
4
5

# これは動作しない（rmは標準入力からファイル名を読まない）
find /tmp -name "*.tmp" | rm

# xargsを使うと動作する
find /tmp -name "*.tmp" | xargs rm

1
2
3
4
5

# スペースを含むファイル名も安全に処理
find . -name "*.txt" -print0 | xargs -0 rm

# locateの結果も安全に処理
locate -0 "*.conf" | xargs -0 ls -la

1
2

# 大量のファイルでも問題なく処理
find / -name "*.log" 2>/dev/null | xargs ls -la

1
2
3
4
5

# 各ファイルを.bakという拡張子でコピー
find . -name "*.txt" | xargs -I {} cp {} {}.bak

# ファイルを特定のディレクトリに移動
find . -name "*.log" -mtime +30 | xargs -I {} mv {} /archive/logs/

1
2
3
4
5

# 4並列で画像変換を実行
find . -name "*.png" | xargs -P 4 -I {} convert {} -resize 50% resized_{}

# 利用可能なCPUコア数だけ並列実行
find . -name "*.txt" | xargs -P $(nproc) -I {} gzip {}

1
2
3
4
5

# 実行前に確認を求める
find . -name "*.tmp" | xargs -p rm

# 実行するコマンドを表示
find . -name "*.tmp" | xargs -t rm

1
2
3
4
5
6
7
8
9

# ファイルディスクリプタ3を開く
exec 3> output.txt

# ファイルディスクリプタ3に書き込み
echo "Line 1" >&3
echo "Line 2" >&3

# ファイルディスクリプタ3を閉じる
exec 3>&-

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# ファイルを読み書き両用で開く
exec 3<> data.txt

# 読み取り
read line <&3
echo "Read: $line"

# 書き込み
echo "New line" >&3

# 閉じる
exec 3>&-

1
2
3
4
5
6

# 標準エラー出力を一時的に保存し、後で復元
exec 3>&2          # fd 3にstderrを複製
exec 2>/dev/null   # stderrを/dev/nullにリダイレクト
noisy_command      # エラー出力が抑制される
exec 2>&3          # stderrを復元
exec 3>&-          # fd 3を閉じる

1
2
3
4
5
6
7
8

# 2つのディレクトリの内容を比較
diff <(ls dir1) <(ls dir2)

# 2つのコマンドの出力を比較
diff <(sort file1.txt) <(sort file2.txt)

# 複数のファイルを結合してソート
sort -m <(sort file1.txt) <(sort file2.txt) <(sort file3.txt)

1
2
3
4
5
6
7
8

# Nginxアクセスログから上位10件のIPアドレスを抽出
cat /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head -10

# 特定の時間帯のエラーを抽出してファイルに保存
grep "$(date '+%Y-%m-%d') 1[4-7]:" /var/log/app/error.log | tee today_afternoon_errors.log | wc -l

# HTTPステータスコード別の集計
awk '{print $9}' /var/log/nginx/access.log | sort | uniq -c | sort -rn

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# ディスク使用率が80%を超えるパーティションを警告
df -h | awk 'NR>1 && int($5) > 80 {print "Warning: " $6 " is " $5 " full"}'

# メモリ使用量の多いプロセス上位5件
ps aux --sort=-%mem | head -6

# 特定のプロセスのCPU使用率を監視
while true; do
    ps aux | grep "[n]ginx" | awk '{sum+=$3} END {print strftime("%H:%M:%S"), sum"%"}'
    sleep 5
done

1
2
3
4
5
6
7
8

# 全てのJPEGファイルをPNGに変換（ImageMagick使用）
find . -name "*.jpg" -print0 | xargs -0 -P 4 -I {} convert {} {}.png

# 古いログファイルを圧縮
find /var/log -name "*.log" -mtime +7 -print0 | xargs -0 gzip

# バックアップ対象ファイルのリストを作成してtar
find /home -type f -mtime -1 -print0 | xargs -0 tar -cvzf backup.tar.gz

1
2
3
4
5

# 全ての設定ファイルで特定の文字列を置換
find /etc/myapp -name "*.conf" -print0 | xargs -0 sed -i 's/old_value/new_value/g'

# コメント行と空行を除外して有効な設定を確認
grep -v '^#' /etc/nginx/nginx.conf | grep -v '^$' | grep -v '^\s*#'

1
2
3
4
5
6
7
8

# CSVファイルの特定カラムを抽出して重複を除去
cat data.csv | cut -d',' -f2 | sort -u > unique_values.txt

# JSONからキーを抽出（jqがインストールされている場合）
cat data.json | jq -r '.items[].name' | sort | uniq -c

# 複数ファイルのマージとソート
cat file1.txt file2.txt file3.txt | sort -u > merged_unique.txt

1
2

# teeを使って中間結果をファイルに保存
cat data.txt | tee step1.log | grep "pattern" | tee step2.log | sort | tee step3.log | uniq -c

1
2

# 各ステップの行数を確認
cat data.txt | tee >(wc -l >&2) | grep "pattern" | tee >(wc -l >&2) | sort | uniq -c

1
2

# xargsで実行されるコマンドを確認
find . -name "*.txt" | xargs -t echo rm

1
2
3
4
5
6
7

# 間違い: エラーがファイルに保存されない
command 2>&1 > file.txt

# 正解: 全ての出力がファイルに保存される
command > file.txt 2>&1
# または
command &> file.txt

1
2
3

# パイプラインの結果を変数に保存
result=$(cat file.txt | grep "pattern" | wc -l)
echo "Found $result matches"

1
2
3
4
5
6
7
8

# 間違い: 入力ファイルが空になる
cat file.txt | sort > file.txt

# 正解: 一時ファイルを使用
cat file.txt | sort > file.txt.tmp && mv file.txt.tmp file.txt

# 正解: spongeコマンドを使用（moreutils）
cat file.txt | sort | sponge file.txt