保姆级教程：用awk+sed快速分析/var/log/secure日志的8种常见场景

从日志噪音到安全洞察：实战解析Linux安全日志的高效分析术

如果你管理过Linux服务器，一定对/var/log/secure这个文件又爱又恨。爱的是，它像一位忠实的哨兵，记录着每一次身份验证的尝试；恨的是，当安全事件发生或需要排查问题时，面对动辄数万行、充斥着各种专业术语的日志文本，如何快速定位关键信息，往往让人头疼不已。传统的cat、grep加肉眼扫描，在真正的运维场景下效率极低，且容易遗漏重要线索。

今天，我们不打算重复那些基础的grep命令教程。相反，我将带你深入两个被严重低估的文本处理神器——awk和sed的核心组合技，通过八个真实世界中高频出现的分析场景，构建一套属于你自己的安全日志分析“肌肉记忆”。无论你是需要快速响应安全告警的运维工程师，还是希望自动化监控登录行为的开发者，掌握这些命令行“魔法”，都能让你在纷繁的日志数据中，瞬间抓住问题的咽喉。

1. 分析前的战场准备：理解日志结构与建立高效工作流

在挥舞awk和sed这把手术刀之前，我们必须先看清“病人”的解剖结构。/var/log/secure（在某些发行版如RHEL/CentOS 8+或Fedora中可能是/var/log/auth.log或journalctl的输出）的典型条目遵循一个相对固定的模式。一次成功的SSH登录日志可能长这样：

May 10 14:23:01 server-hostname sshd[12345]: Accepted password for user01 from 192.168.1.100 port 55234 ssh2

而一次失败的尝试则可能是：

May 10 14:23:05 server-hostname sshd[12345]: Failed password for invalid user hacker from 203.0.113.5 port 45678 ssh2

日志字段的通用拆解： 尽管具体格式因系统配置和事件类型略有差异，但大多数字段是稳定的。我们可以将其视为由空格分隔的若干列，但其中某些列（如消息正文）本身又包含空格。一个实用的思维模型是：

提示：在实际分析中，第7列之后的消息正文才是我们过滤和提取信息的核心区域。awk默认以空格和制表符作为字段分隔符，这对于提取前几列（如时间、主机名）很方便，但处理消息正文时，我们更需要的是模式匹配和字符串处理能力。

建立你的分析环境： 工欲善其事，必先利其器。我强烈建议不要直接在生产环境的secure日志上练习复杂的命令组合。一个高效的做法是：

1. 备份并创建测试数据：

   # 备份当前日志
   sudo cp /var/log/secure /tmp/secure.backup.$(date +%Y%m%d)
   
   # 提取最近一段时间（例如一天）的日志到测试文件
   sudo grep "$(date -d '-1 day' '+%b %d')" /var/log/secure > ~/secure_sample.log
   
   # 或者，如果你有现成的日志包，直接解压使用
   # tar -xzf security_logs.tar.gz -C ~/log_analysis/
   

2. 掌握核心工具参数： awk和sed功能强大，但记住所有参数不现实。我习惯将最常用的几个选项设为“条件反射”：

   • awk -F: 指定字段分隔符。
   • awk '{print $N}': 打印第N个字段。
   • awk '/pattern/ {action}': 对匹配模式的行执行动作。
   • sed -n 's/old/new/p': 静默模式下的查找替换并打印。
   • sed -n '/start/,/end/p': 打印从匹配start到匹配end之间的所有行。

有了清晰的日志结构认知和准备好的测试数据，我们就可以进入实战环节了。

2. 场景实战：八种典型安全事件的高效定位与提取

下面，我们将通过八个具体场景，由浅入深地展示如何组合awk和sed来解决实际问题。每个场景都包含可直接复用的命令片段，并解释其背后的设计思路。

2.1 场景一：快速统计今日所有登录尝试（成功与失败）

这是最基础的需求，旨在获得一个整体的安全态势感知。

命令与解析：

# 统计今日所有SSH相关日志行数（宏观视图）
grep "$(date '+%b %d')" /var/log/secure | wc -l

# 分别统计成功与失败的登录
today=$(date '+%b %d')
success_count=$(grep "$today" /var/log/secure | grep -c "Accepted password")
fail_count=$(grep "$today" /var/log/secure | grep -c "Failed password\|authentication failure")

echo "今日登录统计："
echo "  总尝试次数: $(grep "$today" /var/log/secure | wc -l)"
echo "  成功登录: $success_count"
echo "  失败登录: $fail_count"

进阶：使用awk单次遍历完成分类统计 上面的方法需要多次grep文件，对于大文件效率不高。awk可以一次遍历完成所有分类统计，更显优雅。

awk -v today="$(date '+%b %d')" '
$1$2 ~ today {
    total++
    if (/Accepted password/) success++
    if (/Failed password|authentication failure/) fail++
}
END {
    printf "今日登录分析报告：\n"
    printf "  日志行总数：%d\n", total
    printf "  成功登录：%d\n", success
    printf "  失败登录：%d\n", fail
    printf "  失败率：%.2f%%\n", (fail/total)*100
}' /var/log/secure

注意：$1$2 ~ today这个条件利用了awk的字段变量拼接，匹配“月份+日期”格式。END块在所有行处理完毕后执行，非常适合做汇总报告。

2.2 场景二：定位并列出所有失败的登录尝试及其来源IP

当失败次数异常增多时，我们需要立即知道攻击（或用户错误）来自哪里。

基础命令：提取失败记录和IP

grep "Failed password" /var/log/secure

这个输出很冗长。我们通常只关心时间、用户名（或invalid user）、以及最重要的——来源IP地址。

精炼命令：使用awk精准提取关键字段 假设日志格式为... Failed password for (invalid user )?USER from IP port ...。

awk '/Failed password/ {
    # 提取IP地址：通常位于“from”之后，“port”之前
    for (i=1; i<=NF; i++) {
        if ($i == "from") {
            ip = $(i+1)
            break
        }
    }
    # 提取用户名：位于“for”之后，“from”之前
    for (i=1; i<=NF; i++) {
        if ($i == "for") {
            # 下一个字段可能是“invalid”，再下一个才是用户名
            if ($(i+1) == "invalid" && $(i+2) == "user") {
                user = $(i+3)
            } else {
                user = $(i+1)
            }
            break
        }
    }
    # 打印格式化结果：时间、用户、IP
    printf "[%s %s] 失败用户: %-15s 来源IP: %s\n", $1, $2, user, ip
}' /var/log/secure

生成攻击源IP排名： 知道IP后，下一步就是找出最活跃的攻击源。

awk '/Failed password/ {
    for (i=1; i<=NF; i++) if ($i == "from") { ip[$(i+1)]++; break }
}
END {
    print "失败登录尝试来源IP排名："
    for (i in ip) printf "  %-15s: %d 次\n", i, ip[i]
}' /var/log/secure | sort -k2 -nr

这个脚本使用关联数组ip来计数，最后按次数降序排列，一眼就能看出哪个IP最“执着”。

2.3 场景三：揪出“无效用户”攻击，这是暴力破解的明显标志

攻击者常常使用常见的用户名列表（如admin, root, test, oracle等）进行撞库。/var/log/secure中invalid user关键字是识别此类行为的关键。

提取所有无效用户尝试记录：

grep "invalid user" /var/log/secure

分析攻击者使用了哪些用户名列表：

awk '/invalid user/ {
    for (i=1; i<=NF; i++) {
        if ($i == "user" && $(i-1) == "invalid") {
            invalid_users[$(i+1)]++
            break
        }
    }
}
END {
    print "被尝试的无效用户名列表及次数："
    for (user in invalid_users) {
        printf "  %-20s: %d\n", user, invalid_users[user]
    }
}' /var/log/secure | sort -k2 -nr

关联IP与无效用户： 更进一步，我们可以看同一个IP尝试了哪些不同的无效用户，这能更清晰地描绘攻击模式。

awk '/invalid user/ {
    for (i=1; i<=NF; i++) {
        if ($i == "from") ip = $(i+1)
        if ($i == "user" && $(i-1) == "invalid") user = $(i+1)
    }
    # 以IP为键，值为一个字符串，累积该IP尝试过的用户名
    attempts[ip] = attempts[ip] " " user
}
END {
    for (ip in attempts) {
        # 使用awk的split和数组去重（简易版）
        split(attempts[ip], arr, " ")
        delete seen
        unique_count = 0
        for (u in arr) if (arr[u] && !seen[arr[u]]++) unique_count++
        if (unique_count > 3) { # 假设一个IP尝试超过3个不同无效用户即为可疑
            printf "可疑IP: %s，尝试了 %d 个不同无效用户\n", ip, unique_count
            # 可以进一步打印用户列表
            # print "  用户列表:", attempts[ip]
        }
    }
}' /var/log/secure

2.4 场景四：监控密码过期事件，主动管理用户账户

expired password日志通常意味着用户密码已过期，导致登录失败。及时发现并处理，可以避免用户访问中断。

查找密码过期记录：

grep "expired password" /var/log/secure

提取过期用户及时间：

awk '/expired password/ {
    # 假设日志格式：... password for USER expired ...
    for (i=1; i<=NF; i++) {
        if ($i == "for") {
            user = $(i+1)
            break
        }
    }
    printf "警报：用户 %s 密码于 %s %s 过期。\n", user, $1, $2
}' /var/log/secure

自动化处理思路： 对于运维来说，仅仅查看不够，最好能自动触发处理流程。我们可以将上述命令封装进一个脚本，定期运行（如通过cron），并通过邮件或即时通讯工具发送通知。

#!/bin/bash
# check_expired_passwords.sh

LOG_FILE="/var/log/secure"
REPORT=""
REPORT=$(awk '/expired password/ {
    for (i=1; i<=NF; i++) if ($i == "for") { user[$(i+1)]++; break }
}
END {
    for (u in user) {
        printf "用户 %s 密码已过期（今日发现%d次登录失败）。\n", u, user[u]
    }
}' $LOG_FILE)

if [ -n "$REPORT" ]; then
    echo "$REPORT" | mail -s "服务器密码过期用户告警 $(date)" admin@yourdomain.com
    # 或者调用Webhook发送到Slack/钉钉等
    # curl -X POST -H "Content-Type: application/json" -d "{\"text\":\"$REPORT\"}" YOUR_WEBHOOK_URL
fi

2.5 场景五：分析“连接被认证关闭”的深层原因

connection closed by authentic或Connection closed by authenticating user这类信息比简单的Failed password更值得深究。它可能意味着认证过程在某个阶段被主动终止，原因可能包括：用户取消、超时、或者更重要的——PAM（可插拔认证模块）的复杂策略干预，如访问时间限制、强制修改密码、或二次认证失败。

筛选相关日志：

grep "connection closed by authentic" /var/log/secure

结合上下文分析： 单独看这一行可能信息不足。通常，这类日志前后会有相关的PAM模块日志。我们可以用sed提取包含该关键词的日志及其前后若干行，以获得更完整的上下文。

# 使用grep的上下文查看功能
grep -B2 -A2 "connection closed by authentic" /var/log/secure

# 或者使用sed，打印匹配行及其前后2行
sed -n '/connection closed by authentic/{x;H;x;N;N;N;p;}' /var/log/secure | head -20

注意：sed的H;x;N;N;N;p是一种模式空间保持技巧，用于打印匹配行及其上下文。对于新手，grep -B -A选项更直观易懂。

关联PAM审计日志： 有时，根本原因记录在/var/log/audit/audit.log中。一个更全面的检查思路是，当在secure日志中发现此类关闭事件时，根据时间戳去审计日志中寻找更详细的PAM决策记录。这需要用到更复杂的时间匹配，但思路是相通的：将多个日志源通过时间戳关联起来，是高级故障排查的关键。

2.6 场景六：识别短时间内的高频失败攻击（暴力破解检测）

这是安全分析的核心场景。我们需要找出那些在极短时间内（如1分钟、5分钟）发起大量失败登录尝试的IP地址。

思路：我们需要按时间窗口（比如每分钟）对失败日志进行聚合统计。这需要解析日志的时间戳，并将其转换为可计算的时间格式（如Unix时间戳）。

生成按分钟统计的失败尝试： 以下脚本将日志时间转换为“年月日-时:分”的格式进行分组计数。

awk '/Failed password/ {
    # 组合时间字段：假设$1为月，$2为日，$3为时:分:秒
    # 提取“时:分”
    split($3, time_arr, ":")
    hour_min = time_arr[1] ":" time_arr[2]
    # 构建时间键，例如 "May10-14:23"
    time_key = $1 $2 "-" hour_min

    # 提取IP
    for (i=1; i<=NF; i++) if ($i == "from") { ip = $(i+1); break }

    # 以“时间键+IP”作为复合键进行计数
    count[time_key, ip]++
}
END {
    print "时间窗口(分)        IP地址            失败次数"
    print "------------------------------------------------"
    for (key in count) {
        # 拆分复合键
        split(key, sep, SUBSEP) # SUBSEP是数组合键的内部分隔符
        time_k = sep[1]
        ip_k = sep[2]
        printf "%-15s   %-15s   %d\n", time_k, ip_k, count[key]
    }
}' /var/log/secure | sort

进阶：检测“N分钟内失败M次”的IP 上面的输出还需要人工判断。我们可以让脚本自动标记出在连续时间窗口内累计失败次数超过阈值的IP。这需要更复杂的状态保持逻辑，但原理是遍历按时间排序的日志，为每个IP维护一个时间队列。

# 这是一个简化示例，假设日志已按时间排序（通常默认就是）
awk '/Failed password/ {
    for (i=1; i<=NF; i++) if ($i == "from") { ip = $(i+1); break }
    # 将时间转换为自纪元以来的分钟数（简化处理，仅作演示逻辑）
    # 实际应用中，你需要更精确的时间解析（如`date -d`命令或mktime函数）
    # 这里用行号模拟时间顺序
    minute = int(NR/10) # 假设每10行代表1分钟时间窗口

    # 为每个IP维护一个队列（用数组模拟），记录其最近几次失败的时间窗口
    # 如果队列长度超过阈值，且所有时间窗口都在最近N分钟内，则报警
    # ... (具体实现略复杂，涉及数组的数组或字符串拼接管理)
    # 伪代码逻辑：
    # if (ip in attempts) { append minute to attempts[ip] }
    # else { attempts[ip] = minute }
    # if (count_recent_attempts(attempts[ip], minute, 5) > 10) {
    #     print "警报：IP", ip, "在5个时间窗口内失败超过10次"
    #     # 可选：触发防火墙规则，如 `iptables -A INPUT -s $ip -j DROP`
    # }
}' /var/log/secure

对于生产环境，更推荐使用专业的入侵检测系统（如Fail2ban）或日志分析工具（如Logwatch, OSSEC）来实现此功能，它们内置了更健壮的算法和响应机制。

2.7 场景七：追踪特定用户的完整登录活动轨迹

当需要审计某个特定用户（例如appuser或root）的活动时，我们需要从日志中拼凑出他的完整故事线：何时尝试登录、成功与否、从哪里登录、是否切换过用户（su/sudo）等。

收集与特定用户相关的所有认证日志：

USER="appuser"
grep -E "(for $USER|user=$USER)" /var/log/secure

-E启用扩展正则表达式，|表示“或”，匹配日志中包含“for appuser”或“user=appuser”的行。

使用awk进行更清晰的格式化输出：

awk -v target_user="appuser" '
($0 ~ "for " target_user " from") || ($0 ~ "user=" target_user) {
    # 提取关键信息
    time = $1 " " $2 " " $3
    event = "未知"
    ip = "N/A"

    if (/Accepted password/) event = "成功登录"
    else if (/Failed password/) event = "失败登录"
    else if (/session opened/) event = "会话开启"
    else if (/session closed/) event = "会话关闭"
    else if (/sudo/) event = "sudo提权"
    else if (/su:/) event = "用户切换"

    for (i=1; i<=NF; i++) {
        if ($i == "from") ip = $(i+1)
    }

    printf "%-20s | %-12s | %-15s | %s\n", time, event, ip, $0
}' /var/log/secure

这个脚本为每一行相关日志打上事件标签，并提取时间和IP，以表格形式输出，使得用户的活动脉络一目了然。

2.8 场景八：构建自定义的简易安全日报

将以上多个场景的分析结果整合，自动生成一份每日安全摘要报告，是运维自动化的完美体现。

一个简单的日报脚本框架：

#!/bin/bash
# security_daily_report.sh

LOG_FILE="/var/log/secure"
YESTERDAY=$(date -d "yesterday" '+%b %d')
REPORT_FILE="/tmp/security_report_$(date +%Y%m%d).txt"

{
    echo "========== 每日安全日志分析报告 ($(date +%Y-%m-%d)) =========="
    echo ""

    echo "1. 登录活动总览："
    awk -v day="$YESTERDAY" '
    $1$2 ~ day {
        total++
        if (/Accepted password/) success++
        if (/Failed password/) fail++
        if (/invalid user/) invalid++
    }
    END {
        printf "   总认证事件：%d\n", total
        printf "   成功登录：%d\n", success
        printf "   失败登录：%d (其中无效用户尝试：%d)\n", fail, invalid
        if (total>0) printf "   失败率：%.1f%%\n", (fail/total)*100
    }' $LOG_FILE

    echo ""
    echo "2. 失败登录TOP 5来源IP："
    awk -v day="$YESTERDAY" '$1$2 ~ day && /Failed password/ {
        for (i=1; i<=NF; i++) if ($i == "from") { ip[$(i+1)]++; break }
    }
    END {
        count = 0
        for (i in ip) {
            printf "%d %s\n", ip[i], i
        }
    }' $LOG_FILE | sort -rn | head -5 | while read count ip; do
        echo "   $ip: $count 次"
    done

    echo ""
    echo "3. 昨日被尝试的无效用户名（TOP 10）："
    awk -v day="$YESTERDAY" '$1$2 ~ day && /invalid user/ {
        for (i=1; i<=NF; i++) {
            if ($i == "user" && $(i-1) == "invalid") {
                invalid_users[$(i+1)]++
                break
            }
        }
    }
    END {
        for (user in invalid_users) {
            printf "%d %s\n", invalid_users[user], user
        }
    }' $LOG_FILE | sort -rn | head -10 | while read count user; do
        echo "   $user: $count 次"
    done

    echo ""
    echo "4. 密码过期事件："
    grep "$YESTERDAY.*expired password" $LOG_FILE | awk '{
        for (i=1; i<=NF; i++) if ($i == "for") {printf "   用户 %s 密码过期\n", $(i+1); break}
    }' | sort -u

    echo ""
    echo "========== 报告结束 =========="
} > $REPORT_FILE

# 将报告发送出去
cat $REPORT_FILE | mail -s "服务器安全日报 $(date +%Y-%m-%d)" admin@yourdomain.com
echo "日报已生成并发送：$REPORT_FILE"

这个脚本只是一个起点。你可以根据需要，增加更多分析维度，如成功登录的源IP分布、异常时间登录检测、与前一天数据的对比等，使其越来越强大。

3. 超越基础：构建可复用的分析函数与脚本库

当你在多个服务器或不同项目中反复使用这些命令时，将其封装成可复用的Shell函数或脚本库，能极大提升效率。

创建个人日志分析函数库（例如保存在~/.bash_log_helpers）：

# 在 ~/.bash_log_helpers 文件中定义函数
#!/bin/bash

# 函数：统计某日登录情况
login_stats() {
    local day=${1:-$(date '+%b %d')}
    local log_file=${2:-/var/log/secure}
    echo "=== 登录统计 ($day) ==="
    awk -v d="$day" '
    $1$2 ~ d {
        total++
        if (/Accepted password/) success++
        if (/Failed password/) fail++
        if (/invalid user/) invalid++
    }
    END {
        printf "总事件: %d\n", total
        printf "成功: %d\n", success
        printf "失败: %d (含无效用户: %d)\n", fail, invalid
        if (total>0) printf "失败率: %.2f%%\n", (fail/total)*100
    }' "$log_file"
}

# 函数：提取失败登录的IP排名
failed_ip_ranking() {
    local log_file=${1:-/var/log/secure}
    echo "=== 失败登录IP排名 ==="
    awk '/Failed password/ {
        for (i=1; i<=NF; i++) if ($i == "from") { ip[$(i+1)]++; break }
    }
    END {
        for (i in ip) printf "%d\t%s\n", ip[i], i
    }' "$log_file" | sort -rn | head -20
}

# 函数：追踪特定用户活动
trace_user() {
    local user=$1
    local log_file=${2:-/var/log/secure}
    if [ -z "$user" ]; then
        echo "用法: trace_user <用户名> [日志文件]"
        return 1
    fi
    echo "=== 用户 '$user' 活动追踪 ==="
    awk -v u="$user" '
    ($0 ~ "for " u " from") || ($0 ~ "user=" u) {
        printf "[%s %s] ", $1, $2
        if (/Accepted/) printf "✅ 成功登录"
        else if (/Failed/) printf "❌ 登录失败"
        else if (/opened/) printf "🔓 会话开始"
        else if (/closed/) printf "🔒 会话结束"
        else printf "📝 其他事件"
        for (i=1; i<=NF; i++) if ($i == "from") printf " from %s", $(i+1)
        printf "\n"
    }' "$log_file"
}

然后在你的~/.bashrc或~/.bash_profile中引入这个库：

if [ -f ~/.bash_log_helpers ]; then
    . ~/.bash_log_helpers
fi

现在，在终端中你可以直接使用：

login_stats "May 10"
failed_ip_ranking
trace_user appuser

4. 性能考量与处理海量日志的技巧

当日志文件非常大（例如几个GB）时，简单的grep或awk全文件扫描可能会很慢。这时需要一些技巧：

1. 按时间范围过滤：这是最有效的优化。先使用grep或sed提取特定时间段的日志到一个小文件，再进行分析。

   # 提取5月10日的所有日志
   sed -n '/^May 10 [0-9][0-9]:[0-9][0-9]:[0-9][0-9]/, /^May 11 [0-9][0-9]:[0-9][0-9]:[0-9][0-9]/p' /var/log/secure | head -n -1 > may10.log
   # 然后对 may10.log 进行分析
   

2. 使用更快的工具：对于简单的模式匹配，grep通常比awk快。对于复杂的多步处理，awk的单次遍历特性又比多次调用grep、cut、sort的管道组合更高效。在性能临界点，可以考虑使用ripgrep (rg)或LC_ALL=C的环境变量来加速grep。

3. 并行处理：如果分析任务可以分片（例如按小时分片），可以使用GNU parallel或xargs -P进行并行处理，最后合并结果。

4. 建立索引或使用日志管理系统：对于长期、持续的分析需求，最终解决方案是引入专业的日志管理栈，如ELK（Elasticsearch, Logstash, Kibana）或Grafana Loki。它们能对日志建立索引，实现秒级的复杂查询和可视化。

最后，记住所有这些都是工具和手段。真正的安全运维，在于养成定期查看和分析日志的习惯，建立对系统正常行为的“基线”感知，如此才能在异常出现时，凭借这些命令行利器，迅速定位问题，守护系统安全。我自己的习惯是，每天早上的第一杯咖啡时间，就是运行一遍自定义的安全日报脚本，这让我对服务器的状态始终心中有数。