日志太多太乱？清洗是第一步
每天服务器跑着，应用不停地写日志，时间一长，几百兆甚至几个G的日志文件堆在一起。打开一看，除了正常的访问记录，还有各种调试信息、重复条目、乱码字符，甚至夹杂着开发人员留下的测试语句。这种“脏数据”直接拿去分析，结果往往偏差很大。这时候，就得靠日志清洗来把有用的信息挑出来。
什么是日志清洗
日志清洗不是真的拿水洗，而是对原始日志做预处理，去掉无用、错误或格式混乱的内容，统一结构，方便后续分析。比如一个Web服务器日志里，可能混着正常请求、404错误、爬虫扫描和健康检查的记录。通过清洗，可以把这些条目分类、过滤、标准化，变成整齐的数据行。
举个例子，某次发现系统响应变慢，想查是不是某个接口被频繁调用。但原始日志里夹杂着大量静态资源请求（比如.js、.css文件），如果不先清洗掉这些干扰项，根本看不出真实情况。
常见的清洗操作有哪些
实际操作中，清洗通常包括几类动作：过滤、提取、替换、归一化。比如用正则表达式提取IP地址、时间戳和请求路径，把不同格式的时间统一成标准ISO格式，把用户代理字符串里的浏览器信息解析出来。
像Nginx的access.log，每行一条记录，但字段之间用空格分隔，而URL里也可能带空格或特殊字符，直接按空格切分会出错。这时候就需要用更精确的模式匹配来解析。
^\S+ \S+ (?<ip>\S+) \[.*\] "(?<method>\S+) (?<path>[^ ]+) HTTP\/\d\.\d" \d+ \d+上面这段正则可以用来从Nginx日志中提取IP、请求方法和路径，跳过中间复杂的时间和协议部分，是清洗时常用的技巧。
工具怎么选
现在主流的日志分析系统，比如ELK（Elasticsearch + Logstash + Kibana）、Fluentd、Graylog，都内置了清洗能力。Logstash的filter插件支持grok、mutate、date等，能完成大部分清洗任务。Fluentd的配置更轻量，适合容器环境。如果你用的是云服务，阿里云SLS、腾讯云CLS也提供了可视化清洗规则配置。
举个场景：某公司用Logstash收集App日志，发现用户ID有时是数字，有时是带引号的字符串，导致统计出错。在Logstash里加一条mutate规则，强制转成字符串类型，问题就解决了。
日志清洗不是一次性的活儿。业务一变，日志格式可能跟着改，清洗规则也得同步调整。定期回头看清洗效果，才能保证分析结果靠谱。