PHP处理百万行日志，内存占用保持恒定

背景：从日志分析器到自研方案

很多产品需要回答关于客户网站的具体问题：哪个爬虫在什么时候抓取了哪个URL，返回了什么状态码。这不是简单的“昨天有多少次点击”，而是这些维度的交叉组合。

团队最初使用了GoAccess，一个优秀的日志分析工具，但最终放弃了。原因在于GoAccess生成的是包含面板的report.json，比如热门URL、用户代理、状态码分布等。这种聚合结果无法回答上述细粒度问题。

日志文件动辄数百万行，如果一次性加载到内存，PHP进程会很快耗尽内存。传统做法是使用生成器或逐行读取，但即使如此，如果将所有数据保存在数组中进行处理，内存占用依然会随着数据量增长而线性增加。

文章提出的方案是：以常量内存处理任意数量的日志行。这意味着无论日志是1万行还是1000万行，内存占用都保持在一个固定水平。

关键思路是：不把所有日志行保存在内存中，而是逐行读取，每行解析后立即写入数据库。这样内存中始终只有当前正在处理的一行数据。

具体步骤可能包括：

文章提到使用了Laravel 13、Horizon和PostgreSQL 18，说明这是一个基于Laravel的现代PHP应用，Horizon用于队列处理，PostgreSQL作为数据库。批量插入可以借助PostgreSQL的COPY命令或INSERT多值语法。

对于PHP开发者来说，处理大文件一直是个痛点。很多解决方案依赖外部工具（如GoAccess）或提高内存限制，但这种方法提供了一种纯PHP的、可扩展的解决方案。它不仅能处理日志，也适用于任何需要逐行处理大文件的场景，比如CSV导入、数据迁移等。

此外，常量内存意味着应用可以在低配服务器上运行，无需为处理大文件而增加硬件成本。

文章中的产品需要回答“哪个爬虫在何时抓取了哪个URL，返回什么状态码”，这种查询需要原始日志数据，而不是聚合报告。通过将日志逐行存入数据库，就可以用SQL查询来回答这类问题，同时保持内存占用稳定。

这种方法也适用于需要长期保留日志并支持复杂查询的场景，比如安全审计、用户行为分析等。

通过流式读取和数据库批量插入，PHP可以处理数百万行日志而内存占用恒定。这为PHP开发者提供了一种高效、可扩展的大文件处理方案，值得在实际项目中尝试。