PHP超低内存遍历目录文件和读取超大文件
Published on 2周前 in PHP with 0 comment And 7679 views

PHP超低内存遍历目录文件和读取超大文件

in PHP with 0 comment And 7679 views

这不是一篇教程,这是一篇笔记,所以我不会很系统地论述原理和实现,只简单说明和举例。

前言

我写这篇笔记的原因是现在网络上关于 PHP 遍历目录文件和 PHP 读取文本文件的教程和示例代码都是极其低效的,低效就算了,有的甚至好意思说是高效,实在辣眼睛。

这篇笔记主要解决这么几个问题:

PHP 如何使用超低内存快速遍历数以万计的目录文件?

PHP 如何使用超低内存快速读取几百MB甚至是GB级文件?

顺便解决哪天我忘了可以通过搜索引擎搜到我自己写的笔记来看看。(因为需要 PHP 写这两个功能的情况真的很少,我记性不好,免得忘了又重走一遍弯路)

遍历目录文件

网上关于这个方法的实现大多示例代码是 glob 或者 opendir + readdir 组合,在目录文件不多的情况下是没问题的,但文件一多就有问题了(这里是指封装成函数统一返回一个数组的时候),过大的数组会要求使用超大内存,不仅导致速度慢,而且内存不足的时候直接就崩溃了。

这时候正确的实现方法是使用 yield 关键字返回,下面是我最近使用的代码:

<?php

function glob2foreach($path, $include_dirs=false) {
    $path = rtrim($path, '/*');
    if (is_readable($path)) {
        $dh = opendir($path);
        while (($file = readdir($dh)) !== false) {
            if (substr($file, 0, 1) == '.')
                continue;
            $rfile = "{$path}/{$file}";
            if (is_dir($rfile)) {
                $sub = glob2foreach($rfile, $include_dirs);
                while ($sub->valid()) {
                    yield $sub->current();
                    $sub->next();
                }
                if ($include_dirs)
                    yield $rfile;
            } else {
                yield $rfile;
            }
        }
        closedir($dh);
    }
}

// 使用
$glob = glob2foreach('/var/www');
while ($glob->valid()) {

    // 当前文件
    $filename = $glob->current();

    // 这个就是包括路径在内的完整文件名了
    // echo $filename;

    // 指向下一个,不能少
    $glob->next();
}

yield 返回的是生成器对象(不了解的可以先去了解一下 PHP 生成器),并没有立即生成数组,所以目录下文件再多也不会出现巨无霸数组的情况,内存消耗是低到可以忽略不计的几十 kb 级别,时间消耗也几乎只有循环消耗。

读取文本文件

读取文本文件的情况跟遍历目录文件其实类似,网上教程基本上都是使用 file_get_contents 读到内存里或者 fopen + feof + fgetc 组合即读即用,处理小文件的时候没问题,但是处理大文件就有内存不足等问题了,用 file_get_contents 去读几百MB的文件几乎就是自杀。

这个问题的正确处理方法同样和 yield 关键字有关,通过 yield 逐行处理,或者 SplFileObject 从指定位置读取。

逐行读取整个文件:

<?php
function read_file($path) {
    if ($handle = fopen($path, 'r')) {
        while (! feof($handle)) {
            yield trim(fgets($handle));
        }
        fclose($handle);
    }
}
// 使用
$glob = read_file('/var/www/hello.txt');
while ($glob->valid()) {

    // 当前行文本
    $line = $glob->current();

    // 逐行处理数据
    // $line

    // 指向下一个,不能少
    $glob->next();
}

通过 yield 逐行读取文件,具体使用多少内存取决于每一行的数据量有多大,如果是每行只有几百字节的日志文件,即使这个文件超过100M,占用内存也只是KB级别。

但很多时候我们并不需要一次性读完整个文件,比如当我们想分页读取一个1G大小的日志文件的时候,可能想第一页读取前面1000行,第二页读取第1000行到2000行,这时候就不能用上面的方法了,因为那方法虽然占用内存低,但是数以万计的循环是需要消耗时间的。

这时候,就改用 SplFileObject 处理,SplFileObject 可以从指定行数开始读取。下面例子是写入数组返回,可以根据自己业务决定要不要写入数组,我懒得改了。

<?php

function read_file2arr($path, $count, $offset=0) {

    $arr = array();
    if (! is_readable($path))
        return $arr;

    $fp = new SplFileObject($path, 'r');

    // 定位到指定的行数开始读
    if ($offset)
        $fp->seek($offset);

    $i = 0;

    while (! $fp->eof()) {

        // 必须放在开头
        $i++;

        // 只读 $count 这么多行
        if ($i > $count)
            break;

        $line = $fp->current();
        $line = trim($line);

        $arr[] = $line;

        // 指向下一个,不能少
        $fp->next();
    }

    return $arr;
}

以上所说的都是文件巨大但是每一行数据量都很小的情况,有时候情况不是这样,有时候是一行数据也有上百MB,那这该怎么处理呢?

如果是这种情况,那就要看具体业务了,SplFileObject 是可以通过 fseek 定位到字符位置(注意,跟 seek 定位到行数不一样),然后通过 fread 读取指定长度的字符。

也就是说通过 fseek 和 fread 是可以实现分段读取一个超长字符串的,也就是可以实现超低内存处理,但是具体要怎么做还是得看具体业务要求允许你怎么做。

复制大文件

顺便说下 PHP 复制文件,复制小文件用 copy 函数是没问题的,复制大文件的话还是用数据流好,例子如下:

<?php

function copy_file($path, $to_file) {

    if (! is_readable($path))
        return false;

    if(! is_dir(dirname($to_file)))
        @mkdir(dirname($to_file).'/', 0747, TRUE);

    if (
        ($handle1 = fopen($path, 'r'))
        && ($handle2 = fopen($to_file, 'w'))
    ) {

        stream_copy_to_stream($handle1, $handle2);

        fclose($handle1);
        fclose($handle2);
    }
}

最后

我这只说结论,没有展示测试数据,可能难以服众,如果你持怀疑态度想求证,可以用 memory_get_peak_usage 和 microtime 去测一下代码的占用内存和运行时间。

补充:踩坑和修改大文件

这篇笔记是我昨晚睡不着无聊突然想起来就随手写的,今天起来又看了一下,发现有一个巨坑没提到,虽说不计划写成教程,但是这个巨坑必须提一下。

前面生成器对象循环代码块里最后都有一个 $glob->next(); 代码,意思是指向下一项,这个至关重要,因为如果没有了它,下一次循环获取到的还是这次的结果。

举个例子:

有个文本文件里面有三行文本,分别是 111111、222222、333333 ,当我们用以下代码读取的时候,while 会循环三次,每次 $line 分别对应 111111、222222、333333 。

<?php
// 使用
$glob = read_file('/var/www/hello.txt');
while ($glob->valid()) {

    // 当前行文本
    $line = $glob->current();

    // 逐行处理数据
    // $line

    // 指向下一个,不能少
    $glob->next();
}

但是,如果没有 $glob->next(); 这一行,就会导致 $line 始终是读到第一行 111111 ,会导致死循环或者读取到的不是预期的数据。

看到这里你可能会觉得这是废话,不,不是,理论上不容易出现这个错误,但是在实际的编程中我们可能会使用 continue 跳到下次循环,如果你写着写着不记得了,在 $glob->next(); 前面使用 continue 跳到下次循环,就会导致下次循环的 $line 依然是这次的值,导致异常甚至死循环。

要解决这个问题,除了保持编码警惕性,也可以修改下 $glob->next(); 的位置。

<?php

// 使用
$glob = read_file('/var/www/hello.txt');
while ($glob->valid()) {

    // 当前项
    $line = $glob->current();

    // 指向下一个,不能少
    $glob->next();

    // 注意,这时已经指向下一项
    // 再使用 $glob->current() 获取到的就不是 $line 的值了,而是下一项的值了

    // 在这后面你就可以放心使用 continue 了
    // 但是别忘了读取当前项只能通过 $line 了

    // 逐行处理数据
}

这个坑我是踩过的,无意间使用 continue 导致读取数据不对。其实出现这种错误导致死循环程序崩溃是好事,立即排查能排查出结果,最可怕的是只读错数据,让人一时半会儿察觉不到。

另外,补充一下修改大文件的要点。

要读大文件往往会涉及到修改它,如果是从中摘取数据或者大幅度修改,我们可以使用 fopen + fwrite 组合配合生成器对象逐行处理数据之后逐行写入,这样效率也是高的,尽量避免存到变量里再集中写入以免占用内存爆炸。

<?php

$handle = fopen('/var/www/newhello.txt', 'w');
$glob = read_file('/var/www/hello.txt');
while ($glob->valid()) {

    // 当前行文本
    $line = $glob->current();

    // 逐行处理数据
    // 将处理过的写入新文件
    fwrite($handle, $line . "\n");

    // 指向下一个,不能少
    $glob->next();
}
fclose($handle);

如果是修改大文件里的小细节,这个我还没做过,不过据我了解好像是通过 Stream Functions 的 filter 实现效率比较高。

Responses