php怎样读取大文件

① php有规律大文件的读取与写入

这几天在做一个东西 研究PHP读取行数较多的文件(大概上百万行) 考虑到效率问题 进行了简单的研究 总结如下

第一条 file()函数的效率问题

file()函数的效率很底下 如果是有规律的文件 比如每行一条相应数据 那么尽量不要是用file()函数

可以使用file_get_contents()然后用explode切割 这样效率会快三分之一

举个例子:

文件样式如下:

n

n

n

n

n

n

nnnnnnnnnnnn

如果用file($file)读入的话 耗时很长

可以用如下方法explode("n" file_get_contents($file));效率会快很多

第二条 数组的遍历方式

数据已经被读入数组了 下面就是遍历了

我所需要的是确定数组中有无一个值的存在 比如大消说 是蠢仿如否在数组中 首先想到的是in_array()

不过实验了下发现效率很低下 于是参考别人的代码想到一个办法 把数组翻转过来 变成所有值都为 原来的值变成了索引 那么只要我在if里写($arr[索引]== )去判断带启 果然效率高出很多

在数组的遍历过程中 如果数组个头非常大 并且数组中的数据并不是全能用到的话 最好把用来遍历的数组抽出来 这样会提高很多效率

第三条 数组的存储

把计算过后的数据保存起来 存在一个文件中 考虑了三种方法 一种是直接写成php文件 一种是serialize 一种是json串

第一种方式

直接写入文件 保存成PHP

需要的时候直接require进来

第二种方式 把变量serialize然后file_put_contents()进入文件 使用的时候unserialize就ok

第三种方式和第二种类似 只不过写成了json串

② PHP实现在有限内存中的大文件读取

方法铅肢一：通过yield的生槐州世成器实现有限内存中的大迹源文件读取

方法二：使用SPL 库 提供的 SplFileObject 类

③ php 使用file_get_contents读取大文件的方法

当我们遇到文本文件体积很大时，比如超过几十M甚至几百M几G的大文件腊则，用记事本或者其它编辑器打开往往不能成功，因为他们都需要把文件内容全部放到内存里面，这时就会发生内存溢出而打开错误，遇到这种情况我们可以使用PHP的文件读取函数file_get_contents()进行分段读取。
函数说明
string
file_get_contents
(
string
$filename
[,
bool
$use_include_path
[,
resource
$context
[,
int
$offset
[,
int
$maxlen
]]]]
)
和
file()
一样，只除了
file_get_contents()
把文件读入一枣局举个字符串。将在参数
offset
所指定的位置开始读取长度为
maxlen
的内容。如果失败，file_get_contents()
将返回
FALSE。
file_get_contents()
函数是用来将文件的内容读入到一个字符串中的首选方法。如果操作系统支持还会使用内存映射技术来增强性能。
应用：凳碧
复制代码
代码如下:
$str
=
$content=file_get_contents("2.sql",FALSE,NULL,1024*1024,1024);
echo
$str;
如果针对较小文件只是希望分段读取并以此读完可以使用fread()函数
复制代码
代码如下:
$fp=fopen('2.sql','r');
while
(!feof($fp)){
$str.=fread($fp,
filesize
($filename)/10);//每次读出文件10分之1
//进行处理
}
echo
$str;