PHP使用PDO从mysql读取大量数据处理详解

前言

本文主要介绍了关于PHP利用PDO从mysql读取大量数据处理的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧。

环境

mysql: 5.6.34
php: 5.6
nginx: php-fpm

适用场景

需要处理一定数据集业务

从mysql读取一定数据的业务导出
一次需要处理一定的mysql业务操作更新删除等
更多需要处理一定数据集的操作

pdo 关键设置

$dbh = new \\PDO($dsn, $user, $pass);
# 关键设置，如果不设置，php依旧会从pdo一次取出数据到php
$dbh->setAttribute(\\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
//perpare里的游标属性不是必须的
$sth = $dbh->prepare(\"SELECT * FROM `order`\", array(\\PDO::ATTR_CURSOR => \\PDO::CURSOR_SCROLL));
$sth->execute();

生成器

生成器，迭代数据操作

本生成器可省略

尝试代码

class Test {
 public function test()
 {
  set_time_limit(0);
  $dbms=\'mysql\';  //数据库类型
  $host=C(\'DB_HOST\'); //数据库主机名
  $dbName=C(\'DB_NAME\'); //使用的数据库
  $user=C(\'DB_USER\');  //数据库连接用户名
  $pass=C(\'DB_PWD\');   //对应的密码
  $dsn=\"$dbms:host=$host;dbname=$dbName\";
  $dbh = new \\PDO($dsn, $user, $pass);
  $dbh->setAttribute(\\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
  $sth = $dbh->prepare(\"SELECT * FROM `order`\");
  $sth->execute();
  $i = 0;

  $newLine = PHP_SAPI == \'cli\' ? \"\\n\" : \'<br />\';

  foreach ($this->cursor($sth) as $row) {
//   var_dump($row);
   echo $row[\'id\'] . $newLine;
   $i++;
  }

  echo \"消耗内存：\" . (memory_get_usage() / 1024 / 1024) . \"M\" . $newLine;
  echo \"处理数据行数：\" . $i . $newLine;
  echo \"success\";
 }

 public function cursor($sth)
 {
  while($row = $sth->fetch(\\PDO::FETCH_ASSOC)) {
   yield $row;
  }
 }
}

$test = new Test();
$test->test();

输出

1
... //省略部分id
804288
消耗内存：\"0.34918212890625M
处理数据行数：254062
success

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对免费资源网的支持。