在ThinkPHP6中使用QueryList

随着互联网技术的不断发展，数据爬虫已经成为了人们获取信息的重要方式之一。在php的框架中，thinkphp6不仅提供了强大的数据操作功能，还为我们提供了一种名为querylist的数据抓取库来帮助我们更方便地获取数据。

QueryList是一个基于流式链式操作的PHP数据采集与处理类库，可以从HTML、XML、JSON、TXT等各种类型的文本中提取数据。本文将主要介绍在ThinkPHP6中如何使用QueryList来实现数据的抓取和处理。

1. 安装QueryList

首先，我们需要在我们的ThinkPHP6应用中安装QueryList。可以通过以下命令来使用Composer进行安装：

composer require jaeger/querylist

安装完成后，我们需要在应用的config目录下创建一个querylist.php配置文件，内容如下：

 [
'type' => 'php',
'host' => '',
'login' => '',
'password' => '',
'database' => '',
'prefix' => '',
'charset' => 'utf8',
'deploy' => 0,
'rw_separate' => false,
'master_num' => 1,
'slave_no' => '',
'fields_fix'=>"fl_",
'debug' => true,
'logfile' => 'QueryList.log',
],
];

这个配置文件是QueryList的默认配置，配置文件中的各个参数的含义和用法可以在QueryList的官方文档中查看。

2. 使用QueryList进行数据抓取

QueryList提供了一系列的链式操作方法来帮助我们获取和处理数据，这些方法包含了查找、筛选、提取和转换等一系列常见的数据操作。

以下是一个简单的例子，我们将使用QueryList来抓取百度首页的数据，并输出标题和链接。

use QLQueryList;
$html = file_get_contents('https://www.baidu.com');
$rules = [
'title' => ['title', 'text'],
'link' => ['a', 'href']
];
$data = QueryList::html($html)->rules($rules)->query()->getData();
print_r($data->all());

以上代码片段中，我们首先使用PHP自带的file_get_contents函数获取了百度首页的源代码，然后定义了一个规则数组$rules，表示我们需要抓取的数据的类型和位置。在这个例子中，我们需要提取出网页中所有的标题和链接。

在定义好规则之后，我们将HTML文本转化成查询对象，并将规则应用到查询对象中，最后通过getData方法获取到数据。使用print_r方法来输出获取到的所有数据，我们可以看到输出的结果如下：

Array
(
[0] => Array
(
[title] => 百度一下，你就知道
[link] => https://www.baidu.com/s?tn=site888_2_pg&ch=12&usm=0&rsv_pq=c41e6776001f4675&rsv_t=18fbRjBF2q5prQVFnv46BpnHtLGviB4KLud38LaBjYeT%2BRvj1zHqh7ksOBo&rqlang=cn&rsv_dl=0&rs=1&inputT=2696&rsv_sug3=15&rsv_sug1=12&rsv_sug7=100&sug=0&prefixsug=0&rsp=0&inputT=2890&rsv_sug4=3114
)
[1] => Array
(
[title] => 新闻
[link] => https://www.baidu.com/s?cl=2&tn=site888_2_pg&ch=11&usm=0&rsv_pq=c41e6776001f4675&rsv_t=18fbRjBF2q5prQVFnv46BpnHtLGviB4KLud38LaBjYeT%2BRvj1zHqh7ksOBo&rqlang=cn&rsv_dl=0&rs=1&inputT=2696&rsv_sug3=19&rsv_sug1=17&rsv_sug7=101&sug=0&prefixsug=news&rsp=0&inputT=2890&rsv_sug4=4085
)
[2] => Array
(
[title] => hao123_上网从这里开始
[link] => https://www.baidu.com/s?cl=3&tn=site888_2_pg&ch=6&usm=0&rsv_pq=c41e6776001f4675&rsv_t=18fbRjBF2q5prQVFnv46BpnHtLGviB4KLud38LaBjYeT%2BRvj1zHqh7ksOBo&rqlang=cn&rsv_dl=0&rs=1&inputT=2696&rsv_sug3=25&rsv_sug1=23&rsv_sug7=100&sug=0&prefixsug=hao123&rsp=0&inputT=2890&rsv_sug4=5329
)
[3] => Array
(
[title] => 地图
[link] => https://www.baidu.com/s?cl=4&tn=site888_2_pg&ch=1&usm=0&rsv_pq=c41e6776001f4675&rsv_t=18fbRjBF2q5prQVFnv46BpnHtLGviB4KLud38LaBjYeT%2BRvj1zHqh7ksOBo&rqlang=cn&rsv_dl=0&rs=1&inputT=2696&rsv_sug3=31&rsv_sug1=28&rsv_sug7=100&sug=0&prefixsug=map&rsp=0&inputT=2890&rsv_sug4=6166
)
[4] => Array
(
[title] => 视频
[link] => https://www.baidu.com/s?cl=5&tn=site888_2_pg&ch=8&usm=0&rsv_pq=c41e6776001f4675&rsv_t=18fbRjBF2q5prQVFnv46BpnHtLGviB4KLud38LaBjYeT%2BRvj1zHqh7ksOBo&rqlang=cn&rsv_dl=0&rs=1&inputT=2696&rsv_sug3=37&rsv_sug1=34&rsv_sug7=100&sug=0&prefixsug=video&rsp=0&inputT=2890&rsv_sug4=7407
)
[5] => Array
(
[title] => 贴吧
[link] => https://www.baidu.com/s?cl=6&tn=site888_2_pg&ch=7&usm=0&rsv_pq=c41e6776001f4675&rsv_t=18fbRjBF2q5prQVFnv46BpnHtLGviB4KLud38LaBjYeT%2BRvj1zHqh7ksOBo&rqlang=cn&rsv_dl=0&rs=1&inputT=2696&rsv_sug3=43&rsv_sug1=39&rsv_sug7=100&sug=0&prefixsug=tf&rsp=0&inputT=2890&rsv_sug4=8649
)
[6] => Array
(
[title] => 学术
[link] => https://www.baidu.com/s?cl=7&tn=site888_2_pg&ch=9&usm=0&rsv_pq=c41e6776001f4675&rsv_t=18fbRjBF2q5prQVFnv46BpnHtLGviB4KLud38LaBjYeT%2BRvj1zHqh7ksOBo&rqlang=cn&rsv_dl=0&rs=1&inputT=2696&rsv_sug3=49&rsv_sug1=45&rsv_sug7=100&sug=0&prefixsug=xueshu&rsp=0&inputT=2890&rsv_sug4=9890
)
[7] => Array
(
[title] => 登录
[link] => https://passport.baidu.com/v3/?reg&redirect=http%3A%2F%2Fwww.baidu.com%2F&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2F
)
)

可以看到，我们已经成功地提取出了页面中的标题和链接。通过简单的链式操作，我们就可以完成数据的抓取和处理。

3. 使用QueryList进行数据存储

在进行数据抓取和处理之后，我们有可能需要将获取的数据存储到数据库中，以便后续的使用。QueryList提供了一个方便的方法来将数据存储到数据库中，以下是一个简单的例子，我们将数据存储到MySQL数据库中。

use QLQueryList;
$rules = [
'title' => ['title', 'text'],
'link' => ['a', 'href']
];
$data = QueryList::get('https://www.baidu.com')->rules($rules)->query()->getData();
$db = new     hinkDb;
$affected = $db::table('test')->insertAll($data->all());
echo '添加成功' . $affected . '条数据';

首先，我们定义了之前的规则数组和获取数据的方法。在这个例子中，我们使用了QueryList的get方法来获取页面的数据。获取数据后，我们首先实例化了一个数据库操作类，然后使用insertAll方法将数据批量插入到数据库中。

执行上述代码之后，我们可以在MySQL数据库中看到新插入的数据。

综上所述，在ThinkPHP6中使用QueryList能够非常方便地完成数据的抓取和处理，并且也能够很方便地将抓取到的数据存储到数据库中。QueryList的链式操作方式也非常适合数据的处理和转换。

原文来自：www.php.cn