织梦DedeCMS v5.7全文检索使用说明(sphinx) _dedecms_CMS教程_脚本之家

官方网站:http://www.sphinxsearch.com/SqB迪尔课堂自学网-|第二课堂|--(官网)
官方文档:http://www.sphinxsearch.com/docs/SqB迪尔课堂自学网-|第二课堂|--(官网)
中文支持:http://www.coreseek.cn/SqB迪尔课堂自学网-|第二课堂|--(官网)
中文使用手册下载:http://www.coreseek.cn/uploads/pdf/sphinx_doc_zhcn_0.9.pdfSqB迪尔课堂自学网-|第二课堂|--(官网)
中文在线手册:http://www.coreseek.cn/docs/coreseek_3.2-sphinx_0.9.9.htmlSqB迪尔课堂自学网-|第二课堂|--(官网)

1.Windows下安装SphinxSqB迪尔课堂自学网-|第二课堂|--(官网)
1.1.开始前的准备工作SqB迪尔课堂自学网-|第二课堂|--(官网)
先从http://www.coreseek.cn/products/ft_down/下载Coreseek 3.2.13,这里我们就以Windows环境为例:SqB迪尔课堂自学网-|第二课堂|--(官网)
下载后直接解压coreseek-3.2.13-win32.zip,我们这里假设解压到:D:/coreseek-3.2.13-win32.这里我们需要简单了解几个目录:SqB迪尔课堂自学网-|第二课堂|--(官网)

[D:/coreseek-3.2.13-win32/api]API接口目录,其中包括了php,python,ruby等操作实例,其中test_coreseek.php是一个不错的中文检索的例子.SqB迪尔课堂自学网-|第二课堂|--(官网)

[D:/****/bin]应用程序目录,其中包含以下几个文件SqB迪尔课堂自学网-|第二课堂|--(官网)
    * indexer: 用于创建全文索引;SqB迪尔课堂自学网-|第二课堂|--(官网)
    * search: 一个简单的命令行(CLI) 的测试程序,用于测试全文索引;SqB迪尔课堂自学网-|第二课堂|--(官网)
    * searchd: 一个守护进程,其他软件可以通过这个守护进程进行全文检索;SqB迪尔课堂自学网-|第二课堂|--(官网)
    * sphinxapi: 一系列searchd 的客户端API 库,用于流行的Web脚本开发语言(PHP, Python, Perl, Ruby, Java).SqB迪尔课堂自学网-|第二课堂|--(官网)
    * spelldump: 一个简单的命令行工具,用于从 ispell 或 MySpell (OpenOffice内置绑定) 格式的字典中提取词条。当使用 wordforms 时可用这些词条对索引进行定制.SqB迪尔课堂自学网-|第二课堂|--(官网)
    * indextool: 工具程序,用来转储关于索引的多项调试信息。 此工具是从版本Coreseek 3.1(Sphinx 0.9.9-rc2)开始加入的。SqB迪尔课堂自学网-|第二课堂|--(官网)
    * mmseg: 工具程序和库,Coreseek用于提供中文分词和词典处理。SqB迪尔课堂自学网-|第二课堂|--(官网)

[D:/****/etc]sphinx配置目录SqB迪尔课堂自学网-|第二课堂|--(官网)
[D:/****/var]sphinx变量&索引&日志存放目录SqB迪尔课堂自学网-|第二课堂|--(官网)

1.2.创建配置文件SqB迪尔课堂自学网-|第二课堂|--(官网)
由于DedeCms使用的是mysql,所以我们需要来配置一个mysql的sphinx模板配置,可以复制csft_mysql.conf改名为:csft_dedecmsv57.conf,例如我们这里仅做文章的全文检索,我们需要做如下配置:SqB迪尔课堂自学网-|第二课堂|--(官网)
先在DedeCMS中创建一个统计表,方法可以在DedeCMS后台[系统]->[SQL命令行工具]中执行下列代码:SqB迪尔课堂自学网-|第二课堂|--(官网)
CREATE TABLE `dede_sphinx` (SqB迪尔课堂自学网-|第二课堂|--(官网)
    `countid` int(11) unsigned NOT NULL,SqB迪尔课堂自学网-|第二课堂|--(官网)
    `maxaid` int(11) unsigned NOT NULL,SqB迪尔课堂自学网-|第二课堂|--(官网)
    PRIMARY KEY (`countid`)SqB迪尔课堂自学网-|第二课堂|--(官网)
) ENGINE=MyISAM DEFAULT CHARSET=gbkSqB迪尔课堂自学网-|第二课堂|--(官网)
这是一个sphinx内容统计表,为了适合数据量较大的情况下分批生成索引而使用的.SqB迪尔课堂自学网-|第二课堂|--(官网)
创建完数据表后,我们对sphinx的配置文件,即csft_dedecmsv57.conf修改,内容如下,其中包含注释:SqB迪尔课堂自学网-|第二课堂|--(官网)
--------------------------------------------------------------------------------------------SqB迪尔课堂自学网-|第二课堂|--(官网)

#源定义SqB迪尔课堂自学网-|第二课堂|--(官网)
source mysqlSqB迪尔课堂自学网-|第二课堂|--(官网)
{SqB迪尔课堂自学网-|第二课堂|--(官网)
    type                    = mysqlSqB迪尔课堂自学网-|第二课堂|--(官网)

    # 数据库服务器基本配置信息SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_host                = 192.168.0.103SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_user                = dedev57SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_pass                = dedecmsSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_db                  = dedecmsv57gbkSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_port                = 3306SqB迪尔课堂自学网-|第二课堂|--(官网)
    SqB迪尔课堂自学网-|第二课堂|--(官网)
    # 设定编码,这里我们是gbk编码,如果是utf-8,可以设置:SqB迪尔课堂自学网-|第二课堂|--(官网)
    # sql_query_pre            = SET NAMES utf8SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_query_pre            = SET NAMES gbkSqB迪尔课堂自学网-|第二课堂|--(官网)
    SqB迪尔课堂自学网-|第二课堂|--(官网)
    # 数据检索增量SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_range_step = 1000SqB迪尔课堂自学网-|第二课堂|--(官网)
    SqB迪尔课堂自学网-|第二课堂|--(官网)
    #当前最新文档id数SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_query_pre = REPLACE INTO dede_sphinx SELECT 1, MAX(id) FROM dede_archivesSqB迪尔课堂自学网-|第二课堂|--(官网)
    SqB迪尔课堂自学网-|第二课堂|--(官网)
    #检索条件SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_query               = SELECT ARC.id,ARC.typeid,ARC.typeid2,ARC.sortrank,ARC.flag,ARC.channel,ARC.ismake,ARC.arcrank,ARC.click,ARC.title,ARC.shorttitle,ARC.color,ARC.writer,ARC.source,ARC.litpic,ARC.pubdate,ARC.senddate,ARC.mtype,ARC.description,ARC.badpost,ARC.goodpost,ARC.scores,ARC.lastpost,ARC.keywords,ARC.mid,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id>=$start AND ARC.id<=$end #sql_query第一列id需为整数SqB迪尔课堂自学网-|第二课堂|--(官网)
    #title、body作为字符串/文本字段,被全文索引SqB迪尔课堂自学网-|第二课堂|--(官网)
    SqB迪尔课堂自学网-|第二课堂|--(官网)
    # 获取当前最大检索idSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_query_range  = SELECT 1,maxaid FROM dede_sphinx WHERE countid=1SqB迪尔课堂自学网-|第二课堂|--(官网)

                                            SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint             = typeid            #从SQL读取到的值必须为整数SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint            = typeid2SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint            = channelSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint            = clickSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint            = badpostSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint            = goodpostSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint            = scoresSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint            = midSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_timestamp  = pubdate    #从SQL读取到的值必须为整数,作为时间属性SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_timestamp  = senddateSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_timestamp  = lastpostSqB迪尔课堂自学网-|第二课堂|--(官网)

    #命令行查询时,从数据库读取原始数据信息SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_query_info            = SELECT ARC.*,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id=$id  SqB迪尔课堂自学网-|第二课堂|--(官网)
}SqB迪尔课堂自学网-|第二课堂|--(官网)

source deltaSqB迪尔课堂自学网-|第二课堂|--(官网)
{SqB迪尔课堂自学网-|第二课堂|--(官网)
    type                    = mysqlSqB迪尔课堂自学网-|第二课堂|--(官网)

    # 数据库服务器基本配置信息SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_host                = 192.168.0.103SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_user                = dedev57SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_pass                = dedecmsSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_db                  = dedecmsv57gbkSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_port                = 3306SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_query_pre            = SET NAMES gbkSqB迪尔课堂自学网-|第二课堂|--(官网)

    # 增量索引,从最大id开始SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_query = SELECT ARC.id,ARC.typeid,ARC.typeid2,ARC.sortrank,ARC.flag,ARC.channel,ARC.ismake,ARC.arcrank,ARC.click,ARC.title,ARC.shorttitle,ARC.color,ARC.writer,ARC.source,ARC.litpic,ARC.pubdate,ARC.senddate,ARC.mtype,ARC.description,ARC.badpost,ARC.goodpost,ARC.scores,ARC.lastpost,ARC.keywords,ARC.mid,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id > ( SELECT maxaid FROM dede_sphinx WHERE countid=1 )SqB迪尔课堂自学网-|第二课堂|--(官网)
    #从SQL读取到的值必须为整数SqB迪尔课堂自学网-|第二课堂|--(官网)
    SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_query_post = REPLACE INTO dede_sphinx SELECT 1, MAX(id) FROM dede_archivesSqB迪尔课堂自学网-|第二课堂|--(官网)
    SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint             = typeid            SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint            = typeid2SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint            = channelSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint            = clickSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint            = badpostSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint            = goodpostSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint            = scoresSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_uint            = midSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_timestamp  = pubdate    #从SQL读取到的值必须为整数,作为时间属性SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_timestamp  = senddateSqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_attr_timestamp  = lastpostSqB迪尔课堂自学网-|第二课堂|--(官网)

    #命令行查询时,从数据库读取原始数据信息SqB迪尔课堂自学网-|第二课堂|--(官网)
    sql_query_info            = SELECT ARC.*,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id=$id  SqB迪尔课堂自学网-|第二课堂|--(官网)
}SqB迪尔课堂自学网-|第二课堂|--(官网)

#index定义SqB迪尔课堂自学网-|第二课堂|--(官网)
index mysqlSqB迪尔课堂自学网-|第二课堂|--(官网)
{SqB迪尔课堂自学网-|第二课堂|--(官网)
    source            = mysql             #对应的source名称SqB迪尔课堂自学网-|第二课堂|--(官网)
    path            = D:/coreseek-3.2.13-win32/var/data/mysqlSqB迪尔课堂自学网-|第二课堂|--(官网)
    docinfo            = externSqB迪尔课堂自学网-|第二课堂|--(官网)
    mlock            = 0SqB迪尔课堂自学网-|第二课堂|--(官网)
    morphology        = noneSqB迪尔课堂自学网-|第二课堂|--(官网)
    min_word_len        = 1SqB迪尔课堂自学网-|第二课堂|--(官网)
    html_strip                = 0SqB迪尔课堂自学网-|第二课堂|--(官网)
    #charset_dictpath = /usr/local/mmseg3/etc/    #BSD、Linux环境下设置,/符号结尾SqB迪尔课堂自学网-|第二课堂|--(官网)
    charset_dictpath = D:/coreseek-3.2.13-win32/etc/                        #Windows环境下设置,/符号结尾SqB迪尔课堂自学网-|第二课堂|--(官网)
    charset_type        = zh_cn.gbkSqB迪尔课堂自学网-|第二课堂|--(官网)
}SqB迪尔课堂自学网-|第二课堂|--(官网)

index delta : mysqlSqB迪尔课堂自学网-|第二课堂|--(官网)
{SqB迪尔课堂自学网-|第二课堂|--(官网)
    min_word_len        = 1SqB迪尔课堂自学网-|第二课堂|--(官网)
    source = deltaSqB迪尔课堂自学网-|第二课堂|--(官网)
    path            = D:/coreseek-3.2.13-win32/var/data/delta.newSqB迪尔课堂自学网-|第二课堂|--(官网)
}SqB迪尔课堂自学网-|第二课堂|--(官网)

#全局index定义SqB迪尔课堂自学网-|第二课堂|--(官网)
indexerSqB迪尔课堂自学网-|第二课堂|--(官网)
{SqB迪尔课堂自学网-|第二课堂|--(官网)
    mem_limit            = 128MSqB迪尔课堂自学网-|第二课堂|--(官网)
}SqB迪尔课堂自学网-|第二课堂|--(官网)

#searchd服务定义SqB迪尔课堂自学网-|第二课堂|--(官网)
searchdSqB迪尔课堂自学网-|第二课堂|--(官网)
{SqB迪尔课堂自学网-|第二课堂|--(官网)
    listen                  =   9312SqB迪尔课堂自学网-|第二课堂|--(官网)
    read_timeout        = 5SqB迪尔课堂自学网-|第二课堂|--(官网)
    max_children        = 30SqB迪尔课堂自学网-|第二课堂|--(官网)
    max_matches            = 1000SqB迪尔课堂自学网-|第二课堂|--(官网)
    seamless_rotate        = 0SqB迪尔课堂自学网-|第二课堂|--(官网)
    preopen_indexes        = 0SqB迪尔课堂自学网-|第二课堂|--(官网)
    unlink_old            = 1SqB迪尔课堂自学网-|第二课堂|--(官网)
    pid_file = D:/coreseek-3.2.13-win32/var/log/searchd_mysql.pidSqB迪尔课堂自学网-|第二课堂|--(官网)
    log = D:/coreseek-3.2.13-win32/var/log/searchd_mysql.logSqB迪尔课堂自学网-|第二课堂|--(官网)
    query_log = D:/coreseek-3.2.13-win32/var/log/query_mysql.logSqB迪尔课堂自学网-|第二课堂|--(官网)
}SqB迪尔课堂自学网-|第二课堂|--(官网)

-------------------------------------------------------------------------------------------------------SqB迪尔课堂自学网-|第二课堂|--(官网)

1.3.建立索引SqB迪尔课堂自学网-|第二课堂|--(官网)
配置完成后,我们要先建立索引,在开始菜单中打开[运行],输入"cmd",确认后打开命令行.输入下列代码:SqB迪尔课堂自学网-|第二课堂|--(官网)

d:&cd D:/coreseek-3.2.13-win32/binSqB迪尔课堂自学网-|第二课堂|--(官网)

先切换到sphinx的bin目录,然后再执行:SqB迪尔课堂自学网-|第二课堂|--(官网)

indexer.exe -c D:/coreseek-3.2.13-win32/etc/csft_dedecmsv57.conf mysql --rotateSqB迪尔课堂自学网-|第二课堂|--(官网)

这个时候sphinx开始构建索引,如果数据量比较大,这个时间可能比较长,需要耐心等待(如图1).SqB迪尔课堂自学网-|第二课堂|--(官网)

SqB迪尔课堂自学网-|第二课堂|--(官网)
SqB迪尔课堂自学网-|第二课堂|--(官网)

然后再创建下增量索引,使用下列命令:SqB迪尔课堂自学网-|第二课堂|--(官网)
indexer.exe -c D:/coreseek-3.2.13-win32/etc/csft_dedecmsv57.conf delta --rotateSqB迪尔课堂自学网-|第二课堂|--(官网)

1.4.测试检索是否正常SqB迪尔课堂自学网-|第二课堂|--(官网)
建立完索引之后我们来检测下是否能够正常搜索到匹配内容,可以继续在cmd中输入下列命令:SqB迪尔课堂自学网-|第二课堂|--(官网)

search.exe -c D:/coreseek-3.2.13-win32/etc/csft_dedecmsv57.conf dedecmsSqB迪尔课堂自学网-|第二课堂|--(官网)

如果能够正常返回数据(如图2),则说明已经成功建立索引.SqB迪尔课堂自学网-|第二课堂|--(官网)

SqB迪尔课堂自学网-|第二课堂|--(官网)
SqB迪尔课堂自学网-|第二课堂|--(官网)

2.结合DedeCMS程序使用sphinxSqB迪尔课堂自学网-|第二课堂|--(官网)
2.1.开启sphinx服务SqB迪尔课堂自学网-|第二课堂|--(官网)
在上面的步骤中我们已经成功生成了索引,接下来为了能够使用客户端调用则需要开启sphinx服务.SqB迪尔课堂自学网-|第二课堂|--(官网)
可以直接在cmd中执行:SqB迪尔课堂自学网-|第二课堂|--(官网)
searchd.exe -c D:/coreseek-3.2.13-win32/etc/csft_dedecmsv57.confSqB迪尔课堂自学网-|第二课堂|--(官网)
这样我们就开启了sphinx服务(如图3),我们可以写一个简单的例子进行测试:SqB迪尔课堂自学网-|第二课堂|--(官网)

SqB迪尔课堂自学网-|第二课堂|--(官网)
SqB迪尔课堂自学网-|第二课堂|--(官网)

sphinx_test.phpSqB迪尔课堂自学网-|第二课堂|--(官网)
--------------------------------------------------------------------------------------------------------SqB迪尔课堂自学网-|第二课堂|--(官网)
<?phpSqB迪尔课堂自学网-|第二课堂|--(官网)
set_time_limit(0);SqB迪尔课堂自学网-|第二课堂|--(官网)
require_once (dirname(__FILE__) . "/include/common.inc.php");SqB迪尔课堂自学网-|第二课堂|--(官网)
$sphinx = new SphinxClient;SqB迪尔课堂自学网-|第二课堂|--(官网)

$mode = SPH_MATCH_ANY;            //匹配模式SqB迪尔课堂自学网-|第二课堂|--(官网)
$host = "localhost";            //服务ipSqB迪尔课堂自学网-|第二课堂|--(官网)
$port = 9312;    //服务端口SqB迪尔课堂自学网-|第二课堂|--(官网)
        SqB迪尔课堂自学网-|第二课堂|--(官网)
$sphinx->SetServer($host, $port);SqB迪尔课堂自学网-|第二课堂|--(官网)
$sphinx->SetArrayResult(true);SqB迪尔课堂自学网-|第二课堂|--(官网)
$sphinx->SetMatchMode($mode);SqB迪尔课堂自学网-|第二课堂|--(官网)

$res = $sphinx->Query('织梦内容管理系统');SqB迪尔课堂自学网-|第二课堂|--(官网)

//var_dump($sphinx);SqB迪尔课堂自学网-|第二课堂|--(官网)
//var_dump($res);SqB迪尔课堂自学网-|第二课堂|--(官网)
$total = count($res['matches']);SqB迪尔课堂自学网-|第二课堂|--(官网)
for($i=0; $i < $total; $i++)SqB迪尔课堂自学网-|第二课堂|--(官网)
{SqB迪尔课堂自学网-|第二课堂|--(官网)
    var_dump($res['matches'][$i]);SqB迪尔课堂自学网-|第二课堂|--(官网)
}SqB迪尔课堂自学网-|第二课堂|--(官网)

-----------------------------------------------------------------------------------------------------SqB迪尔课堂自学网-|第二课堂|--(官网)
执行sphinx_test.php,可以看到已经能够正常通信,并且返回了内容.SqB迪尔课堂自学网-|第二课堂|--(官网)

SqB迪尔课堂自学网-|第二课堂|--(官网)
SqB迪尔课堂自学网-|第二课堂|--(官网)

2.2.创建一个DedeSphinx服务SqB迪尔课堂自学网-|第二课堂|--(官网)
上面我们通过searchd.exe开启了服务,但不好的是,我们关闭了cmd窗口就不能继续访问了,解决办法如下:SqB迪尔课堂自学网-|第二课堂|--(官网)
同样切换到bin目录下,执行:SqB迪尔课堂自学网-|第二课堂|--(官网)

searchd.exe --install -c D:/coreseek-3.2.13-win32/etc/csft_dedecmsv57.conf --servicename DedeSphinxSqB迪尔课堂自学网-|第二课堂|--(官网)
这样就在系统中成功创建了一个DedeSphinx服务,无需再打开窗口(如图5).SqB迪尔课堂自学网-|第二课堂|--(官网)

SqB迪尔课堂自学网-|第二课堂|--(官网)
SqB迪尔课堂自学网-|第二课堂|--(官网)

3.更新与维护SqB迪尔课堂自学网-|第二课堂|--(官网)
对于全文检索的索引,我们是需要不定期生成的,如果是数据量比较小,直接使用上述生成索引的命令重建就可以,如果数据量比较大,我们则需要定义的更新全文索引.SqB迪尔课堂自学网-|第二课堂|--(官网)

如果内容更新比较频繁,下列的命令需要每分钟被执行一次(可以创建一个脚本,使用windows计划任务定期执行)SqB迪尔课堂自学网-|第二课堂|--(官网)

生成增量索引:SqB迪尔课堂自学网-|第二课堂|--(官网)

indexer.exe -c D:/coreseek-3.2.13-win32/etc/csft_dedecmsv57.conf delta --rotateSqB迪尔课堂自学网-|第二课堂|--(官网)

当然每一天都需要将增量索引合并到主索引mysql中去,需要执行:SqB迪尔课堂自学网-|第二课堂|--(官网)

indexer.exe -c D:/coreseek-3.2.13-win32/etc/csft_dedecmsv57.conf --merge mysql delta --rotateSqB迪尔课堂自学网-|第二课堂|--(官网)

扫一扫手机访问