当前访客身份:游客 [ 登录  | 注册加入尚学堂]
直播

我来了!

拥有积分:3896
尚学堂雄起!!威武。。。

博客分类

笔记中心

课题中心

提问中心

答题中心

解答题中心

四、Solr数据源配置(JNDI、DIH)及定时重做索引

我来了! 发表于 2年前 (2014-10-13 10:08:05)  |  评论(0)  |  阅读次数(589)| 1 人收藏此文章,   我要收藏   

简介

Solr支持很多种创建索引的方式,包括网页,xml以及数据库,因为我这边做的是企业级的搜索,所以用的是数据库建立索引。其实从数据库建立索引,很大程度上取决于原来的数据库设计。

从数据库建立索引,solr官方是提供一个工具的—Data Import Handler。在下载的solr中可以找到相关的jar包:

solr-dataimporthandler-4.9.0.jar

solr-dataimporthandler-extras-4.9.0.jar

将这两个jar包添加进web-inf/lib中

Solr/example中有example-DIH的项目,用了hsqldb作为数据库演示了DIH的使用。读者有兴趣可以去看下,这里就介绍我的配置方法。

DIH还支持增量索引,即在上次建立索引的基础上,只导入增量的数据。这个需要数据表设计的比较好,能够有字段区分,比如创建日期。这里我并没有使用增量索引。

 

Jndi配置

    Jndi有两种配置方法,第一种是在tomcat中配置,跟普通的jndi配置并没有什么区别。

    另外一种则是在前面博客中说过的$TOMCAT_HOME\conf\Catalina\localhost\solr.xml中配置,因为我是在开发环境中配置,到生产环境时用的是resin所以,我使用第二种方法配置,之后比较容易移植。

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <Context docBase="D:\Installed Applications\apache-tomcat-8.0.9-windows-x64\apache-tomcat-8.0.9\webapps\solr.war" debug="0" crossContext="true" >
  3.     <Environment name="solr/home" type="java.lang.String" value="D:\Installed Applications\SolrIndex" override="false" />
  4.    <Resource name="jdbc/songod" auth="Container" type="javax.sql.DataSource" username="root" password="123456" driverClassName="com.mysql.jdbc.Driver" url="jdbc:mysql://127.0.0.1:3306/songod" maxActive="-1"/>
  5. </Context>

Solrconfig.xml配置

在每个核心中的solrconfig.xml中配置dataimport:

  1. <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
  2.     <lst name="defaults">
  3.        <str name="config">dbconf/Song.xml</str>
  4.     </lst>
  5.   </requestHandler>

 

配置文件的路径最好使用相对路径。

Db.xml配置

在solrconfig.xml中配置好了db.xml所在的路径后,接下来就来配置db.xml。名字可以随便起,不过建议和core name一致。

先来看个最简单的配置:

  1. <dataConfig>
  2.        <dataSource name="songod" jndiName="java:comp/env/jdbc/songod" type="JdbcDataSource"/>
  3.     <document>
  4.          <entity name="SpaceAudio2" dataSource="songod" query="select ArtistID,Name from sod_artist where SpaceID='${SpaceAudio.UserID}'">
  5.             <field column="ArtistID" name="Artist_ID" />
  6.             <field column="Name" name="Artist_Name" />
  7.  
  8.          </entity>
  9.       </entity>
  10.     </document>
  11. </dataConfig>

 

dataSource

所使用的数据源,其中name为可选的,主要在使用多数据源时使用。

Document

代表一个文档

Entity

即需要从数据库中取出的数据,支持sql语句,支持多表查询。跨库查询后面会介绍

Field

即接受到的数据,列名column和索引中的名称(必须和schema.xml)中field定义的名字一样。

 

Schema.xml配置

  1. <field name="Artist_ID" type="int" indexed="true" stored="true" multiValued="false" />
  2.    <field name="Artist_Name" type="text_ik" indexed="true" stored="true" multiValued="false"/>

配置相应的field。

导入和测试

如上图所示,点击excute即可将数据库中的数据导入索引库。

 

多数据源配置

多数据源是非常有用的一个配置。比如用户的信息存储在user表中,但是用户的分类存储在category表中,这两个表用userid联系起来,那么用多数据源的配置会非常简单。当时我并不知道怎样配置多数据源,结果导致我的SQL非常长,并且如果需要同时用到mysql和oracle时,只能用两个核心来实现(使用多数据源后,可以再一个核心索引库里配置)

数据源jndi的配置就不说了。

主要是DB.xml的配置:

  1. <dataConfig>
  2.    <dataSource name="songod" jndiName="java:comp/env/jdbc/songod" type="JdbcDataSource"/>
  3.    <dataSource name="mvbox_space" jndiName="java:comp/env/jdbc/mvbox_space" type="JdbcDataSource"/>
  4.  
  5.     <document>
  6.        <entity name="Artist" query="SELECT * FROM (SELECT
  7.    Tf3.ArtistID,
  8.    Tf3.`Name`,
  9.    Tf3.NickName,
  10.    Tf3.SpaceID,
  11.    Tf3.Piclink1,
  12.    Tf3.Piclink2,
  13.    Tf3.PinYinInitial,
  14.    Tf3.IconNo,
  15.    Tf3.AuthDes,
  16.    Tf3.NameQP,
  17.    Tf3.MusicChannelPic,
  18.    Tf3.MVNum,
  19.    Tf3.SongNum,
  20.    Tf3.CategoryID,
  21.    Tf4.PicLink AS MobilePic
  22. FROM
  23.    (
  24.       SELECT
  25.          Tf1.ArtistID,
  26.          Tf1.`Name`,
  27.          Tf1.NickName,
  28.          Tf1.SpaceID,
  29.          Tf1.Piclink1,
  30.          Tf1.Piclink2,
  31.          Tf1.PinYinInitial,
  32.          Tf1.IconNo,
  33.          Tf1.AuthDes,
  34.          Tf1.NameQP,
  35.          Tf1.MusicChannelPic,
  36.          Tf1.MVNum,
  37.          Tf1.SongNum,
  38.          GROUP_CONCAT(DISTINCT Tf2.CategoryID) CategoryID
  39.       FROM
  40.          (
  41.             SELECT
  42.                T1.ArtistID,
  43.                T1.`Name`,
  44.                T1.NickName,
  45.                T1.SpaceID,
  46.                T1.Piclink1,
  47.                T1.Piclink2,
  48.                T1.PinYinInitial,
  49.                T1.IconNo,
  50.                T1.AuthDes,
  51.                T1.NameQP,
  52.                T1.MusicChannelPic,
  53.                T2.MVNum,
  54.                T2.SongNum
  55.             FROM
  56.                sod_artist T1
  57.             LEFT JOIN (
  58.                SELECT
  59.                   Ta.ArtistID,
  60.                   Ta.SongNum,
  61.                   Tb.MVNum
  62.                FROM
  63.                   (
  64.                      SELECT
  65.                         ArtistID,
  66.                         COUNT(ArtistID) SongNum
  67.                      FROM
  68.                         sod_song_artist_relation
  69.                      GROUP BY
  70.                         ArtistID
  71.                   ) Ta
  72.                LEFT JOIN (
  73.                   SELECT
  74.                      T3.ArtistID,
  75.                      COUNT(T3.ArtistID) MVNum
  76.                   FROM
  77.                      (
  78.                         SELECT
  79.                            T1.SongID,
  80.                            T1.ArtistID
  81.                         FROM
  82.                            sod_song_artist_relation T1
  83.                         LEFT JOIN sod_song_ksc T2 ON T1.SongID = T2.SongID
  84.                         WHERE
  85.                            T2.FileMV IS NOT NULL
  86.                         AND T2.FileMV != ''
  87.                         ORDER BY
  88.                            T1.ArtistID
  89.                      ) T3
  90.                   GROUP BY
  91.                      T3.ArtistID
  92.                ) Tb ON Ta.ArtistID = Tb.ArtistID
  93.             ) T2 ON T1.ArtistID = T2.ArtistID
  94.             WHERE
  95.                T1.State = 1
  96.          ) Tf1
  97.       LEFT JOIN sod_artist_category_relation Tf2 ON Tf1.ArtistID = Tf2.ArtistID
  98.       GROUP BY
  99.          Tf1.ArtistID
  100.    ) Tf3
  101. LEFT JOIN (
  102.    SELECT
  103.       *
  104.    FROM
  105.       mobile_artist_photo
  106.    WHERE
  107.       State = 1 AND Type=0
  108. ) Tf4 ON Tf3.ArtistID = Tf4.ArtistID)Tf5 WHERE Tf5.CategoryID IS NOT NULL AND Tf5.CategoryID != ''">
  109.       <field column="ArtistID" name="Artist_ID" />
  110.       <field column="Name" name="Artist_Name" />
  111.       <field column="NickName" name="Artist_NickName" />
  112.       <field column="SpaceID" name="Artist_SpaceID" />
  113.       <field column="Piclink1" name="Artist_Piclink1" />
  114.       <field column="Piclink2" name="Artist_Piclink2" />
  115.       <field column="Piclink3" name="Artist_Piclink3" />
  116.       <field column="PinYinInitial" name="Artist_PinYinInitial" />
  117.       <field column="IconNo" name="Artist_IconNo" />
  118.       <field column="AuthDes" name="Artist_AuthDes" />
  119.       <field column="NameQP" name="Artist_NameQP" />
  120.       <field column="MusicChannelPic" name="Artist_MusicChannelPic" />
  121.       <field column="MVNum" name="Artist_MVNum" />
  122.       <field column="SongNum" name="Artist_SongNum" />
  123.       <field column="CategoryID" name="Artist_CategoryID" />
  124.       <field column="MobilePic" name="Artist_MobilePic" />
  125.  
  126.          <entity name="Artist2" dataSource="mvbox_space" query="select SHOWING from SPACE_USER where USERID=${Artist.SpaceID}">
  127.             <field column="SHOWING" name="Artist_Showing" />
  128.          </entity>
  129.    </entity>
  130.     </document>
  131. </dataConfig>

 

如上面的配置,其实配置是比较简单的,主要是SQL和数据的组织。可以看到DIH的功能是非常强大的。

定时重做索引

在用solr生成索引时,还有一个需求就是定期重做索引,官方是不支持此功能的,需要使用一个修改过的第三方jar:solr-dataimportscheduler-1.1.jar。

下载地址https://code.google.com/p/solr-dataimport-scheduler/

    但是这个版本会有一个问题,它是使用post请求访问到solr服务器端,并没有制定content-type,导致出错,需要修改源码。

所以附件提供修改后的jar包下载(下载配置后即可使用):

 

配置:

步骤一:

在solr hom根目录中新建conf文件夹

步骤二:

    将solr-dataimportscheduler-1.1.jar包解压缩取出dataimport.properties复制到上一步建立的conf文件夹中。

步骤三:

修改tomcat发布的webapps/solr/WEB-INF/web.xml(或者修改solr.war中WEB-INF/web.xml), 在servlet节点前面增加:

  1. <listener>
  2. <listener-class>org.apache.solr.handler.dataimport.scheduler.ApplicationListener
  3. </listener-class>
  4. </listener>

步骤四:

在中配置相关的信息,都比较简单,读者可以自行看文件中的注释就明白了,特别说下重做索引的URL,如下:

# 重做索引的参数

  1. reBuildIndexParams=/select?qt=/dataimport&command=full-import&clean=true&commit=true
  2. #reBuildIndexParams=/dataimport?command=full-import&clean=true&commit=true

 

两种方式都可以。

加上其他的配置信息,如localhost,port,syncCores等等,其实原理就是根据配置信息生成一个带有重做索引命令的url,然后定期访问该url即可。自己在项目中实现一个定时器也可以实现:)

 

 

附件

点击下载

分享到:0
关注微信,跟着我们扩展技术视野。每天推送IT新技术文章,每周聚焦一门新技术。微信二维码如下:
微信公众账号:尚学堂(微信号:bjsxt-java)
声明:博客文章版权属于原创作者,受法律保护。如果侵犯了您的权利,请联系管理员,我们将及时删除!
(邮箱:webmaster#sxt.cn(#换为@))
北京总部地址:北京市海淀区西三旗桥东建材城西路85号神州科技园B座三层尚学堂 咨询电话:400-009-1906 010-56233821
Copyright 2007-2015 北京尚学堂科技有限公司 京ICP备13018289号-1 京公网安备11010802015183