全量更新与增量更新flink sql 增量更新和完整更新

转载

mob64ca1418aeab 2024-04-15 17:06:49

文章标签 全量更新与增量更新flink sql java 数据库 solr ci 文章分类 架构后端开发

solr全量更新和增量更新

1.首先理解更新

数据库中的数据导入solr缓存中就是更新。

2.全量更新

全量更新，就是把数据库中的全部数据都导入solr缓存库中，一般会删除solr缓存库现有的数据。

全量的话，可以采用直接全部覆盖（使用“新”数据覆盖“旧”数据）；或者走更新逻辑（覆盖前判断下，如果新旧不一致，就更新）；

1.core/conf 目录下的 solrconfig.xml，新增如下配置

<requestHandler name="/dataimport" class="solr.DataImportHandler">
    <lst name="defaults">
      <str name="config">solr-data-config.xml</str>
    </lst>
  </requestHandler>

2 在core/conf 目录下的新建 data-config.xml 文件,新增如下配置

<dataConfig>
<!-- 数据源 -->
<dataSource type="JdbcDataSource"
			driver="com.mysql.jdbc.Driver"
			url="jdbc:mysql://localhost:3306/txws158"
			user="root"
			password="12345678"/>
  <document>
    <!--<entity name="sep" processor="SolrEntityProcessor"
            url="http://127.0.0.1:8983/solr/db "
            query="*:*"
            fl="*,orig_version_l:_version_,ignored_price_c:price_c"/>-->
	<entity name="select" query="select p.id as id,p.name as name,p.price as price,c.name as city,m.name as merchant from 
								 city c,merchant m,product p where 
								 c.id=m.city_id and m.id=p.merchant_id">
			<!-- column是数据库查询的字段 name是solr索引对应的字段 -->
			<field column="id" name="id"/>
			<field column="name" name="name"/>
			<field column="price" name="price"/>
			<field column="city" name="city"/>
			<field column="merchant" name="merchant"/>
	</entity>
  </document>
</dataConfig>

3.修改core/conf 目录下 managed-schema.xml 的文件，新增需要索引的列

<!--自定义字段-->
<!--IKAnalyzer Field-->
<!-- type="text_ik"代表使用了Ik中文分词器。 -->
<!-- indexed="true"代表进行索引操作。 -->
<!-- stored="true"代表将该字段内容进行存储。 -->
    <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" /> 
	<field name="name" type="text_ik" indexed="true" stored="true" />
	<field name="price" type="text_ik" indexed="true" stored="true" />
	<field name="merchant" type="text_ik" indexed="false" stored="true" />
	<field name="city" type="text_ik" indexed="true" stored="true" />

全量更新与增量更新flink sql 增量更新和完整更新_数据库

2.增量更新

对应全量更新，增量更新变动的数据库数据

首先要弄懂几个必要的属性，以及数据库建表事项，和dataimporter.properties 、data-config.xml里面的数据

<!--  transformer 格式转化：HTMLStripTransformer 索引中忽略HTML标签   --->
  <!--  query:查询数据库表符合记录数据   --->
  <!--  deltaQuery:增量索引查询主键ID    --->    注意这个只能返回ID字段
  <!--  deltaImportQuery:增量索引查询导入数据  --->
  <!--  deletedPkQuery:增量索引删除主键ID查询  ---> 注意这个只能返回ID字段

2.数据库配置注意事项

1.如果只涉及添加，与修改业务，那么数据库里只需额外有一个timpstamp字段就可以了，默认值为当前系统时间，CURRENT_TIMESTAMP
2.如果还涉及删除业务，那么数据里就需额外再多添加一个字段isdelete，int类型的,用0,1来标识，此条记录是否被删除

3.dataimporter.properties

这个配置文件很重要，它是用来记录当前时间与上一次修改时间的，通过它能够找出，那些，新添加的，修改的，或删除的记录标识，此条记录是否被删除的记录

4.增量更新就是在全量更新的基础上加上一些配置，配置如下：

<dataConfig>
<!-- 数据源 -->
<dataSource type="JdbcDataSource"
			driver="com.mysql.jdbc.Driver"
			url="jdbc:mysql://localhost:3306/txws158"
			user="root"
			password="12345678"/>
  <document>
    <!--<entity name="sep" processor="SolrEntityProcessor"
            url="http://127.0.0.1:8983/solr/db "
            query="*:*"
            fl="*,orig_version_l:_version_,ignored_price_c:price_c"/>-->
	<entity name="select" query="select p.id as id,p.name as name,p.price as price,c.name as city,m.name as merchant from 
				city c,merchant m,product p where c.id=m.city_id and m.id=p.merchant_id"
			deltaImportQuery = "select id,name,price from product where id= '${dataimporter.delta.id}'"
			deltaQuery = "SELECT id FROM product where flastupdatetime > '${dataimporter.last_index_time}'"
			deletedPkQuery = "SELECT id FROM product where flag = '1'">
			<!-- column是从数据库查询的字段 name是solr索引对应的字段 -->
			<field column="id" name="id"/>
			<field column="name" name="name"/>
			<field column="price" name="price"/>
			<field column="city" name="city"/>
			<field column="merchant" name="merchant"/>
	</entity>
  </document>
</dataConfig>