一种个性化数据服务方法

1.本发明属于物联网领域，涉及一种个性化数据服务方法。


背景技术：

2.面向实体状态信息的物联网搜索技术可以帮助用户快速获取感兴趣的相关实体数据，这项技术可以缩小在庞大的网络空间的搜索范围，为用户提供便利的、快速的、高质量的数据服务，其已经成为物联网发展中不可或缺的关键技术之一。
3.自物联网搜索技术被提出以来，大量研究人员将研究工作投入其中，主要分布在以下几个方面：(1)面向数据搜索服务的预测机制：针对历史实体状态数据构成的时间序列，设计先进的时间序列预测方法并将预测的实体状态数据从感知层提前上传至边缘服务器或者云服务器中，可以为用户快速估计相关结果，减少系统通信开销；(2)面向数据搜索服务的缓存策略：针对边缘或云服务器缓存容量受限，设计高性能缓存方法以最大化缓存命中率，最大化用户服务体验以及提高系统服务质量。(3)数据服务中的快速搜索方法：为了适应实体状态数据的高速动态变化，两个方面被考虑以保证数据服务的实时性，一是服务架构的设计，引入边缘计算，利用边缘服务器靠近本地的优势快速响应用户需求，二是索引方法的设计，根据实体特性建立快速索引机制，加速搜索时间。(4)数据服务中搜索精度保证：研究搜索请求与实体信息之间的相关匹配方法，为用户提供准确的、令人满意的搜索结果，可以提高系统的数据服务质量，充分满足用户需求。(5)数据服务中的隐私保护：基于用户对数据隐私的日益重视，设计在隐私环境下的数据服务机制并进行搜索与实体的匹配。
4.下面列出一些关于数据服务方面的研究工作。zhang p,li.x,liu y,kang x,liu y在“sdu:state-based dual-mode sensor search mechanism toward internet of things”【in ieee access,vol.7,pp.147962-147974,2019.】针对浅层学习理论对预测精度受限的问题，基于深度学习理论，提出一种针对传感器当前状态的高精度数据预测方法，以提升预测精度。zhang p,li x,wu d,wang r.在“edge-cloud collaborative entity state data caching strategy toward networking search service in cpss”【in ieee transactions on industrial informatics,vol.17,no.10,pp.6906-6915,oct 2021.】通过挖掘历史特征将其分为瞬变型实体数据和缓变型实体数据并分别缓存在边缘服务器和云服务器中，实现根据物联网数据变化特性的分类缓存策略，该方法有效保证用户实时地获取实体信息。zhang p,chui y,liu h,yang z,wu d,wang r在“efficient and privacy-preserving search over edge-cloud collaborative entity in iot”【in ieee internet of things journal,doi:10.1109/jiot.2021.3132910.】利用对称可搜索加密机制实现了在数据服务过程中的安全隐私，并设计一种基于聚类平衡二叉树的索引方法大大加快了搜索时间。
5.现有面向数据服务的物联网搜索研究工作虽然在预测机制、缓存策略、搜索时间、隐私保护等方面都达到了很高的性能，但在搜索精度方面还有待提高。基于传统相关性匹
配的计算方法只能保证面向所有用户需求的反馈结果一致性，却忽略了每个用户的个性化需求及搜索意图，导致不能给用户服务体验带来阶跃式提升。个性化搜索方法可通过新兴的深度学习模型挖掘用户历史请求记录中隐含的深层次用户偏好，利用用户个人偏好帮助当前时刻下用户搜索意图的准确理解，并结合排序模型实现个性化排序，将最符合用户需求的结果反馈至用户。但是由于该种方法需要利用到大量的用户历史数据，这无疑对用户隐私产生了较大的威胁，因此有必要在为用户设计个性化数据服务方法同时保证用户安全隐私，综合全面的提升数据服务质量。


技术实现要素：

6.有鉴于此，本发明的目的在于提供一种个性化数据服务方法，首先提出一种个人-全局级语义增强的个性化搜索模型，以实现精确的用户兴趣建模和偏好感知，然后引入边云协同系统模型构建联邦学习训练框架，利用联邦学习技术对所有用户的个性化搜索模型实现联合协同推理，并将联合推理后获得的模型部署至各边缘服务器以保证对于所有用户个性化数据服务的实现。该方法可在提升实体搜索精度同时保护了用户数据隐私，实现面向用户的高质量的、安全的、个性化的数据服务。
7.为达到上述目的，本发明提供如下技术方案：
8.一种个性化数据服务方法，具体包括以下步骤：
9.s1：区域划分：每个边缘服务器根据其范围覆盖能力划分负责管理的区域，对区域内的用户和物理实体进行管理；
10.s2：数据收集：边缘服务器收集并存储所管辖区域内用户的历史搜索请求记录及评价反馈数据；
11.s3：模型构建：构建个人-全局级语义增强的个性化搜索模型，包括：以用户历史搜索请求记录及评价反馈数据作为transformer模型输入，获得输入数据中蕴含的三种隐含特征：个人级语义消歧查询特征q
p
、个人级用户兴趣偏好特征p和全局级实体表示eu；利用三种隐含特征获得语义增强后的当前查询并通过余弦相似度计算当前查询与实体e的个性化匹配分数从而实现个性化结果排序；
12.s4：联合推理：边缘服务器与云服务器构成边云协同模型进行模型联合推理，通过边云协同的联合推理将个性化搜索模型部署在所有边缘服务器中；
13.s5：发起搜索：用户通过所持客户端设备向边缘服务器发起对实体状态数据的搜索请求；
14.s6：搜索响应：边缘服务器或云服务器筛选出相关的匹配实体结果，边缘服务器并经过存储的个性化搜索模型对反馈结果进行个性化的重新排序，再返回至管理区域内的用户。
15.进一步，步骤s3中，所述transformer模型由多个多头注意力机制及位置前馈网络组成，表示为：
16.transformer(x)＝ln(m
x
d(pf(m
x
)))
17.其中，m
x
＝ln(x d(ms(x)))，ln(
·
)是对输出数据的批量归一化层，d(
·
)是为了防止模型过拟合的dropout层；模型中多头注意力机制ms(x)表示为ms(x)＝[head1，...，headi，...，headh]wo，其中每个头headi＝att(xw
iq
，xw
ik
，xw
iv
)，注意力为
x表示模型的数据输入，wo，w
iq
，w
ik
，w
iv
表示模型中需要更新的参数；q，k，v为transformer中三个重要的信息，分别表示为数据输入向量，被关注的信息与其他信息的相关性的向量，被关注的信息的向量；位置前馈网络表示为pf(x)＝c2(relu(c1(x
t
)))
t
，其中c2(
·
)，c1(
·
)为两个具有不同参数的卷积操作，x
t
表示输入数据向量的转置操作，relu(
·
)为非线性激活函数。
[0018]
进一步，步骤s3中，构建的个人-全局级语义增强的个性化搜索模型具体包括以下步骤：
[0019]
s31：利用transformer模型完成个人级查询消歧，具体包括：将输入数据x替换为包含当前时刻查询q
t
的查询序列q＝{q1，q2，...，q
t
，...，q
t-1
，q
t
}，获取个人级语义消歧查询特征表示查询序列中每个查询单词的位置嵌入；
[0020]
利用transformer模型完成个人级兴趣偏好挖掘，具体包括：将输入数据x替换为用户历史搜索记录h＝{h1，h2，...，h
t
，...，h
t-1
}，h
t
＝{q
t
，r
t
}，r＝{r1，r2，...，r
t
，...，r
t-1
}为用户每个历史搜索请求对应的评价反馈，表示用户服务体验。获取个人级用户兴趣偏好特征p＝transformer(h h
p
)，h
p
表示历史搜索记录中每个由搜索请求与对应的评价反馈组成的记录元组的位置嵌入；
[0021]
利用transformer模型完成全局级实体表示，将输入数据x替换为所有用户对一个实体的评价反馈r＝{r1，r2，...，ru，...，ru}，获取全局级实体表示eu，eu＝transformer(r r
p
)，r
p
表示所有用户对一个实体的所有评价反馈对应的位置嵌入；
[0022]
s32：利用步骤s31获取的三种隐含特征q
p
、p、eu增强当前查询q
t
，获得的语义增强后的当前查询表示为mlp(
·
)表示多层感知机模型，负责将这几种特征向量融合在一起；
[0023]
s33：通过余弦相似度计算用户增强的当前查询与实体e的个性化匹配分数从而完成个性化搜索构建以实现个性化结果排序，表示为：
[0024]
进一步，步骤s4具体包括以下步骤：
[0025]
s41：边云协同模型的联合推理需要对个性化搜索模型进行多轮迭代更新，在每轮训练过程中，每个边缘服务器在本地完成每轮模型训练；
[0026]
边缘服务器本地训练：具体过程表示为m
t
为t时刻训练轮次中边缘服务器所拥有的个性化搜索模型参数，x为步骤s3中三种隐含特征提取所需要的输入数据，sgd(
·
)表示模型迭代更新采用的随机梯度下降法，表示第k个边缘服务器在t 1时刻训练好的个性化搜索模型参数；
[0027]
s42：边缘服务器参数上传：每个边缘服务器将更新的模型参数上传至云服务器；
[0028]
s43：云服务器参数聚合：在每轮联合推理中，云服务器对接收到的每个边缘服务器上传的模型参数与上一轮的模型参数m
t
聚合，t 1时刻聚合的模型参数表示为k为边缘服务器总数量；
[0029]
s44：云服务器参数下发：云服务器将新一轮聚合的模型参数m
t 1
发送给每个边缘服务器；
[0030]
s45：边云协同联合推理：在联合推理及训练模型中，损失函数loss定义为：
[0031][0032]
其中，表示搜索请求与目标实体的相关性得分，表示搜索请求与其他候选实体的相关性得分，而联合推理的优化目标是使得目标函数最小：其中θk表示第k个边缘服务器中个性化模型的所有参数；
[0033]
s46：模型获取：重复步骤s41-s44直至使得步骤s45中目标函数达到最小并趋于稳定，此时每个边缘服务器都能获得最优的个性化搜索模型。
[0034]
进一步，步骤s6具体包括以下步骤：
[0035]
s61：边缘服务器判断用户所需实体状态数据的缓存位置，如果所需实体状态数据缓存在边缘服务器，则边缘服务器基于传统检索匹配方法执行检索，筛选出相关实体结果后再运行训练好的个性化搜索模型，对实体结果进行个性化的重新排序，使用户最满意的实体结果出现在排序列表最前面，最后将个性化实体结果列表反馈至用户；
[0036]
s62：如果所需实体状态数据没有缓存在边缘服务器，则边缘服务器将搜索请求加密后上传至云服务器；云服务器基于对称可搜索加密机制执行密文环境下一般的搜索请求与实体相关性匹配，然后将加密的实体结果列表反馈至相应的边缘服务器，边缘服务器对实体结果列表解密后再运行训练好的个性化搜索模型，对实体结果进行个性化的重新排序，同样能为用户返回个性化的排序结果。
[0037]
本发明的有益效果在于：本发明首先提出一种个人-全局级语义增强的个性化搜索模型，用以对用户兴趣进行精确建模，以便实现个性化数据服务功能。进一步，为了保证利用用户数据过程中的用户隐私，引入边云协同系统模型构建联邦学习训练框架，基于联邦学习对个性化搜索模型实现联合协同推理，以实现用户隐私保护上还可以实现个性化数据服务，全面提升数据服务质量，最大化保证用户服务体验。
[0038]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0039]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0040]
图1为本发明的个性化数据服务系统框图；
[0041]
图2为本发明设计的个人-全局级语义增强的个性化搜索模型原理图；
[0042]
图3为本发明设计的基于联邦学习的边云协同模型联合推理流程图。
具体实施方式
[0043]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0044]
请参阅图1～图3，图1所示为本发明涉及的个性化数据服务系统框图，该系统包含以下组成模块：
[0045]
用户：不考虑用户移动性，每个用户都有一个固定的地理位置，将用户分配给唯一边缘服务器进行管理，用户通过所持客户端向边缘服务器提交搜索请求。由于用户个人背景、兴趣偏好、职业、周围环境等因素影响，导致每个用户即使发送相同的对于实体状态数据的搜索请求，其搜索意图也不一样，这种现象可以称之为用户的个性化需求。
[0046]
实体：位于物联网的感知层，由物理实体及其附着的感知设备构成。感知设备采集实体的状态数据(如温度、湿度、空气质量等)为数据服务提供数据源。
[0047]
边缘服务器：边缘服务器为通信、存储与计算能力较强的设备，接收感知设备上传的实体数据，负责管理用户与实体信息，可以执行数据搜索服务并响应用户需求。其还支持计算密集的模型构建并参与模型联合推理，对个性化模型训练，实现个性化数据服务功能。
[0048]
云服务器：云服务器为通信、存储与计算能力非常强大的中心设备，负责存储加密后的实体状态数据及接受加密的搜索请求，并在密文环境下执行一般的数据服务。此外，其还作为中心服务器与边缘服务器一起进行模型联合训练。
[0049]
本发明提供一种个性化数据服务方法，具体包括以下步骤：
[0050]
步骤1：区域划分：每个边缘服务器根据其范围覆盖能力划分负责管理的区域，对区域内的用户和物理实体进行管理。
[0051]
步骤2：数据收集：每个边缘服务器存储所管理的每一个用户的历史搜索记录h＝{h1，h2，...，h
t
，...，h
t-1
}，h
t
＝{q
t
，r
t
}，其中q＝{q1，q2，...，q
t
，...，q
t-1
}，r＝{r1，r2，...，r
t
，...，r
t-1
}分别表示按照时间排序的搜索请求记录和评价反馈数据，使用q
t
表示当前时刻的用户搜索请求，这些数据将作为下一步中模型推理的输入数据。
[0052]
步骤3：模型构建：边缘服务器将收集到的所有用户的历史搜索请求记录及评价反馈h＝{h1，h2，...，h
t
，...，h
t-1
}，h
t
＝{q
t
，r
t
}作为输入，通过设计的个人-全局级语义增强的个性化搜索模型获得输入数据中蕴含的三种隐含特征：个人级语义消歧查询特征q
p
、个人级兴趣偏好p、全局级实体表示eu。如图2所示，具体包括以下步骤：
[0053]
步骤3.1：三种隐含特征q
p
、p和eu都分别由深度学习模型transformer进行提取，transformer由多个多头注意力机制及位置前馈网络组成，表示为transformer(x)＝ln(m
x
d(pf(m
x
)))，m
x
＝ln(x d(ms(x)))。其中ln(
·
)是对输出数据的批量归一化层，d(
·
)是为了防止模型过拟合的dropout层。模型中多头注意力机制ms(x)表示为ms(x)＝[head1，...，headi，...，headh]wo，其中每个头headi＝att(xw
iq
，xw
ik
，xw
iv
)，注意力为x表示模型的数据输入，wo，w
iq
，w
ik
，w
iv
表示模型中需要更新的参数。q，k，v为transformer中三个重要的信息，分别表示为数据输入向量，表示被
关注的信息与其他信息的相关性的向量，表示被关注的信息的向量。位置前馈网络表示为pf(x)＝c2(relu(c1(x
t
)))
t
，c2(
·
)，c1(
·
)为两个具有不同参数的卷积操作，x
t
表示输入数据向量的转置操作，relu(
·
)为非线性激活函数。
[0054]
步骤3.2：由于用户搜索情境不同，相同的查询也会存在语义歧义。边缘服务器执行模型训练时利用transformer模型完成个人级查询消歧，将输入数据x替换为包含当前时刻查询q
t
的查询序列q＝{q1，q2，...，q
t
，...，q
t-1
，q
t
}，获取个人级语义消歧查询特征表示查询序列中每个查询单词的位置嵌入。
[0055]
步骤3.3：由于步骤3.2中个人级查询消歧方法只能捕获明确关键词，无法理解隐含的、或关键词残缺的搜索请求，需要进一步根据用户搜索历史记录深入挖掘用户兴趣偏好。同样，利用transformer模型完成个人级兴趣偏好挖掘，将输入数据x替换为用户历史搜索记录h＝{h1，h2，...，h
t
，...，h
t-1
}，h
t
＝{q
t
，e
t
}，获取个人级用户兴趣偏好特征p＝transformer(h h
p
)，h
p
表示历史搜索记录中每个由搜索请求与对应的评价反馈组成的记录元组的位置嵌入。
[0056]
步骤3.4：在步骤3.2、步骤3.3步骤中只从单个用户角度进行个人级的查询消歧和兴趣偏好挖掘，由于个人对实体认知受限以及个人兴趣随时间演变特性，导致只从个人级方面提取特征不能完全表示全局公平的知识表示，最终导致个性化性能不佳。因此应该对所有物理实体进行增强的特征表示，充分地获取全局实体描述并适应用户兴趣变化。同样，利用transformer完成全局级实体表示，将输入数据x替换为所有用户对一个实体的评价反馈r＝{r1，r2，...，ru，...，ru}，获取全局级实体表示eu，eu＝transformer(r r
p
)，r
p
表示所有用户对一个实体的所有评价反馈对应的位置嵌入。
[0057]
步骤3.5：利用步骤3.2、步骤3.3、步骤3.4获取的三种隐含特征q
p
、p、eu增强当前查询q
t
，获得的语义增强后的查询表示为mlp(
·
)表示多层感知机模型，负责将这几种特征向量融合在一起。
[0058]
步骤3.6：通过余弦相似度计算用户增强的当前查询与实体e的个性化匹配分数，从而完成个性化搜搜构建以实现个性化结果排序，表示为：
[0059][0060]
步骤4：联合推理：由于步骤3中个性化模型构建需要利用大量用户历史数据，导致用户隐私泄露风险。而云服务器通常是被认为不可信的，所以不能直接在云服务中训练模型。因此将边缘服务器与云服务器构成边云协同模型进行模型联合推理。该方法使得用户历史数据在本地边缘服务器中进行训练且只将模型参数上传至云服务器，可有效保护用户隐私又可实现个性化数据服务。通过边云协同的联合推理将个性化搜索模型部署在所有边缘服务器中以实现个性化搜索功能。如图3所示，具体包括以下步骤：
[0061]
步骤4.1：边云协同的联合推理需要对个性化搜索模型进行多轮迭代更新，在每轮训练过程中，每个边缘服务器在本地完成每轮模型训练。
[0062]
边缘服务器本地训练：具体过程表示为m
t
为t时刻训练轮次中边缘服务器所拥有的个性化搜索模型参数，x为步骤3中三种特征提取所需要的输入数据，sgd(.)表示模型迭代更新采用的随机梯度下降法，表示第k个边缘服务器在t 1时刻训
练好的个性化搜索模型参数。
[0063]
步骤4.2：边缘服务器参数上传：每个边缘服务器将更新的模型参数上传至云服务器。
[0064]
步骤4.3：云服务器参数聚合：在每轮联合推理中，云服务器对接收到的每个边缘服务器上传的模型参数与上一轮的模型参数m
t
聚合，t 1时刻聚合的模型参数表示为k为边缘服务器总数量。
[0065]
步骤4.4：云服务器参数下发：云服务器将新一轮聚合的模型参数m
t 1
发送给每个边缘服务器。
[0066]
步骤4.5：边云协同联合推理：在联合推理及训练模型中，损失函数loss定义为：
[0067][0068]
其中，表示搜索请求与目标实体的相关性得分，表示搜索请求与其他候选实体的相关性得分，而联合推理的优化目标是使得目标函数最小：其中θk表示第k个边缘服务器中个性化模型的所有参数。
[0069]
步骤4.6：模型获取：重复步骤4.1-步骤4.4直至使得步骤4.5中目标函数达到最小并趋于稳定，此时每个边缘服务器都可以获得最优的个性化搜索模型。
[0070]
步骤5：发起搜索：用户通过所持客户端设备向边缘服务器发起对实体状态数据的搜索请求。
[0071]
步骤6：搜索响应：边缘服务器或云服务器基于传统检索匹配方法筛选出相关的匹配实体结果，边缘服务器并经过存储的个性化搜索模型对反馈结果进行个性化的重新排序，再返回至管理区域内的用户。具体包括以下步骤：
[0072]
步骤6.1：边缘服务器判断用户所需实体状态数据的缓存位置，如果所需实体状态数据缓存在边缘服务器，则边缘服务器基于传统检索匹配方法执行检索，筛选出相关实体结果后再运行训练好的个性化搜索模型，对实体结果进行个性化的重新排序，使用户最满意的实体结果出现在排序列表最前面，最后将个性化实体结果列表反馈至用户。
[0073]
步骤6.2：如果所需实体状态数据没有缓存在边缘服务器，则边缘服务器将搜索请求加密后上传至云服务器。云服务器基于对称可搜索加密机制执行密文环境下一般的搜索请求与实体相关性匹配，然后将加密的实体结果列表反馈至相应的边缘服务器，边缘服务器对实体结果列表解密后再运行训练好的个性化搜索模型，对实体结果进行个性化的重新排序，同样可以为用户返回个性化的排序结果。
[0074]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。