一种媒体数据记录与播放方法与流程

本发明实施例涉及多媒体数据存储，尤其涉及一种媒体数据记录与播放方法。

背景技术：

1、在培训、会议等交流和学习场景中，人们基于场景记录数据，通常包括两种形式，第一为图片拍摄，即在用户识别到重要信息时，拍照以执行记录；另一种为视频拍摄，即录制整个交流学习过程。但是，以上现有技术提供的媒体数据记录方法存在非常明显的缺陷，例如，用户通过拍摄图片方式记录会议过程，对一次会议记录完成，用户通常采集了大量的图片数据，但是，所述图片数据仅对应于每个拍摄瞬间，所记录的过程不连续，所记录的数据并不能涵盖整个事件发生过程，另外，所记录数据仅包括图像数据，存在信息量不完整问题（缺少事件发展中声音等），所以，图片拍摄记录方式关键信息记录清楚，但记录过程不连续，记录的内容不完整。关于视频拍摄的记录方式，一个家长会开了足足一个小时，录制的视频文件占用了巨大的存储空间，寻找其中一个场景内容，需要反复播放视频，另外因视频进行了压缩，一些画面可能存在不清晰的情况。可见，亟需发明一种新的媒体数据记录与播放方法，解决以上媒体数据记录问题。

技术实现思路

1、针对上述问题，本发明提出一种媒体数据记录与播放方法，旨在为用户提供一种简单且有效的场景记录方式，使记录的内容具有连贯性，同时重点内容细节完整，提升用户体验。

2、第一方面，本发明提供了一种媒体数据记录与播放方法，应用于针对目标场景记录媒体数据，该方法包括：

3、响应于开始记录指令对目标场景执行记录，启动第一音频录制以采集所述目标场景声音获得第一音频数据dsound；

4、响应于第n（n>0）个可视数据采集指令，创建关键帧kn并记录其对应的创建时间tn，获取可视数据dn，并记录为所述关键帧kn的关键帧数据；

5、响应于停止记录指令以结束记录，将所述第一音频数据dsound、所述关键帧kn及其关键帧数据存储生成媒体数据；

6、响应于启动播放指令以启动播放过程，读入所述媒体数据，解析其包含的所述第一音频数据dsound、所述关键帧kn及其关键帧数据，播放所述第一音频数据dsound，并启动定时器控制所述关键帧kn播放，根据所述关键帧kn对应的创建时间tn定时播放所述关键帧kn包含的所述可视数据dn。

7、响应于启动播放指令以启动播放过程，读入所述媒体数据，解析其包含的所述第一音频数据dsound、所述关键帧kn及其关键帧数据，播放所述第一音频数据dsound，并启动定时器控制所述关键帧kn播放，根据所述关键帧kn对应的创建时间tn定时播放所述关键帧kn包含的所述可视数据dn。

8、通过以上实现方式，所记录的媒体数据中，包括连续的声音数据dsound以及根据需求不定时记录的关键帧kn，每个关键帧kn包含一个可视数据dn，其中，声音数据有利于记录过程的完整性，可视数据根据需求执行采集，例如通过图片拍摄的方式记录，所采集的图像清晰度远大于视频中的图片清晰度，有利于保证关键内容的细节。

9、可选的，在执行所述媒体数据记录前，还包括对录制参数进行设置，所述录制参数包括但不限于画布尺寸、图像格式、画质高低、压缩参数、视频编码格式、视频压缩设置、声音设置中的一种或多种。

10、以上实现方式中，所述可视数据类型包括但不限于图像、涂鸦、视频、文本、文件、网页、网络链接等，所述可视数据采集包括拍照、选择图片、拍摄视频、执行涂鸦、输入文本、增加网址、增加文件、浏览文件等，例如，用户通过拍摄图片增加一个关键帧，在当前关键帧画面上执行涂鸦标记操作；或者，新建一个空白的关键帧，在其上执行涂鸦标记操作；在关键帧中输入或插入文本内容；在关键帧中设置网络链接或者为关键帧中的某个元素设置网络链接，以使在执行播放时点击关键帧画面或其中的元素可访问所述网络链接；用户增加一个pdf文件，跟随讲解者的讲解进度，执行翻页操作。

11、在一种可能的实现方式中，在所述录制状态进行所述可视数据采集，响应于视频拍摄指令以启动视频录制，确定所述视频录制包含音频录制时，则停止所述第一音频录制，记录当前时间为视频录制起始时间，并启动所述视频录制；在接收到结束视频录制指令后，停止所述视频录制，重新启动所述第一音频录制，并记录其重新启动录制的时间tn。该实现方式提供了在所述媒体数据记录过程中插入视频的方法，其中，视频记录包含连续的图像，适用于可视内容持续发生变化的、关键的场景，例如记录实验过程等。当所述视频录制不包括音频录制时，所述视频录制不会对第一音频录制产生干扰；当所述视频录制包括音频录制时，为避免重复采集音频数据，因此在启动录制时停止所述第一音频录制，并在录制完成后启动所述第一音频录制。

12、在一种可能的实现方式中，通过拍摄图片进行所述可视数据采集，识别图片中的投射内容，将识别成功的所述投射内容执行图像变换，转换为指定尺寸、宽高比例的图片作为可视数据记录，其中，所述投射内容为通过投影或放映方式展示的内容。该实现方式有利于针对投射场景获得高质量的可视数据，例如，用户针对ppt讲解的场景采集可视数据，其中，ppt内容通过电视、投影等方式呈现，用户拍摄图片获得可视数据，毫无疑问，图片中ppt画面是需记录的有效内容，但由于用户拍摄的位置、角度等，所拍摄的画面通常如图5所示，其中阴影部分四边形abcd为透射的ppt画面内容，不难看出，使用图5所示的图片记录质量较差，根据本实现方式提供的方法，则将四边形abcd进行transform变换、skew变换等，最终转换为矩形图片，或者进一步转换为适配可视内容显示尺寸的矩形图片，获得高质量的可视数据。

13、在一种可能的实现方式中，在所述录制状态进行可视数据采集，当需要增加可视内容时，创建空白关键帧或获取最后一次采集的图像数据作为关键帧，将所采集的可视数据在所述关键帧中显示。通过该实现方式，例如，用户拍摄一张图片作为关键帧k1，在其上输入文字进行备注，所输入的文字内容存储在k1中或合并在k1的图片上，而另一种增加文字说明的方式为，创建一个空白的关键帧k2，所述关键帧k2包含对应的创建时间，在k2上输入文字内容。该实现方式支持在采集可视内容时自动创建关键帧或手动创建关键帧以存放可视内容。

14、在一种可能的实现方式中，在所述录制状态进行可视数据采集，基于指定时间，生成网络请求发送，从网络获取所述指定时间范围内的可视数据，所述可视数据来源于其它用户的网络共享，其中，通过所述网络请求可获取同一所述目标场景的用户共享数据。还包括，将所述可视帧数据向服务端提交，以向其它用户共享所述可视帧数据。该实现方式提供了一种通过网络共享从其它用户获取可视数据的方式，以及向其它用户共享可视数据的方式。可选的，在所述录制状态下，基于当前时间，从网络共享获取可视数据并添加在当前记录的媒体数据中。可选的，在播放或编辑状态下，根据当前播放的时间位置，从网络共享获取可视数据并添加在当前媒体数据中。

15、在一种可能的实现方式中，在所述录制状态进行可视数据采集，还包括，为指定的关键帧建立关键帧索引，为所述关键帧索引提供命名；在播放时，显示所述关键帧索引命名信息，通过所述关键帧索引快速跳转到指定关键帧，跳转后，以所述关键帧包含的时间为新的播放时间，将所述第一音频跳转至所述新的播放时间并播放。该实现方式通过为关键帧建立索引和命名，为快速浏览、查找内容提供支持。

16、在一种可能的实现方式中，在结束记录过程之后，还包括，响应于编辑指令以启动媒体数据编辑，该编辑包括对关键帧、可视数据的编辑，包括创建关键帧索引，修改关键帧索引命名、嵌入来自网络共享的关键帧数据、删除关键帧、编辑关键帧内容、生成字幕、编辑字幕中的一种。该实现方式提供在录制完成后对所生成的媒体数据进行编辑。

17、在一种可能的实现方式中，在结束所述记录过程之后，还包括，识别所述第一音频数据dsound中的语音文字，将识别出的文字生成文本类型的所述可视数据，并记录其对应的时间信息，所述语音文字用于在播放时生成字幕。该实现方式基于所采集的音频数据识别文字生成字幕，每一段字幕文字均有对应的播放时间戳，可选的，支持用户对所识别出的文字进行编辑，以修正识别结果。

18、在一种可能的实现方式中，在结束所述记录过程之后，还包括，基于所述媒体数据执行播放，并基于所述播放过程录制生成视频。该实现方式基于所记录的媒体数据生成视频，其中，第一音频数据即为视频中的音频内容，可视数据即对应于播放时间轴生成所述视频的图像内容。

19、第二方面，本发明提供了一种媒体数据记录装置，所述装置包括声音录制模块、可视数据生成模块、数据存储模块、设置模块。所述声音录制模块，用于录制第一音频数据。所述可视数据生成模块，用于接收可视数据采集指令，创建关键帧并记录其对应的创建时间，获取可视数据并记录为所述关键帧的关键帧数据，所述可视数据类型包括图像、涂鸦、视频、文本、网页、文件中的一种或多种，所述可视数据采集包括拍照、选择图片、拍摄视频、执行涂鸦、输入文本、增加网址、增加文件、浏览文件中的一种或多种。在一种可能的实现方式中，所述可视数据生成模块还包括基于指定的时间信息，从网络共享获取可视数据的功能。所述数据存储模块，用于根据所采集的声音数据、可视数据以及对应的时间信息，结构化存储生成媒体数据。

20、在一种可能的实现方式中，所述媒体数据记录装置还包括设置模块，所述设置模块包括但不限于声音录制设置、画布尺寸设置、图像拍摄设置、网络共享设置、存储设置等一种或多种设置功能。

21、第三方面，本发明提供了一种媒体数据播放装置，所述媒体数据播放装置包括数据解析模块、声音播放模块、可视数据播放模块、播放控制模块。其中，所述数据解析模块用于读入并解析媒体数据，解析所述媒体数据中包含的第一音频数据、关键帧数据；所述声音播放模块用于播放第一音频数据；所述可视数据播放模块用于播放可视数据，读入关键帧数据，启动定时器控制播放，根据所述关键帧kn对应的创建时间tn定时播放所述关键帧kn包含的所述可视数据，其播放方式包括显示图片、播放视频、显示文字、显示涂鸦、显示文件、打开网址、显示文件中的一种或多种；所述播放控制模块用于控制播放过程，例如播放、暂停、停止、快进、快退、跳转到指定位置播放等。

22、在一种可能的实现方式中，所述媒体数据播放装置还包括编辑模块，所述编辑模块包括以下一种或多种功能：对媒体中的关键帧进行编辑，或者对某关键帧中的可视数据进行编辑；基于所述第一音频数据中包含的语音信息，生成字幕；根据所述媒体数据的播放内容或效果生成视频文件。

23、综合以上可见，本技术实施例所提供的媒体数据记录与播放方法，相比传统的照片拍摄记录方法，全过程的声音记录具有连续性，相比传统的视频拍摄记录方法，所生成的媒体记录文件小，且关键节点记录的可视信息更清晰，且便于浏览和检索，媒体内容更加丰富，可增加备注，同时具有内容共享的优势。