(12)发明专利申请
(10)申请公布号 CN 112468822 A(43)申请公布日 2021.03.09
(21)申请号 202011230165.X(22)申请日 2020.11.06
(71)申请人 上海钦文信息科技有限公司
地址 201203 上海市浦东新区中国（上海）
自由贸易试验区博云路2号501-B室(72)发明人 潘鹏凯 唐进 吕复强 王晔
张瀚珑 邵雪宝 张莉 赵巍 林毅 孟海跃 李大鹏 郑国雷 (74)专利代理机构 上海领洋专利代理事务所
(普通合伙) 31292
代理人 俞晨波(51)Int.Cl.
H04N 19/46(2014.01)H04N 19/44(2014.01)H04N 19/70(2014.01)
权利要求书2页 说明书7页 附图1页
G09B 5/08(2006.01)G09B 7/00(2006.01)
CN 112468822 A(54)发明名称
一种基于视频SEI消息的多媒体录播课互动方法
(57)摘要
本发明公开了一种基于视频SEI消息的多媒体录播课互动方法，在H.264解码中将课程互动信息通过SEI消息的方式同步编码进教学视频中，课程播放时通过对该消息的解析，触发互动模块加载对应互动素材提供课中的交互体验。通过该技术的实施，可以实现教学与练习的有机结合，增强录播课堂的氛围感，提升学生注意力，最终提高教学效果。同时H.264编码中包含的SEI信息可通过流媒体方式同步传输，实现更多场景的教学与互动的准确同步，使基于本技术开展的录播课形态不再仅限于观看录像这一单一形态，包括流媒体直播、视频自由分组分段播放等多种形态都成为可能。
CN 112468822 A
权 利 要 求 书
1/2页
1.一种基于视频SEI消息的多媒体录播课互动方法，其特征在于：在H.264解码中将课程互动信息通过SEI消息的方式同步编码进教学视频中，课程播放时通过对该消息的解析，触发互动模块加载对应互动素材提供课中的交互体验。
2.根据权利要求1所述的一种基于视频SEI消息的多媒体录播课互动方法，其特征在于：所述方法包括如下步骤：
S1：设计制定互动素材协议
互动素材为课程进行到一定阶段时，由互动模块加载呈现的交互内容的原始素材，包含这几种类型：
单选题、语音跟读题、填空题、连线题等习题类素材；单题排行榜、累积排行榜等排行信息素材；虚拟击掌、自由表达等氛围信息素材；S2：构建课程编辑平台提供互动素材配置与触发时机配置能力构建课程编辑平台，为每一节课程提供上传课程视频及对应的编辑入口，它通过表单方式实现互动素材配置能力，而最终这些配置作用，定义了互动素材出现的时机、样式等细节内容；
S3：设计制定互动素材触发消息协议
针对S2定义的互动素材触发时机以及触发时的属性等配置，制定消息协议，描述授课时的互动元素的展示相关属性，消息协议由ID、Action与Data构成，Action描述互动元素类型，Data描述该互动元素对应的素材ID、提交序列号、答题时长以及样式；
S4：构建能力将互动素材触发消息编码至视频流SEI消息中针对S3定义的触发消息协议，利用H.264的SEI消息机制，在互动素材的对应时间范围内将SEI消息同步编码至视频流中，H.264由视频编码层面(VCL)和网络抽象层面(NAL)构成，而在NAL层提供了诸如IDR图像、序列参数集(SPS)、图像参数集(PPS)、补充增强信息(SEI)等多种类型的单元，其中的SEI消息作为补充增强信息，提供了自定义Payload传输的能力，在视频编码时计算互动素材需要出现的时间点，将S3协议内容字符写入SEI消息Payload；
S5：构建服务集群提供课堂素材库访问API与上课交互API接口构建服务器集群，针对每堂进行的课程，服务器加载配置平台中该课程配置的互动素材库，并提供获取互动素材完整内容的数据内容API，用以完成互动素材的传输，同时为了在课堂提供排行、奖励等功能，构建课堂互动API实现奖励积分、实时排名等交互功能；
S6:构建客户端能力在播放时解码SEI消息并解析互动协议上课时，视频播放器解码H.264视频，并添加对于SEI消息的解码环节，具体SEI解码过程与S4中描述的SEI消息解析一致，每当遇到SEI消息时，抽取其Payload部分数据，按照S3所规定的协议解析内容，获取互动素材的素材ID以及对应的时长、样式等辅助信息，通过S5所提供的素材库访问API，互动模块获取所有互动所需资源，并调用互动模块渲染互动能力，提供交互体验；
S7:构建互动模块渲染素材提供课堂互动能力
S6中的解析互动素材协议与互动消息协议后的互动素材，对于其不同形态，分别设计构建对应的互动能力，比如实现数字化互动的选择题、语音跟读题、连线题等练习相关题
2
CN 112468822 A
权 利 要 求 书
2/2页
目，提供单题排行榜、累积排行榜等课堂学习结果相关互动，还有虚拟击掌、自由表达等课堂氛围性互动；
整个互动使用Web技术实现跨多端交互能力以及快速升级能力。
3.根据权利要求2所述的一种基于视频SEI消息的多媒体录播课互动方法，其特征在于：所述互动素材协议由ID、名称、类型、版本等基本属性以及Content中具体内容元素构成，Content中包含提干、选项、答案、答题反馈语音与视频等元素，其中的Countdown字段表示倒计时结束的总时长，为辅助互动计时的属性字段。
4.根据权利要求2所述的一种基于视频SEI消息的多媒体录播课互动方法，其特征在于：所述互动素材触发消息协议由ID、Action与Data构成，Action描述互动元素类型，Data描述该互动元素对应的素材ID、提交序列号、答题时长以及样式。
5.根据权利要求2所述的一种基于视频SEI消息的多媒体录播课互动方法，其特征在于：为了保证传输过程中不因数据丢包产生互动消息的丢失，保持每个SEI消息写入时长持续3秒，并保持同一时刻新消息对于旧消息的覆盖替换。
6.根据权利要求1所述的一种基于视频SEI消息的多媒体录播课互动方法，其特征在于：所述多媒体录播课包括课前排课、内容制作、直播/点播上课、点播服务、课后分析，所述课前排课通过商务/运营和AOT进行排课和做课后处理。
7.根据权利要求6所述的一种基于视频SEI消息的多媒体录播课互动方法，其特征在于：所述内容制作由老师来对课程进行录制，并在录制后对脚本及视频进行处理，处理完成通过ACME服务进行转码发布。
8.根据权利要求6所述的一种基于视频SEI消息的多媒体录播课互动方法，其特征在于：所述直播/点播上课包括老师教学端、题目后台、绿幕课件、ASC服务、直播服务器、点播服务、Gateway、CDN、爱乐奇客户端和学生端。
9.根据权利要求6所述的一种基于视频SEI消息的多媒体录播课互动方法，其特征在于：所述课后分析包括Nova、报告H5和学生端。
3
CN 112468822 A
说 明 书
一种基于视频SEI消息的多媒体录播课互动方法
1/7页
技术领域
[0001]本发明涉及数字化教学场景中的音视频处理技术领域，更具体为一种基于视频SEI消息的多媒体录播课互动方法。
背景技术
[0002]在数字化教学场景中，录播课教学主要是通过对老师的上课内容进行前期录制与后期加工等步骤，制作针对某一领域知识的一系列教授课程的视频内容，而学生通过对该视频的观看来实现学习的一种授课形态。录播课由于具有一次制作多次使用、课程成本低廉、学生学习时间灵活等特点，一直被广泛用于各种学科与年龄段学生的教学过程中。[0003]同时随着数字化教学内容的发展，当前教学场景中的数字化互动元素也越来越多。从讲课的课件到课后作业，从手指点击到语音识别，甚至基于视频语义识别能力的互动都更加频繁的出现在教学的互动场景。自然的，将录播课与更加丰富的数字化教学互动结合的技术也开始获得发展的机会。[0004]另一方面随着互联网技术的发展，基于H.264编码的视频处理技术也越来越成熟，支持该技术的软硬件设备成几何倍的增加。对应点播与直播播放技术更加成熟，而内容制作也随着更多工具的发展变的更易制作。
[0005]H.264编码能力能提供流畅连续的高质量图像，容错能力强。同时H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具，网络适应性强。H.264由视频编码层面(Video Coding Layer，简称VCL)和网络抽象层面(Network Abstraction Layer，简称NAL)构成，在NAL层提供了诸如IDR图像、序列参数集(SPS)、图像参数集(PPS)、补充增强信息(SEI)等多种类型的单元。其中的SEI消息作为补充增强信息，提供了自定义Payload传输的能力，通过该Payload的自定义可以实现在普通播放之外其他信息的有效补充。[0006]本发明技术旨在引入多种教学互动丰富录播课的课程内容，提升学习的临场氛围，提高学生的上课注意力。而通过SEI消息的引入，保证互动时机与录播互动课配合的强一致性。最终实现综合提升学生学习效果的目标。[0007]现有技术中，将视频播放与教学交互分开独立处理的方案，在教学与交互两个部分实际上是相互割裂的。因此它有着体验差、上课中的教与练无法有机结合的缺点。[0008]而对于按照预设视频播放时间触发互动的处理方案，其交互的时机需要对视频播放时间进行监控，对于视频播放卡顿造成的播放速度变化比较敏感，同时由于所有的互动均是按照一个预设的时间进行的触发，它也无法将录播资源通过流媒体的方式实现对外的不限时间的直播形态，灵活性较差。为此，需要设计一个新的方案给予改进。发明内容
[0009]本发明的目的在于提供一种基于视频SEI消息的多媒体录播课互动方法，解决了背景技术中所提出的问题，满足实际使用需求。[0010]为实现上述目的，本发明提供如下技术方案：一种基于视频SEI消息的多媒体录播
4
CN 112468822 A
说 明 书
2/7页
课互动方法，在H.264解码中将课程互动信息通过SEI消息的方式同步编码进教学视频中，课程播放时通过对该消息的解析，触发互动模块加载对应互动素材提供课中的交互体验。[0011]作为本发明的一种优选实施方式，所述方法包括如下步骤：[0012]S1：设计制定互动素材协议
[0013]互动素材为课程进行到一定阶段时，由互动模块加载呈现的交互内容的原始素材，包含这几种类型：[0014]单选题、语音跟读题、填空题、连线题等习题类素材；[0015]单题排行榜、累积排行榜等排行信息素材；[0016]虚拟击掌、自由表达等氛围信息素材；[0017]S2：构建课程编辑平台提供互动素材配置与触发时机配置能力[0018]构建课程编辑平台，为每一节课程提供上传课程视频及对应的编辑入口，它通过表单方式实现互动素材配置能力，而最终这些配置作用，定义了互动素材出现的时机、样式等细节内容；[0019]S3：设计制定互动素材触发消息协议
[0020]针对S2定义的互动素材触发时机以及触发时的属性等配置，制定消息协议，描述授课时的互动元素的展示相关属性，消息协议由ID、Action与Data构成，Action描述互动元素类型，Data描述该互动元素对应的素材ID、提交序列号、答题时长以及样式；[0021]S4：构建能力将互动素材触发消息编码至视频流SEI消息中[0022]针对S3定义的触发消息协议，利用H.264的SEI消息机制，在互动素材的对应时间范围内将SEI消息同步编码至视频流中，H.264由视频编码层面(VCL)和网络抽象层面(NAL)构成，而在NAL层提供了诸如IDR图像、序列参数集(SPS)、图像参数集(PPS)、补充增强信息(SEI)等多种类型的单元，其中的SEI消息作为补充增强信息，提供了自定义Payload传输的能力，在视频编码时计算互动素材需要出现的时间点，将S3协议内容字符写入SEI消息Payload；[0023]S5：构建服务集群提供课堂素材库访问API与上课交互API接口[0024]构建服务器集群，针对每堂进行的课程，服务器加载配置平台中该课程配置的互动素材库，并提供获取互动素材完整内容的数据内容API，用以完成互动素材的传输。同时为了在课堂提供排行、奖励等功能，构建课堂互动API实现奖励积分、实时排名等交互功能；[0025]S6:构建客户端能力在播放时解码SEI消息并解析互动协议[0026]上课时，视频播放器解码H.264视频，并添加对于SEI消息的解码环节，具体SEI解码过程与S4中描述的SEI消息解析一致，每当遇到SEI消息时，抽取其Payload部分数据，按照S3所规定的协议解析内容，获取互动素材的素材ID以及对应的时长、样式等辅助信息，通过S5所提供的素材库访问API，互动模块获取所有互动所需资源，并调用互动模块渲染互动能力，提供交互体验；
[0027]S7:构建互动模块渲染素材提供课堂互动能力
[0028]S6中的解析互动素材协议与互动消息协议后的互动素材，对于其不同形态，分别设计构建对应的互动能力，比如实现数字化互动的选择题、语音跟读题、连线题等练习相关题目，提供单题排行榜、累积排行榜等课堂学习结果相关互动，还有虚拟击掌、自由表达等课堂氛围性互动；
5
CN 112468822 A[0029]
说 明 书
3/7页
整个互动使用Web技术实现跨多端交互能力以及快速升级能力。
[0030]作为本发明的一种优选实施方式，所述互动素材协议由ID、名称、类型、版本等基本属性以及Content中具体内容元素构成，Content中包含提干、选项、答案、答题反馈语音与视频等元素，其中的Countdown字段表示倒计时结束的总时长，为辅助互动计时的属性字段。
[0031]作为本发明的一种优选实施方式，所述互动素材触发消息协议由ID、Action与Data构成，Action描述互动元素类型，Data描述该互动元素对应的素材ID、提交序列号、答题时长以及样式
[0032]作为本发明的一种优选实施方式，为了保证传输过程中不因数据丢包产生互动消息的丢失，保持每个SEI消息写入时长持续3秒，并保持同一时刻新消息对于旧消息的覆盖替换。
[0033]作为本发明的一种优选实施方式，所述多媒体录播课包括课前排课、内容制作、直播/点播上课、点播服务、课后分析，所述课前排课通过商务/运营和AOT进行排课和做课后处理。
[0034]作为本发明的一种优选实施方式，所述内容制作由老师来对课程进行录制，并在录制后对脚本及视频进行处理，处理完成通过ACME服务进行转码发布。[0035]作为本发明的一种优选实施方式，所述直播/点播上课包括老师教学端、题目后台、绿幕课件、ASC服务、直播服务器、点播服务、Gateway、CDN、爱乐奇客户端和学生端。[0036]作为本发明的一种优选实施方式，所述课后分析包括Nova、报告H5和学生端。[0037]与现有技术相比，本发明的有益效果如下：[0038](1)本发明，在H.264解码中将课程互动信息通过SEI消息的方式同步编码进教学视频中，课程播放时通过对该消息的解析，触发互动模块加载对应互动素材提供课中的交互体验。通过该技术的实施，可以实现教学与练习的有机结合，增强录播课堂的氛围感，提升学生注意力，最终提高教学效果。同时H.264编码中包含的SEI信息可通过流媒体方式同步传输，实现更多场景的教学与互动的准确同步，使基于本技术开展的录播课形态不再仅限于观看录像这一单一形态，包括流媒体直播、视频自由分组分段播放等多种形态都成为可能；[0039](2)通过本技术进行的录播课教学能够在更多的场景实现录播课中教师教授过程与学生练习互动的有机结合。通过诸如选择题、语音跟读题等题目调动学生注意力，并实时形成反馈，边学边练。通过每道题的班级排行榜与“星星”奖励，给予学生对应的答题奖励，提升其成就感。通过“虚拟击掌”、“自由表达”等互动，为学生带来真实上课的沉浸体验，帮助其更好的完成学习，最终提升学习效果。附图说明
[0040]图1为本发明所述基于视频SEI消息的多媒体录播课互动方法的架构图。具体实施方式
[0041]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
6
CN 112468822 A
说 明 书
4/7页
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0042]请参阅图1，本发明提供一种技术方案：一种基于视频SEI消息的多媒体录播课互动方法，在H.264解码中将课程互动信息通过SEI消息的方式同步编码进教学视频中，课程播放时通过对该消息的解析，触发互动模块加载对应互动素材提供课中的交互体验。[0043]进一步改进地，方法包括如下步骤：[0044]S1：设计制定互动素材协议
[0045]互动素材为课程进行到一定阶段时，由互动模块加载呈现的交互内容的原始素材，包含这几种类型：[0046]单选题、语音跟读题、填空题、连线题等习题类素材；[0047]单题排行榜、累积排行榜等排行信息素材；[0048]虚拟击掌、自由表达等氛围信息素材；[0049]互动元素协议如下：
[0050]
7
CN 112468822 A
说 明 书
5/7页
[0051]
[0052]
S2：构建课程编辑平台提供互动素材配置与触发时机配置能力
[0053]构建课程编辑平台，为每一节课程提供上传课程视频及对应的编辑入口，它通过表单方式实现互动素材配置能力，而最终这些配置作用，定义了互动素材出现的时机、样式等细节内容
[0054]具体配置项如下：
[0055]
配置项示例类型Type互动题、排行榜、击掌样式Style全屏开始位置StartOffset00:05:01互动流程Flow答题、判题、奖励、排行答题时长Duration5s
[0056]S3：设计制定互动素材触发消息协议
[0057]针对S2定义的互动素材触发时机以及触发时的属性等配置，制定消息协议，描述授课时的互动元素的展示相关属性，消息协议由ID、Action与Data构成，Action描述互动元素类型，Data描述该互动元素对应的素材ID、提交序列号、答题时长以及样式，协议如下：
8
CN 112468822 A
说 明 书
6/7页
[0058]
S4：构建能力将互动素材触发消息编码至视频流SEI消息中
[0060]针对S3定义的触发消息协议，利用H.264的SEI消息机制，在互动素材的对应时间范围内将SEI消息同步编码至视频流中，H.264由视频编码层面(VCL)和网络抽象层面(NAL)构成，而在NAL层提供了诸如IDR图像、序列参数集(SPS)、图像参数集(PPS)、补充增强信息(SEI)等多种类型的单元，其中的SEI消息作为补充增强信息，提供了自定义Payload传输的能力，在视频编码时计算互动素材需要出现的时间点，将S3协议内容字符写入SEI消息Payload；[0061]S5：构建服务集群提供课堂素材库访问API与上课交互API接口[0062]构建服务器集群，针对每堂进行的课程，服务器加载配置平台中该课程配置的互动素材库，并提供获取互动素材完整内容的数据内容API，用以完成互动素材的传输。同时为了在课堂提供排行、奖励等功能，构建课堂互动API实现奖励积分、实时排名等交互功能；[0063]S6:构建客户端能力在播放时解码SEI消息并解析互动协议[0064]上课时，视频播放器解码H.264视频，并添加对于SEI消息的解码环节，具体SEI解码过程与S4中描述的SEI消息解析一致，每当遇到SEI消息时，抽取其Payload部分数据，按照S3所规定的协议解析内容，获取互动素材的素材ID以及对应的时长、样式等辅助信息，通过S5所提供的素材库访问API，互动模块获取所有互动所需资源，并调用互动模块渲染互动能力，提供交互体验；
[0065]S7:构建互动模块渲染素材提供课堂互动能力
[0066]S6中的解析互动素材协议与互动消息协议后的互动素材，对于其不同形态，分别设计构建对应的互动能力，比如实现数字化互动的选择题、语音跟读题、连线题等练习相关题目，提供单题排行榜、累积排行榜等课堂学习结果相关互动，还有虚拟击掌、自由表达等课堂氛围性互动；
[0067]整个互动使用Web技术实现跨多端交互能力以及快速升级能力。[0068]进一步改进地，互动素材协议由ID、名称、类型、版本等基本属性以及Content中具体内容元素构成，Content中包含提干、选项、答案、答题反馈语音与视频等元素，其中的Countdown字段表示倒计时结束的总时长，为辅助互动计时的属性字段。[0069]进一步改进地，互动素材触发消息协议由ID、Action与Data构成，Action描述互动
9
[0059]
CN 112468822 A
说 明 书
7/7页
元素类型，Data描述该互动元素对应的素材ID、提交序列号、答题时长以及样式[0070]进一步改进地，为了保证传输过程中不因数据丢包产生互动消息的丢失，保持每个SEI消息写入时长持续3秒，并保持同一时刻新消息对于旧消息的覆盖替换。[0071]进一步改进地，多媒体录播课包括课前排课、内容制作、直播/点播上课、点播服务、课后分析，课前排课通过商务/运营和AOT进行排课和做课后处理。[0072]进一步改进地，内容制作由老师来对课程进行录制，并在录制后对脚本及视频进行处理，处理完成通过ACME服务进行转码发布。[0073]进一步改进地，直播/点播上课包括老师教学端、题目后台、绿幕课件、ASC服务、直播服务器、点播服务、Gateway、CDN、爱乐奇客户端和学生端，题目后台包括推流配置和习题发送，ASC服务包括排课API、习题API、课程管理API、媒体API，由直播服务器来进行推拉流、转码和录制，CDN包含多条网络线路供学生进行选择，学生端可以通过点播服务来进行课程点播。
[0074]具体地，课后分析包括Nova、报告H5和学生端，Nova包括排课算法、AI分析和课后报告，分析产生课后报告后，学生端和老师教学端可以进行下载查看。[0075]多媒体录播课工作流程如下：[0076]1、设计录播课教学大纲与课程分解详细计划，详细设计每节课教学内容与流程；[0077]2、基于教学人员设计的流程，前期摄制人员拍摄录播课视频素材，教师配合完成教授过程，并在互动素材的出现时间端内，进行相对应配合的教学视频片段演出；[0078]3、构建完善课程编辑与配置平台，供教学人员完成每节课程互动素材的编辑、检查与发布；[0079]4、后期教学制作人员根据之前设计的每一节课程的内容与节奏，完成视频与互动素材录入与后期同步工作；[0080]5、互动配置平台在课程发布时，完成本方法定义的互动消息协议与视频内容的同步编码，将协议内容编入SEI消息内；[0081]6、上课平台在播放环节，在视频实时解码的同时，解码SEI消息，并基于本方法定义的互动消息协议进行互动内容的解码，提供给互动模块完成互动的展示与交互；[0082]7、辅助课程编辑平台与上课平台的构建，建设弹性扩展的服务器集群用以存储、配置、提供互动素材，并为每一节课提供必要的课程互动支持。[0083]最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
10
CN 112468822 A
说 明 书 附 图
1/1页
图1
11
因篇幅问题不能全部显示，请点此查看更多更全内容