# 深度学习与计算机视觉 课程标准

来源提交：d1779716d2734a14921f606dc8de2e945065f034
状态：修订稿（待课程组审阅）。这是与网页相同范围的阅读下载，人员明细/内部批注按发布约定移除。文中图片链接指向获准的站点资源，单独下载此Markdown不包含离线图片。

# 《深度学习与计算机视觉》课程标准

依据2026年9月14日V1.1结构重构讨论包，于2026年9月16日整理用于经授权的课程公开阅读。本文是修订稿，尚不代表正式教学采用或学校审批；本轮未开展模型训练、实物试教或性能实测。文稿成稿不等于教案、Notebook、HTML课件、模型或实机验证已完成。

## 一、课程基本信息

| 项目 | 内容 |
| --- | --- |
| 课程名称 | 深度学习与计算机视觉 |
| 性质与对象 | 实验班专业课；“智能·创造者”创新实验班 |
| 培养阶段 | S2；与学校自然学期序号分开记录 |
| 总学时 | 18周×6学时，共108学时 |
| 理实分配 | 理论36、实践72，为待课程组审阅的建议分配 |
| 教学单位 | 信息与通信学院／人工智能技术应用教研室 |
| 教学组织 | 一个持续产品、多个相互支撑的模型增量、个人模块迁移；共享设备、个人取证 |
| 考核结构 | 过程性70%＋成果性20%＋综合性10%，为课程建议口径，仍须按学校要求核定 |
| 教务代码、学分、任课与团队 | 待核定或登记，不按学时或其他课程名单推算 |

## 二、课程定位与衔接

课程承接S1《人工智能数据科学》中的机器学习与模型训练基础，以“Ego Link随身终端：设备状态与环境查看原型”为共同载体。按“上一版问题—本周产品变化—必要原理—真实训练—同产品验证”组织学习。从同源真实IMU的有限判断进入一维网络，再在同一工程加入视觉预览、二维CNN、迁移学习、有限检测、视觉检索与图像解释，利用经复核的反馈改进模型，完成跨运行环境核对、独立评价和个人迁移。

本课主责数据、模型原理、训练、评价和结果证据。端侧课主责采集驱动、转换部署、运行资源、功耗与恢复；交互课主责采集—VPS—Web应用链路、用户任务、语言/语音、状态、反馈和体验。主责界定评价重点，不禁止跨层实现；三课不另建三套平台、数据集或演示。

S1材料中的感知模块存在选学安排，不能推定所有学生已掌握CNN或同一套IMU模型。第一周用已有代码和真实短片段诊断学习情况，缺项嵌入任务补齐；已有方法可复用，现成权重的存在、标签、通道和适用分布须另行核验。数理综合(2)提供计算支撑，后续多模态感知、具身系统等课程深化长期记忆、深层融合和复杂定位。本课教学支撑关系不自动升为教务强制先修。

## 三、六类课程目标

| 编号 | 类别 | 可观察的学习目标 | 主要证据 |
| --- | --- | --- | --- |
| CO1 | 知识与原理 | 解释序列与图像张量、前向、损失、梯度和一维/二维卷积；比较分类、检测、视觉表征与VLM的输入输出，完成必要数值计算。 | 计算练习、代码解释、个人答辩 |
| CO2 | 数据能力 | 定义有限设备状态和视觉任务，复核标签，先按采集段/来源组划分再形成窗口和增强，识别泄漏、分布变化与反馈标签风险。 | 原始记录、数据清单、拆分与标注复核 |
| CO3 | 训练能力 | 复用S1基线，完成小型1D CNN、学生自建2D CNN、迁移分类头或有限微调、有限检测训练及一次复核反馈后的再训练；保存、独立加载并依据实验改进。 | 真实权重更新、日志、对照与加载记录 |
| CO4 | 评价能力 | 计算分类/检测指标并区分事件误触发；在验证数据上定阈值，核验VLM事实和未知，开展独立测试，说明覆盖率、条件和适用边界。 | 可重算计数、预测与失败样本、事实核验 |
| CO5 | 协同与迁移 | 将模型结果关联同次请求及原始输入，交接预处理、版本和结果语义，参与跨端一致性、异常归因和恢复验证，迁移一项能力至个人项目。 | 交接资料、联调对照、个人运行与修改 |
| CO6 | 职业素养 | 核验AI辅助产物，遵守授权、隐私、许可和科学诚信，真实区分历史/合成/实时数据及不同运行位置，说明个人贡献与未验证项。 | 来源、Git记录、人工复核和现场解释 |

## 四、课程结构与学时

每周三个2学时段，原理与操作穿插。第1—3周18学时主要使用IMU，第4—12周54学时以视觉为主体，第13—18周36学时综合视觉、模型与产品验证，后六周不得全部改成文档或发布管理。

| 单元 | 周次 | 理论 | 实践 | 合计 | 主要目标 |
| --- | --- | --- | --- | --- | --- |
| 1 让设备状态可见且可判断 | 1—3 | 6 | 12 | 18 | CO1、CO2、CO3、CO5、CO6 |
| 2 让状态可查询并具备视觉能力 | 4—6 | 8 | 10 | 18 | CO1、CO2、CO3、CO4、CO5 |
| 3 让拍摄、识别与反馈成为完整体验 | 7—9 | 6 | 12 | 18 | CO1、CO2、CO3、CO4、CO5 |
| 4 让多源证据与用户纠错改善判断 | 10—12 | 7 | 11 | 18 | CO1、CO2、CO3、CO4、CO6 |
| 5 让必要能力本地可用并能恢复 | 13—15 | 5 | 13 | 18 | CO1、CO4、CO5、CO6 |
| 6 在使用中验证、改进与迁移 | 16—18 | 4 | 14 | 18 | CO2、CO4、CO5、CO6 |
| 总计 | 18周 | 36 | 72 | 108 | CO1—CO6 |

第9、15、17周分别含1、1、2学时集中排错与补验，已计入72实践学时。检查、评价和共同演示嵌入原课堂，不另加课时；同一段共同活动时间不能重复计入三课。三课学期安排合计108＋108＋72＝288学时，本稿不重定另两课的理实比例。

## 五、单元教学设计

### 单元1：让设备状态可见且可判断

任务是在同一块设备的真实IMU记录上，形成有限状态判断并接回产品。第一周复用S1特征处理与训练代码建立当前任务基线；第二周训练原始序列小型1D CNN，与同次远程采集请求关联；第三周检查换姿态、操作者与过渡片段后的错误，并与实体按键/反馈区分。

重点为采样与上报、窗口和时间语义、局部连接与参数共享、实际反向更新；难点为分组拆分、连续窗口泄漏、分类错误与事件误触发的区别。采用短诊断、数值计算、同输入对照和现场解释。评价查看真实片段、参数更新、独立加载、请求关联与一项真实错误，不把运动判断外推为人的跌倒、健康或危险识别。

### 单元2：让状态可查询并具备视觉能力

在同一工程建立视觉开发预览：第四周训练学生自建小型2D CNN，第五周训练迁移分类头或有限微调，第六周稳定推理入口，为第七周正式按需图像链路提供候选。交互课的文字/语音主线继续使用已有状态结果，不等待新的视觉模型成功。

重点为二维卷积、通道、池化、感受野、冻结与微调、训练/推理差异；难点为有限数据条件下的泛化与公平比较。使用授权真实图像、小模型和同拆分对照，检查曲线、输入形状、参数量、train/eval、保存加载与失败样例。相机未就绪时如实使用共享相机或授权历史图，不停止已有IMU链路，也不把历史图标成实时。

### 单元3：让拍摄、识别与反馈成为完整体验

第七周将已有视觉候选接到本次拍摄，核对颜色、缩放和设备域变化；第八至九周围绕限定物品完成真实框标注、有限检测训练及前后对比。画面可用性与物体类别/位置分开解释，检测预览仍在同一工程，不强制交互课提前更换共同必修界面。

重点为分类与检测、框坐标、IoU、分类/定位损失、NMS和评价口径；难点为误检漏检、负样本、阈值及事件级误触发。按课前预演限制类别与训练规模，评价必须看到实际参数更新、可加载权重、至少一个可重算IoU和失败对照。第九周数据属于开发/中期验证，不冒称最终独立测试。

### 单元4：让多源证据与用户纠错改善判断

第十周用真实视觉嵌入回查相似图与失败样例，保留来源和时间；第十一周用VLM处理真实图像与有限结构化证据，并核验事实、未知和格式；第十二周区分偏好、错误标签和新样本，复核后再训练小模型或分类头，保留旧任务回归与可用旧版。

重点为向量相似度、图像分块、注意力、图文关联和反馈数据质量；难点为异步证据、相似不等于同地点、模型推断不等于原始事实、用户拒绝提醒不等于标签错误。通过小规模注意力计算、真实检索、人工事实核验与一次可复现更新评价。不得把偏好即时保存称作在线模型学习，不要求大型ViT/VLM预训练。

### 单元5：让必要能力本地可用并能恢复

第十三周对照同一输入在训练环境和真实目标端的结果；第十四周检查断网、缺样和缓存补传；第十五周分层复现、修复跨端不一致、迟到及重复问题，回归后冻结下一周评价版本。早期已做结构和算子预检查，本阶段不是首次关注部署。

重点为预处理/标签一致、量化尺度、输入范围、模型体积与峰值内存的区别；难点为流式窗口完整性、旧结果的时间语义和模型/系统原因分离。端侧课提供真实运行条件和资源/能耗记录，本课分析输出及任务效果，不以软件电源状态或模型文件导出替代实机和功耗测量。无法上板时先验证参考运行环境，目标端仍标待补验。

### 单元6：在使用中验证、改进与迁移

第十六周冻结模型、阈值、预处理和程序后使用独立测试，与用户任务记录对应；第十七周迁移一项视觉模型、数据或解释方法到个人持续项目，进行现场小修改；第十八周在真实新输入及故障情境下复现模型，说明从S1基线到当前能力的演进和局限。

重点为独立评价、条件覆盖、小样本局限、个人理解和可复现交付；难点为测试后改模和新任务指标不可直接继承。使用真实计数、同伴复现、个人解释和小修改评价。测试用于改进后降为开发/回归依据，主模型更新须另取独立测试；不得为完成材料补造指标、用户或训练结果。

## 六、原理与训练最低覆盖

| 范围 | 安排 | 最低证据 |
| --- | --- | --- |
| S1方法复用与数据纪律 | 1—3周起，图像与反馈阶段持续 | 当前真实任务的特征/分类基线；先分组再窗口/增强；来源、类别和独立组数 |
| 网络、梯度与1D CNN | 第2周 | 一次数值前向或梯度解释、真实更新、独立加载；网络输出尺寸与参数量 |
| 学生自建2D CNN | 第4周 | 真实图像小网络训练、权重与曲线；解释局部结构及与1D的联系和区别 |
| 迁移训练 | 第5周，7/12周按任务再用 | 分类头真实训练或有限微调；只加载预训练权重不算训练 |
| 泛化、阈值与拒识 | 第3、5—9、12、16周 | 同条件比较、失败条件、计数与覆盖率，不只报告高分子集 |
| 目标检测 | 第8—9周 | 真实框、坐标、IoU、有限微调/检测头训练和误检漏检分析 |
| 视觉嵌入与注意力 | 第10—11周 | 真实特征检索、相似度、分块/token及小规模注意力计算；不是大型预训练 |
| VLM | 第11周及后续 | 真实图像输入和返回；可人工核验的正确/错误/未回答/格式失败记录 |
| 复核反馈后的再训练 | 第12周 | 偏好、标签和新样本分开，复核再训练、旧任务回归与回退 |
| 导出和跨端一致性 | 第2—3、6、12—15周 | 同输入、预处理、标签和运行位置对照；目标端实际记录单独取证 |
| 独立评价与个人迁移 | 第15—18周 | 冻结后测试、个人运行与解释；改目标任务不沿用旧分数 |

最低数学实践还包括小数值加权和、交叉熵与一次梯度更新，一层卷积的输出及参数量，混淆矩阵/F1、IoU和余弦相似度。完整网络求导证明不作开工门槛，但关键计算必须能解释并与运行代码核对。

复杂分割、跟踪、完整视觉定位、深层多模态融合、长期记忆和大型模型训练为提高或后续范围，不偷偷变成108学时必修。语音识别/合成由交互课接入，服务调用不计为语音模型训练；上位培养要求仍须课程组另行核对。

## 七、数据、模型与三课交接

### 数据与测试纪律

先采集与授权、登记来源和单位、复核标签，再按采集会话/连续片段/场景等真实相关组划分训练、验证与封存测试；窗口切片和增强在划分之后进行。同源图、相邻或重叠窗口、同源变体不得跨拆分。声明跨设备/场景泛化须覆盖未见设备/场景，不能仅执行分组工具就宣称没有泄漏。

画面可用性依限定任务及人工标注定义，可用/不可用与过暗、模糊、遮挡等原因分开。无图、解码失败、缺样和通信失败是运行状态，不是模型类别。低分拒识是策略，不擅自变成已具有充分样本的第三类。样本规模按课堂训练预演决定；不复制样本凑数，不把连续帧数量当独立样本数。

训练与比较说明固定和变化的因素、数据拆分、输入、预算及环境。保留S1基线，不要求复杂模型一定胜出。第十五周回归冻结，十六周开展最终独立评价；中期失败样例可用于开发，最终测试不可用于选模型和阈值。反馈样本须复核后进入训练/验证，不污染封存测试。

### 最小交接

交接包含权重或受控索引、训练/推理入口、环境版本、结构与标签顺序、预处理、输入来源和时间、正常/失败样例、效果记录与限制。输出关联输入记录与request_id，分开采集时刻、推理时刻、模型版本、运行状态、结果和分数类型；检测另列框格式与坐标空间。沿用实际产品协议，不另建通用大框架。

| 时间 | 模型课交接与共同检查 |
| --- | --- |
| 开课前至第1周 | 核验同板IMU、已有S1代码、可复现实验环境；准备真实参考路径，不假定已有同任务权重。 |
| 第2—3周 | 新窗口与请求对应的小网络/基线入口、跨姿态错误；早期检查可用部署结构，真实位置据实标记。 |
| 第4—6周 | 同工程视觉预览、2D CNN和迁移训练、稳定候选及失败样例；第7周前可调用。 |
| 第7—9周 | 正式按需图像链路、限定检测训练和中期问题；共同构建、分维度评价。 |
| 第10—12周 | 来源/时间明确的检索与图像解释、经复核的更新、端侧可运行候选和回退版。 |
| 第13—15周 | 实际本地推理、同输入一致性、异常和回归证据；保留视觉结果评价。 |
| 第16—18周 | 独立评价、个人迁移、真实复现与共同展示；不重复计课堂时间。 |

教师真实参考模型可以维持共同链路，但须标明作者与使用范围；学生训练、教师参考、共享设备和实机补验分别登记。IMU可作端侧最低可行模型，不能因此免除本课的视觉训练要求。功耗、续航及底层恢复由端侧课按实测评价，不因本课文稿成稿认定产品达标。

## 八、考核与目标对应

保留70/20/10建议结构和各项权重，重排取证时段，使IMU入口、视觉真实训练、反馈改进与产品交接均可认定。P4由“视觉拓展实验”改为“产品视觉能力扩展”，不按彼此独立的实验完成数量计分。

| 类别 | 项目 | 权重 | 取证时段 | 主要依据 |
| --- | --- | --- | --- | --- |
| 过程性 | P1 数据与基线 | 15% | 1—3周 | 同源真实IMU、当前任务标签、分组拆分、S1基线复用与错误解释 |
| 过程性 | P2 原理与真实训练 | 20% | 2—7周 | 1D与自建2D CNN的真实更新、数值解释、保存加载及迁移训练 |
| 过程性 | P3 模型评价与改进 | 15% | 3、5—9、12、16周 | 跨条件比较、阈值/覆盖率、复核反馈后改进与独立测试纪律 |
| 过程性 | P4 产品视觉能力扩展 | 10% | 8—12周 | 同产品的有限检测训练、视觉检索、注意力理解和VLM事实核验 |
| 过程性 | P5 协同与可复现实践 | 10% | 全过程 | 请求/输入/版本关联、交接、跨端排错及关键AI核验 |
| 成果性 | O1 最终可运行模型 | 10% | 第18周 | 现场加载、真实输入推理、版本与运行位置一致，包含应完成的视觉能力 |
| 成果性 | O2 评价与交接成果 | 10% | 16—18周 | 可重算评价、限制说明、交接复现及个人迁移 |
| 综合性 | C1 个人解释与操作 | 10% | 17—18周 | 原理与本人贡献说明、现场小修改和错误定位 |

| 目标 | 主要评价依据 |
| --- | --- |
| CO1 | P2、P4、C1 |
| CO2 | P1、P3、O2 |
| CO3 | P2、P4、O1、C1，结合第12周再训练记录 |
| CO4 | P3、P4、O2、C1 |
| CO5 | P5、O1、O2、C1 |
| CO6 | P1、P3、P5、C1及全过程授权与诚信记录 |

过程评价看形成与改进，成果评价看最终运行和可复现性，综合评价看个人理解和操作。同一原始记录可支撑不同课程，但不在同一评价维度重复计分；不按统一准确率、Git提交数或材料篇数评分。

## 九、评价口径与达标要求

| 方面 | 基本达成 | 提高表现 |
| --- | --- | --- |
| 原理与训练 | 说明关键计算与训练步骤，实际参数更新且能独立恢复运行 | 据曲线、梯度或对照解释结构/参数选择及训练问题 |
| 数据与实验 | 来源、标注、分组和实验条件明确，保留失败 | 发现泄漏或分布变化，组织公平对照并有证据修订 |
| 评价与局限 | 指标可重算，验证阈值、未知与VLM错误明确 | 按条件分析错误和覆盖率，提出可验证的改进 |
| 交接与迁移 | 输入输出/预处理清楚，个人完成真实运行与修改 | 定位跨端差异，改善复现并迁移到新任务 |

分类评价说明正类、类别数量、混淆矩阵、precision/recall/F1及平均方式；窗口分类与事件误触发分别计数。拒识同时报告覆盖率和错误，未校准分数不当现实正确概率。检测固定框匹配、IoU、分数阈值与类别集合，AP/mAP与固定阈值计数分开。VLM统计可人工核验问题的正确、错误、未回答及格式失败，不以自报置信度取证。

性能记录设备、运行时、输入、batch、预热和次数，区分预处理、模型推理、端到端耗时；权重体积不等于峰值内存。保留种子、版本、拆分与配置，不承诺不同硬件逐位相同。更换任务后重新评价，不直接移用旧指标。

未真实训练、没有真实图像推理或无法解释本人核心工作时，对应目标登记待补验。外部设备/服务阻塞与学生能力分别认定，可先提供参考环境证据，实机或真实调用部分仍待补；教师日志和固定输出不算学生运行。诚信和严重授权问题按学校制度处理，本稿不另创处罚规则。

## 十、教学条件、AI协作与安全

沿用S1及当前可维护的工具环境，教师课前核验框架、权重、数据许可、CPU回退与共享算力。可采用Python及单一成熟深度学习框架，不宣称S1全体已使用某框架；确有等价成熟环境时保持原理和证据要求，不同时建设多套平台。

预演IMU真实采样、窗口与时间；检查第4周视觉采集/解码、小型训练、检测短训练、嵌入与VLM调用的实际耗时和内存，按结果限缩规模。共享GPU、服务配额、算子支持和模型尺寸均须实核，不据文稿认定已经可用。50Hz、2秒、6通道的卷积练习仅是数值示例，不是硬件参数。

AI辅助解释、编码与排错，学生负责问题定义、数据与计算、运行核验和结论。只保存关键改动与验证，不强制交全部聊天。真实、回放、合成数据分别标记，原值、模型判断与用户动作分别保存；旧值不能重新标成新观测。

优先非敏感物品与受控设备动作；不采集连续个人监控数据，不开展人体危险、健康或身份判断。人脸、声音、位置及未授权图像不上传外部模型或公开仓库；检查敏感EXIF、账号、服务地址及凭据，数据、代码、权重分别核对许可。摄像头按需或教学事件触发，物理动作限教学设备且可人工停止。

## 十一、版本、来源与审核

2026年9月14日源包为V1.1结构重构讨论稿，包含00—05研究文件、三课planning JSON、来源说明和V1.0对照正文。2026年9月16日据其产品迭代方向重构本标准，与本次[课程描述](https://ai.openkub.com/courses/deep-learning-computer-vision/#description)及[授课计划](https://ai.openkub.com/courses/deep-learning-computer-vision/#plan)配套。当前UX V2.1源文件及本地S1、端侧试行资料仅用于差异核查，不随本稿被覆盖或认定为已经共同批准。

保留V1.0历史来源，不使用缺失附件的编号式参考文献。课程名称、108学时和三课6/6/4周学时不变；六目标与70/20/10结构保留。调整学习起点、六单元、周理实分配、训练时点和取证时段；第4周起视觉主体、后六周仍检查视觉模型，未扩充完整定位或大型模型任务。

开课前须课程组核定S1实际掌握、三课排期、同板输入、框架/算力、标签与训练预算；正式采用、学分、教务代码、任课、审批仍按教学单位流程办理。负责人、教研室负责人、教学单位负责人及审核日期均待填写。本稿发布后按真实教学反馈迭代，不以发布记录替代审批和实测。