CVPR 2022 AI 安全挑战赛：面向复杂场景的鲁棒机器学习大赛

近日，安全为了更好地推动安全可靠AI模型相关领域的挑战技术研究与人才培养，鼓励研究者打造更安全、赛面更可靠的向复学习AI，商汤科技联合北京航空航天大学共同发布，杂场面向技术开发者和在校学生的景的机器科技类竞赛活动“面向复杂场景的鲁棒机器学习大赛Robust Models towards Open-world Classification”（大赛官网： aisafety.sensetime.com）。

大赛以CVPR2022 Workshop：The鲁棒 Art of Robustness: Devil and Angel in Adversarial Machine Learning 为依托，该Workshop将汇聚来自全球计算机视觉、大赛机器学习与智能安全领域的安全专家学者，围绕对抗机器学习的挑战最新进展和发展展开研讨与分享，以推动安全可信人工智能技术进步。赛面比赛2022年3月正式开赛，向复学习希望参与者发挥创新思维与创新能力，杂场开发以数据为中心的景的机器新算法，例如数据增强、鲁棒标签细化、制作对抗性数据，甚至设计来自其他领域的知识融合算法、数据集，加速图像分类中的对抗性鲁棒性技术研究，以达到更好地训练高效稳定的机器学习模型的目标。

随着人工智能技术发展，如今AI模型已广泛应用于智慧城市、智能工厂、自动驾驶等公共、生活和生产领域，人工智能已经成为信息基础设施的重要组成。但在这个过程中，人工智能也暴露出一些风险隐患，例如用户和业界对于对抗安全、模型鲁棒性等问题的关注度持续提升。商汤科技很早就启动了相关研究和布局，针对对抗安全、模型鲁棒性以及隐私保护等问题，建立和完善了AI安全平台技术体系，打造覆盖全行业云边端平台更安全的“盾”，推动人工智能更安全、更公平、更可持续性地发展，以提升人的福祉，推动人类社会进步。

此次大赛由商汤科技和北京航空航天大学刘祥龙教授团队合作举办，希望通过比赛吸引更多研究者共同参与到，推动安全、可靠的人工智能技术发展中来。刘祥龙教授团队多年来深耕人工智能安全领域，不断探索可信赖人工智能前沿技术，在对抗攻防、模型评测和可解释理论方面成果丰硕，在国内外均具有一定影响力。比赛还得到了OpenI启智新一代人工智能开源开放平台的资源协助和大力支持。

双赛道对抗竞赛，聚焦开放世界场景

当前的机器学习竞赛大多在封闭数据集下寻找鲁棒的机器学习模型，然而在开放世界场景中，噪声数据的多样性（如对抗扰动、自然噪声、对抗补丁、对抗光线）以及分类类别的不确定性将会给鲁棒模型带来极大的挑战。

因此，本次比赛的目的是加速开放世界场景下的鲁棒模型研究。希望通过比赛，鼓励研究者开发面向开放世界的对抗防御算法。面对多种多样的对抗攻击算法和真实世界中的各种各样的场景，在测试类别不确定等因素下，探究鲁棒模型的生产方式，促进鲁棒防御模型的发展。

本次比赛共有两条赛道。

赛道1：分类任务防御模型竞赛

第一赛道的目标是获得鲁棒性好的模型，可以适应各种各样的攻击样本。

第一赛道分为初赛和复赛两个阶段。初赛阶段，比赛会分别释放训练集和测试集，参赛者仅能使用该阶段释放的训练集训练鲁棒模型。训练集为正常的分类数据，测试集包含正常分类数据和攻击样本。第一赛道的攻击样本包括但不限于通过对抗攻击产生的对抗样本。选手需要得到足够鲁棒的防御模型，能够对干净样本和对抗样本进行正确分类。初赛阶段选手需要将给定测试集的预测结果提交。复赛阶段，参赛者同样仅能使用该阶段释放的训练集训练鲁棒模型。但与初赛不同的是，参赛者需要提交训练好的原始模型，平台将对提交的模型进行评测。数据集的构成上，初赛为20类，复赛为100类。

赛道 2：OpenSet对抗噪声检测模型

第二赛道的目标是对对抗攻击产生的对抗样本做区分。在第二个赛道中测试集为开放类别，即和训练集合的类别没有交集。

第二赛道同样分为初赛和复赛两个阶段。初赛阶段，比赛会分别释放训练集和测试集，参赛者仅能使用该阶段释放训练接做训练，得到可以区分正常样本和对抗样本的模型。 在复赛阶段，选手同样需要提交模型到平台进行验证。

比赛规则

本次比赛的提交评测，在主办方提供的评测平台上进行。比赛采用初赛、初赛和复赛阶段的评估指标均采用识别准确率。初赛成绩排名前20名晋级复赛，最终成绩按照干净样本下的准确率得分占比40%，噪声样本下的准确率得分占比60%进行加权得到总分进行排名。

l 在比赛中只允许使用各个阶段提供的训练数据集进行训练，其他数据集不允许用于模型的训练。

l 复赛提交ONNX模型，模型需要为FP32模型，模型体积不大于120M，计算量不大于 5GFLOPs。输入图片的格式为3x224x224，每个像素归一化到[0,1]。

l 不允许为训练集合提供任何外部数据。

l 禁止模型融合。简单来说，单独训练多个模型然后对结果融合是禁止的，主办方会对最终提交的代码进行审核。

l 禁止在模型提交环节使用超过提交规定规模（包括FLOPs和体积）的模型对提交模型进行蒸馏。

l 禁止对测试集样本手工标记。

l 参与者必须在每个赛道的第二阶段提交中附带一份技术报告，其中包括对其提交的详细消融研究（建议长度1-4页）。报告将会在竞赛官网进行公开。

本次比赛总奖池1.5万美元。其中赛道1总奖金池8000美元，取前6名，前六名奖金分别为3000、2000、1500、800、500、200美元；赛道2总奖金池7000美元，取前3名，前三名奖金分别为4000、2000、1000美元。比赛时间为3月11日-5月21日，并将在6月发布及公示获奖结果，获奖队伍还将受邀参加CVPR 2022的相关主题Workshop进行分享。

建立AI安全平台技术体系，持续推动技术发展

如今推动可信人工智能技术发展，实现人工智能的技术可控已成为全球共识。对于任何新兴技术的应用，都必须保证其安全性与可靠性，必须齐备可验证、可审查、可信任、负责任等关键属性。与历史上其他重要技术发展普遍会经历的一样，人工智能也正在经历从技术研发到大量应用的关键阶段。

商汤科技一直秉持平衡发展的 AI 伦理观，希望在技术可控、以人为本和可持续三条核心原则的基础上，寻求均衡发展，希望用人工智能技术推动社会的进步。近年来，商汤科技建立和完善了AI安全平台技术体系。在数据安全及保护方面，商汤科技成为第一家获得全部三项 ISO/IEC 隐私信息管理系统、信息安全管理和个人身份信息保护认证的人工智能公司。同时，商汤科技还通过基于真实场景下的数据集的算法验证与评测，围绕“AI 算法的数据隐私保护”、“AI 算法的鲁棒性”、“AI 算法的公平性”等多个方面进行，从产品源头确保人工智能算法的可信品质。

依托深厚的技术累积、人才储备、行业经验等，未来商汤科技在为用户提供在行业内广泛验证使用、具备行业影响力的可信任AI解决方案的同时，还将引领人工智能行业产品安全标准体系的建立，全方位为AI行业的健康持续发展保驾护航。

雷峰网(公众号：雷峰网)