Updated on : 27 Apr 2022
total number : 4
Focal Sparse Convolutional Networks for 3D Object Detection
-
论文/Paper: http://arxiv.org/pdf/2204.12463
-
代码/Code: http://github.com/dvlab-research/FocalsConv
摘要:
非均匀 3D 稀少数据,例如不同空间方位的点云或体素,以不同办法对 3D 方针检测使命做出奉献。稀少卷积网络 (Sparse CNN) 中的现有根本组件处理一切稀少数据,无论是惯例仍是子流形稀少卷积。在本文中,咱们介绍了两个新模块来增强 Sparse CNN 的才能,它们都根据经过方位重要性猜测使特征稀少性可学习。它们是Focal 稀少卷积(Focals Conv)及其交融的焦点稀少卷积的多模态变体,简称Focals Conv-F。新模块能够很容易地替换现有稀少 CNN 中的一般模块,并以端到端的办法进行联合练习。咱们初次标明,稀少卷积中的空间可学习稀少性关于杂乱的 3D 方针检测至关重要。在 KITTI、nuScenes 和 Waymo 基准上进行的很多试验验证了咱们办法的有效性。没有花里胡哨,咱们的成果在论文提交时优于 nuScenes 测验基准上一切现有的单模型条目。
Context-Aware Sequence Alignment using 4D Skeletal Augmentation
-
论文/Paper: http://arxiv.org/pdf/2204.12223
-
代码/Code: None
摘要:
视频中细粒度人类动作的时刻对齐关于计算机视觉、机器人和混合实际中的很多运用非常重要。最先进的办法经过运用强壮的深度卷积神经网络直接学习根据图画的嵌入空间。虽然开门见山,但他们的成果远不能令人满意,对齐的视频表现出严峻的时刻不接连性,而无需额定的后处理过程。人体和手部姿态估量在野外的最新进展为处理视频中人类动作对齐使命供给了新的办法。在这项作业中,根据现成的人体姿态估量器,咱们提出了一种新颖的上下文感知自我监督学习架构来对齐动作序列。咱们将其命名为 CASA。具体来说,CASA 选用自我留意和穿插留意机制来结合人类行为的时空上下文,能够处理时刻不接连性问题。此外,咱们引入了一种自监督学习计划,该计划由用于 3D 骨架标明的新式 4D 增强技能供给支撑。咱们体系地评价了咱们办法的要害组成部分。咱们在三个公共数据集上的试验标明,与之前最先进的办法比较,CASA 明显提高了阶段进展和 Kendall 的 Tau 分数。
ClothFormer:Taming Video Virtual Try-on in All Module
-
论文/Paper: http://arxiv.org/pdf/2204.12151
-
代码/Code: None
摘要:
视频虚拟试穿的使命旨在将方针服装与视频中的人进行时空共同性。虽然图画虚拟试穿取得了巨大进步,但它们在运用于视频时会导致帧之间的不共同。有限的作业还探究了根据视频的虚拟试穿使命,但未能发生视觉上令人愉悦和时刻连接的成果。此外,还有别的两个要害应战:1)如安在服装区域呈现遮挡时生成精确的翘曲;2)怎么生成与杂乱布景相调和的衣服和非方针身体部位(例如手臂、脖子);为了处理这些问题,咱们提出了一种新颖的视频虚拟试穿结构ClothFormer,它成功地在杂乱环境中合成了传神、调和、时空共同的成果。特别是,ClothFormer 触及三个首要模块。首要,一个两阶段的反遮挡变形模块,可猜测身体区域和服装区域之间的精确密集流映射。其次,外观流盯梢模块运用岭回归和光流校正来滑润密集流序列并生成时刻上滑润的翘曲服装序列。第三,双流transformer提取并交融服装纹路、人物特征和环境信息,以生成传神的试穿视频。经过严厉的试验,咱们证明咱们的办法在质量和数量上都大大超过了合成视频质量的基线。
DArch: Dental Arch Prior-assisted 3D Tooth Instance Segmentation
-
论文/Paper: http://arxiv.org/pdf/2204.11911
-
代码/Code: None
摘要:
3D 牙科模型上的主动牙齿实例切割是计算机辅佐正畸医治的一项根本使命。现有的根据学习的办法严峻依靠贵重的逐点注释。为了缓解这个问题,咱们首要探究了一种用于 3D 牙齿实例切割的低成本注释办法,即为每个牙齿模型符号一切牙齿质心和仅几颗牙齿。针对仅供给弱注释时的应战,咱们提出了一种牙弓先验辅佐 3D 牙齿切割办法,即 DArch。咱们的 DArch 由两个阶段组成,包含牙齿质心检测和牙齿实例切割。精确检测牙齿质心能够帮忙定位单个牙齿,然后有利于切割。因而,咱们的 DArch 主张在帮忙检测之前运用牙弓。具体来说,咱们首要提出了一种从粗到精的办法来估量牙弓,其间牙弓开始由贝塞尔曲线回归生成,然后练习根据图的卷积网络(GCN)对其进行细化。经过估量的牙弓,咱们提出了一种新的牙弓感知点采样 (APS) 办法来帮忙生成牙齿质心主张。一起,切割器运用根据补丁的练习战略进行独立练习,旨在从以牙齿质心为中心的 3D 补丁中切割牙齿实例。4,773 个牙科模型的试验成果标明,咱们的 DArch 能够精确切割牙科模型的每颗牙齿,其功能优于最先进的办法。