肛塞是什么东西| 弱视和近视有什么区别| 什么东西能吃不能碰| 补气血用什么泡水喝| 性病有什么症状| eod是什么意思| 后入什么意思| 小孩老是打嗝是什么原因| 肺结节影是什么意思啊| 嗓子哑了是什么原因| 异地办理临时身份证需要什么材料| 四风是什么| 草字头弓读什么字| 鼻咽部淋巴组织增生是什么意思| 开胃菜都有什么| 肺癌早期有什么症状| 消化快容易饿什么原因| 雅号是什么意思| 围绝经期是什么意思| 孕囊小是什么原因| 肝腹水是什么病| 吃什么食物降低转氨酶| 水瓶女和什么座最配| 口腔发粘是什么原因| 什么的窟窿| 什么方法可以治打嗝| 庸医是什么意思| 日加立念什么| 减肥期间早餐应该吃什么| 1971年属什么生肖| 3.3是什么星座| 4月1号是什么星座| 胰腺炎吃什么药好| 拔牙后吃什么| 渗透压低是什么原因| 九什么一毛| 什么是生化流产| 涟漪什么意思| 血糖降不下来是什么原因导致| 男人吃什么可以增强性功能| dollars是什么意思| 嫩牛五方什么意思| 莎字五行属什么| 太极是什么| 朝秦暮楚是什么生肖| 嗔心是什么意思| 拿的起放的下是什么意思| 破日是什么意思| 9k金是什么意思| 屈曲是什么意思| 什么惚惚| 学制是什么| 甘油三酯高挂什么科| 市公安局局长什么级别| 名流是什么意思| 甲状腺球蛋白抗体高是什么原因| 在下是什么意思| 仓鼠咬笼子是什么原因| 什么食物嘌呤含量高| 梦见抓鱼是什么意思| 记忆力减退是什么原因造成的| 梦见打官司预示着什么| 直肠下垂有什么症状| 包皮手术挂什么科| 糯米是什么米| 心里不舒服挂什么科| 茴三硫片主治什么| 双鱼座是什么象星座| 老鼠的克星是什么| 制服是什么意思| 今天是什么节气24节气| sb是什么元素符号| 蛇什么时候出来活动| 问候是什么意思| 脑疝是什么原因引起的| 什么的天空填合适的词| 11.6号是什么星座| 重庆有什么烟| 第一次同房是什么感觉| f4是什么意思| 玉米水喝了有什么好处| 什么是多动症| 女人为什么比男人长寿| 导乐是什么意思| 顽疾是什么意思| 梦见看房子是什么预兆| 今年77岁属什么生肖| 全员加速中什么时候播| 手到擒来是什么意思| 小三阳吃什么食物好得快| 口气重吃什么药效果好| 12月16号是什么星座| 白天看见蛇有什么预兆| 黑芝麻不能和什么一起吃| 职业年金什么时候领取| 家庭出身填什么| 万什么一心| ACEI是什么药| 卵巢囊肿有什么危害| 老是犯困想睡觉是什么原因| 蜘蛛代表什么生肖| 香港脚是什么症状图片| 安德玛是什么牌子| 什么是单亲家庭| 医院规培生是什么意思| 早饱是什么意思| 230是什么意思| 孕早期吃什么有利于胎心胎芽发育| 64年属什么生肖| 宗气是什么意思| 3月17日是什么星座的| 蟑螂什么样子| 穿刺活检是什么意思| 问羊知马是什么生肖| 武火是什么意思| 点痣后需要注意什么事项| 普陀山求什么最灵| 骨质增生是什么意思| 强身之道的强是什么意思| 结婚前一天晚上的宴会叫什么| 梦见开车是什么意思| 化疗后骨髓抑制是什么意思| 尿道下裂是什么意思| 两个虎是什么字| 孙悟空的真名叫什么| 男性吃什么生精快| 自字五行属什么| 木鱼是什么意思| 什么拜之交| 异地办理护照需要什么材料| 什么时候种白菜| hcg什么时候开始下降| 去侍庙有什么禁忌| fdg代谢增高是什么意思| 木节念什么| 眉目传情什么意思| 鬼迷心窍是什么意思| 口臭什么原因引起的| 腔调是什么意思| 头部ct挂什么科| 阳痿是什么原因造成的| 农历3月是什么月| 功德是什么意思| 强迫症是什么意思| 气血不足喝什么| 男人鼻头有痣代表什么| 7月一日是什么节日| 白起为什么被赐死| 小便是红色的是什么原因男性| 心绞痛是什么病| 七夕什么时候| 左侧肋骨下面是什么器官| 粉色五行属什么| gn是什么单位| 胎儿胆囊偏大有什么影响| 男性湿热吃什么药最好| 暗合是什么意思| 妗是什么意思| 4月份是什么季节| 毒龙是什么意思| 天荒地老是什么生肖| 身上带什么可以辟邪| 弯刀裤适合什么人穿| 为什么身上痒一抓就起疙瘩| 肝疼是什么原因| 慌张是什么意思| pfs是什么意思| 干将是什么意思| rf是什么意思| 月经失调是什么原因引起的| 终端是什么意思| 黄油可以用什么代替| jsdun是什么牌子的手表| 蓝颜知己什么意思| 李白属什么生肖的| joway是什么牌子| 双数是什么| 中考送什么礼物| beko是什么牌子| girls是什么意思| 重色轻友是什么意思| 胆囊炎吃什么中成药| peaches是什么意思| 什么叫低级别上皮内瘤变| 不能人道什么意思| 孤独的最高境界是什么| 成人大便绿色是什么原因| 硼砂是什么东西| 后脑勺痛什么原因引起的| 巨蟹座与什么星座最配| 吃惊的什么| 排骨汤用什么排骨| 电离辐射是指什么| 黑豆有什么功效| 耳鸣吃什么药最有效| 桂林是什么地貌| 眉毛长白毛是什么征兆| 拔牙挂什么科| 狼爪是什么牌子| 左室舒张功能减低是什么意思| 貂蝉原名叫什么| 为什么睡觉流口水| 斜视是什么原因导致的| 羟苯乙酯是什么| 腿肿是什么病的前兆| 风湿性关节炎挂什么科| 草龟吃什么食物| hpv弱阳性是什么意思| fob什么意思| 维生素b6有什么作用和功效| 女孩叫兮兮是什么意思| 右眼一直跳是因为什么原因| 别出心裁的裁是什么意思| 什么叫做原发性高血压| 彼岸花是什么花| 什么长| 子午是什么时间| 总放屁还特别臭是什么原因| 水解是什么意思| S是什么牌子鞋| 主食都有什么| 马拉色菌毛囊炎用什么药治疗最好| 杏色搭配什么颜色好看| 释迦摩尼是什么意思| 吃红萝卜有什么好处| 87年属什么| 便秘了吃什么容易排便| 肚脐下方是什么部位| 人的五官指什么| 怀孕的肚子是什么样的| 梨的功效与作用是什么| 肛裂出血和痔疮出血有什么区别| 总是耳鸣是什么原因| 分泌物豆腐渣状是什么原因| 基友是什么关系| 编者按是什么意思| 什么是红肉| 两点水的字和什么有关| 闻思修是什么意思| 南通有什么特产| 护理专业主要学什么| 腿纹不对称有什么影响| 低密度脂蛋白是什么| 7月1号什么星座| 18属什么生肖| 红蓝是什么意思| 甘油三酯偏高吃什么药| 什么币最值钱| 身上长肉疙瘩是什么原因| 一饿就心慌是什么原因引起的| 什么什么闻名| 尿频吃什么药效果最好| 什么一惊| 傻缺什么意思| 水漫金山是什么生肖| 为什么作什么的成语| 除夕是什么意思| nb是什么牌子| 口腔溃疡是缺什么| 纤维蛋白是什么| 十八岁是什么年华| 奶昔是什么| 咳嗽吃什么水果最好| 支原体感染咳嗽吃什么药| 百度

·璧山区市政局出台《涉密和非涉密计算机保密管...

百度 主持人还宣布了国务院秘书长和国务院各部部长、各委员会主任、中国人民银行行长、审计长名单。

VisionKit 从基础库 3.2.1 版本 (安卓微信>=8.0.43,iOS微信>=8.0.43) 开始支持。

鞋子检测 能力作为与 其他 VisionKit 能力 平行的能力接口。

该能力一般用于用户进行 AR试鞋 或者 腿部遮挡 等功能的开发。

# 方法定义

鞋子检测,目前只支持通过 摄像头实时检测

可以通过配置,决定是否每帧获取 用于对鞋子的腿部区域进行蒙版过滤的 腿部遮挡纹理

# 摄像头实时检测

首先需要创建 VKSession 的配置,然后通过 VKSession.start 启动 VKSession 实例。

运行过程中,算法实时检测相机中的鞋子,通过 VKSession.on 实时输出鞋子矩阵信息(位置旋转缩放)、8个关键点坐标。

最后,实时获取 VKSession 的帧数据 VKFrame,获得 VKCamera。得到 VKCamera.viewMatrixVKCamera.getProjectionMatrix 并结合,鞋子矩阵关键点信息 进行具体渲染。

开启VKSession示例代码:

// VKSession 配置
const session = wx.createVKSession({
    track: {
        shoe: {
            mode: 1 // 1 使用摄像头
        }
    }
})

// 摄像头实时检测模式下,监测到鞋子时,updateAnchors 事件会连续触发 (每帧触发一次)
session.on('updateAnchors', anchors => {
    // 目前版本能识别 1-2 双鞋子,anchors 长度为 0-2
    anchors.forEach(anchor => {
        // shoedirec 鞋子左右,0 为左,1 为右。
        console.log('anchor.shoedirec', anchor.shoedirec)
        // transform 鞋子的矩阵信息(位置旋转缩放),4*4 行主序矩阵,
        console.log('anchor.transform', anchor.transform)
        // points3d 位置,8个关键点坐标
        console.log('anchor.points3d', anchor.points3d)
    })
})

// 摄像头实时检测模式下,当鞋子从相机中丢失时,会不断触发
session.on('removeAnchors', () => {
  console.log('removeAnchors')
})

// 需要调用一次 start 以启动
session.start(errno => {
  if (errno) {
    // 如果失败,将返回 errno
  } else {
    // 否则,返回null,表示成功
  }
})

渲染试鞋示例代码:

// 可以理解每一帧都需要执行的行为

// 1. 通过 VKSession 实例的 `getVKFrame` 方法可以获取到帧对象
const frame = this.session.getVKFrame(canvas.width, canvas.height)

// 2. 获取 VKCamera
const VKCamera = frame.camera

// 3. 获取 VKCamera 的 视图矩阵与投影矩阵
const viewMat = VKCamera.viewMatrix;
const projMat = VKCamera.getProjectionMatrix(near, far);

// 4. 结合 updateAnchors 里面返回 anchor 的 transform、points3d 进行具体渲染。(具体可以参考官方示例)

# 开启腿部遮挡

摄像头实时模式下,想要开启腿部分割能力。

需要保证在 VKSession.start 接口 调用,开启 VKSession 后。 调用 VKSessionupdateMaskMode 更新是否开启腿部分割纹理的返回。然后通过 VKFramegetLegSegmentBuffer 获取具体的腿部遮挡纹理buffer,然后基于 buffer 创建纹理,进行对应的遮挡剔除。

示例代码:

// 1. 开启腿部遮挡纹理获取开关
// VKSession.start 后,可以通过 updateMaskMode 更新是否能够获取腿部遮挡纹理buffer
this.session.updateMaskMode({
    useMask: true // 开启或关闭腿部遮挡纹理buffer (客户端 8.0.43 默认开启获取,可以手动关闭)
});

// 2. 通过 VKSession 实例的 `getVKFrame` 方法可以获取到帧对象
const frame = this.session.getVKFrame(canvas.width, canvas.height)

// 3. 通过帧对象,获取具体腿部分割纹理Buffer(160*160、单通道)
const legSegmentBuffer = frame.getLegSegmentBuffer();

// 4. 基于腿部分割纹理过滤内容(具体可以参考官方案例)

PS.除了算法分割外,可以手动添加Mesh进行遮挡,可以实现类似的遮挡分割效果。具体可以参考官方案例。

# 输出说明

anchor 信息

struct anchor
{
  transform,  // 鞋子矩阵信息,位置旋转缩放
  points3d,   // 鞋子关键点数组
  shoedirec,  // 鞋子左右脚,0 为左脚,1 为右脚
}

# 1. 鞋子矩阵 transform

长度为 16 的数组,表示 行主序 的 4*4 矩阵。

# 2. 鞋子关键点 points3d

长度为 8 的数组,表示 鞋子识别的 8个关键点:

Array<Point>(8) point3d

每个数组元素结构为:

struct Point { x, y, z }

表示在 鞋子矩阵 作用后,每个点的 三维偏移位置

以下为关键点图示与点位解释:

  • 点位0 位于鞋的底部后部,脚后跟处,靠近地面的位置。
  • 点位1 位于鞋子最前面,在竖直方向上大致处于鞋子上表面和鞋子下底面的中间。
  • 点位2 位于鞋的后部,在点位0的上方,位于靠近脚踝的位置。
  • 点位3、4 位于鞋子侧面,其中3点位于左鞋的左侧,右鞋的右侧。4点位于左鞋子的右侧,右鞋的左侧。上图中的3点处于被遮挡的位置。3,4点均紧靠鞋子下底面。
  • 点位5,6 位于鞋子侧面,相对于3,4更靠后,在鞋子下底面偏上一点的位置。
  • 点位7 大致位于鞋舌的中央。

# 3.腿部分割纹理Buffer

160*160 的 单通道浮点数颜色 ArrayBuffer,数值 0.0 对应非腿部区域,大于 0.0 代表是腿部区域,越靠近 1.0 越接近是腿部区域。

# 如何基于返回信息摆放模型

首先,可以将添加一个节点同步鞋子矩阵信息。再往该节点添加模型,基于鞋子关键点,设置对应的偏移,然后可以缩放模型适配比例,使模型贴合鞋子关键点,达到目标效果。

# 程序示例

# 摄像头实时检测示例

小程序示例 的 接口 - VisionKit视觉能力 - 实时鞋部检测 - 试鞋案例

开源地址:实时鞋部检测-试鞋案例

识别鞋子,并将鞋子模型放置到识别出的区域。默认并支持动态开启与关闭腿部遮挡,以及显示与隐藏对应的鞋子关键点。

案例效果:

病毒性扁桃体发炎吃什么药 什么叫总胆红素 避孕环是什么样子图片 马赛克是什么意思啊 孕妇嗓子疼可以吃什么药
甲沟炎什么症状 什么硬币最值钱 乳糖是什么糖 后中长是什么意思 骨密度z值是什么意思
苏小小属什么生肖 助理研究员是什么职称 慢性浅表性胃炎吃什么药好 虫草什么时间吃最好 为什么明明很困就是睡不着
脓包用什么药膏 火花塞坏了有什么症状 champion什么意思 子宫薄是什么原因造成的 什么颜色招财并聚财
乳腺点状强回声是什么意思hcv8jop9ns3r.cn 青皮是什么皮hcv7jop6ns0r.cn 掉头发缺什么hcv8jop9ns6r.cn 什么是httphcv8jop0ns0r.cn 男人艾灸什么地方壮阳hcv8jop3ns1r.cn
腮腺炎输液用什么药hcv8jop2ns9r.cn 梦见自己准备结婚是什么意思hcv8jop9ns3r.cn 子宫腺肌症吃什么药最有效hcv8jop9ns0r.cn 里番是什么hcv8jop3ns8r.cn 致字五行属什么hcv7jop6ns3r.cn
钢琴十级什么水平hcv7jop6ns3r.cn 十年什么婚hcv9jop5ns7r.cn 臭嗨是什么意思hcv9jop1ns4r.cn 心电图诊断窦性心律什么意思hcv8jop9ns0r.cn 6月是什么星座hcv8jop2ns7r.cn
拜把子是什么意思hcv9jop6ns1r.cn 为什么会有痛经hcv7jop4ns8r.cn 自制力是什么意思hcv8jop1ns6r.cn 经常早上肚子疼是什么原因hcv9jop4ns8r.cn 知柏地黄丸适合什么人吃hcv8jop5ns5r.cn
百度