目前新零售风刮的蛮大，笔者进入该领域近一年，卖力过无人便利店、智能货柜、聪慧商超等产品，在这个阶段不断去学习AI技能、积累新零售领域履历。该篇文章作为第一篇AI产品设计复盘文章，为大家从行业、技能、产品设计三个点去先容视觉识别智能货柜。
文章大概会衍天生新零售系列，紧张目的有：
ps：涉及商业限定，文章不会涌现详细硬件型号或算法版本。
文章目录：
一、新零售与智能货柜概述1.1 新零售背景
2016年10月的阿里云栖大会上，阿里巴巴马云在演讲中第一次提出了新零售，“未来的十年、二十年，没有电子商务这一说，只有新零售”。
当时的大背景是：线上电商零售流量红利见底，新中产阶级和对应的消费升级不雅观念崛起，移动支付等技能遍及，全体传统零售行业急需向欧美地区企业学习数字化钻营更好的发展，加上国家政策推动，因此新零售风口正式来临。
1.2 新零售与智能货柜
如何理解新零售，我们把新零售拆为“新”和“零售”，“新”在于更高效率、更好的做事，“零售”的实质链接是“人”与“货”的“场”。
《新零售：低价高效的数据赋能之路》：一张图理解新零售
在智能货柜这个产品中：
智能货柜即一个最小型的“场”，有了“场”，便产生了交易的可能。智能货柜占地面积不到1平方米，险些是所有“场”中的最小单位。其本钱低，布点位置灵巧，可作为前置仓利用，十分有利于零售商家对自己的零售生态整体布局。同时依赖视觉识别等AI技能(下文会详细先容)，加强了线下商品的即得性，提升了用户体验；智能货柜上的“货”，通过数据驱动，在消费者端做到千柜千面。可反向驱动供应链端和产品设计端(即供给端)，零售商家可做到高性价比的风雅化运营，用更短更直接的路线和体验打动消费者；在“场”和“货”不断迭代中，吸引到“人”(即用户)。用户的关键指标为流量转化率客单价复购率，对不同用户画像进行风雅化运营，提高坪效。终极，利用AI数据、用户画像、商品推举等技能实现智能货柜“人”、“货”、“场”的消费生态闭环，这便是智能货柜在新零售时期的运营思路(也可以称作轨迹)。
对付企业来说，理解产品处于什么位置是及其主要的，“当前位置”决定了发展方向和目标的确立，是增长路上的主要条件条件。智能货柜在零售生态下作为获取线下流量入口，在技能方案趋向成熟和数字化明确的背景下，是许多零售商和技能做事商值得投入资源去做的一个点。
市情上最好的点位业务额日超四位数，假设一个零售商有1000台货柜布点，那么一天的仅靠货柜业务额可达到1，000×1，000=¥1，000，000，一个弘大的数字。
二、智能货柜发展路线和市场剖析2.1 智能货柜发展路线
智能货柜目前一共经历了三个阶段。
（1） 自动售卖机阶段：
1993年自动贩卖机从欧美、日本地区传入中国，传统自动售卖机紧张是硬件驱动，用户利用纸币、硬币支付，货柜通过弹簧弹出商品，但传统售货机企业未能有效办理本钱，质量，运营等诸多问题，以是导致海内市场上的自动售货机不仅数量少，且品种非常单一，紧张以瓶罐装饮料售货机为主。
（2） 无人货架阶段：
2017年，在新零售趋势加持下，无人货架迎来风口。无人货架大部分由互联网公司进走运营，以几百元的本钱在办公室等较封闭场景快速搭建货架，用户通过微信、支付宝扫码支付，从货架拿取商品。但由于没有构建消费闭环场景，导致商品货损率极高，以是在运营一年后，大部分无人货架项目都已停息运营。
（3） 智能货柜阶段：
市场一贯在驱动企业创新，无人货架风口过后，以RFID和视觉识别为核心技能的智能货柜时期正式走上历史舞台，与无人货架比较，智能货柜形成了消费闭环，用户扫码开门拿取商品，关门即扣费，货损率可控95%以上，同时点位达到一定规模后，智能技能赋能运营及补货过程，发卖和品牌的规模效益便能逐步产生。
2.2 智能货柜技能办理方案RFID办理方案：RFID分超高频RFID与高频RFID，该技能好处是没有SKU和摆放限定，但相应的会增加人力本钱和商品本钱，识别准确率大概是95~98%，由于不是本篇紧张内容，故不多先容；视觉识别办理方案：以图像识别为技能核心，摄像头、主板为硬件核心，对消费图/视频进行目标检测和分类，极大的提高购买和补货体验，同时识别准确率可到到99%~99。9%；重力感应与视觉识别稠浊办理方案：以重力感应为主，视觉识别为辅，或者以视觉识别为主，重力感应为辅的形式，进一步提高准确率。
2.3 智能货柜市场剖析目前智能货柜市场的公司分类紧张有以下三种：
（1） 无人货架转型公司：
从无人货架赛道上转战的公司。该类公司有运营根本自己运营货柜，但是还需寻求硬件资源和组建图像算法团队。
代表公司有：猩便利、小e微店。
（2） AI科技技能公司：
本身具备视觉识别技能能力，为传统行业和领域赋能的公司，该类公司都拥有算法团队和AI核心技能根本支持，一样平常不做运营，只为零售商供应硬件和软件技能支持。
代表公司有：深兰科技、海深科技、云拿科技。
（3） 传统自动售卖机企业：
意识到以视觉识别技能为核心的智能货柜是新一轮增长动力的传统自动售卖机企业，该类企业有运营根本和硬件根本，资金量也充足可以很快的组建算法团队，研发出货柜自运营或者批量售卖。
代表公司有：友宝。
部分智能货柜公司列表
智能货柜核心指标比拟
2.4 瓶颈与机会
智能货柜的发展瓶颈紧张是技能瓶颈：经由2018~2019的快速发展，智能货柜的发展到一定阶段，市情上的智能货柜技能做事商统称自家的识别准确率在99%以上，则100单最多只会识别错1单，但是间隔真正成熟阶段还差一定间隔，识别技能瓶颈在未来会一贯存在。
做到“千柜千面”，多场景全渠道售卖，兼容各种商家和商品，会涌现各种各样的繁芜场景，对图像识别的精准度和覆盖度哀求更高。如商品遭遮盖、倒放、推倒、叠放等问题，都须要通过优化算法以及合营其他方案办理。目前办理方案是利用动态识别和重力感应，但这也会增加本钱。除了识别精度，还有许多待办理优化的技能寻衅。
商品识别已知的工程寻衅问题
从智能货柜的遍及率来看市场机会：在美国，均匀35人拥有一台自动贩卖机、在日本则是均匀23人就拥有一台、而在中国是4500人。
自动贩卖机大国日本目前的自助贩卖机数量是250万台，而海内自助贩卖机总量也不敷20万台，并且售卖的商品种类单一，分布不屈衡，市场远未达到饱和。总的来说，智能货柜瓶颈与机会并存。
三、智能货柜技能核心
先容完宏不雅观层面，接下来，我们从微不雅观技能层面的角度让大家更深入的理解智能货柜。涉及到的技能核心紧张是AI算法、数据源、硬件。
3.1 AI算法
（1） 识别云做事器
AI模型的演习十分依赖做事器运算能力，GPU做事器比一样平常云做事器更适宜深度学习项目，常日企业选择租用GPU云做事器或购买GPU做事主机进行项目演习。
（2） 深度学习开源框架
如TensorFlow，该框架由Google研发开源，因各类缘故原由，是目前最火的深度学习框架之一。
通过利用它可以快速的进行神经网络的开拓，大大降落了开拓本钱。官方网站上有详细的解释以及机器学习中文社区，对ML学习十分有帮助(http：//www。tensorfly。cn/)。
（3） 识别算法
在智能货柜运营场景，我们须要算法做的是图像中物体的定位和分类(Localization & Classification)：识别定位出每一层货柜的照片所包含的商品以及商品的种别，为不同的商品框上不同的框，以供购物订单天生和其他场景盘判断。要实行该任务我们须要利用卷积神经网络(CNN)为根本的一众算法，如Faster R-CNN、YOLO v1-3等。
CNN运行过程包括四个步骤(详细不做详细阐明)：
卷积层提取图片初步特色；池化层提取图片紧张特色；全连接层将各部分特色汇总；产生分类器，进行预测识别。现在算法发展十分快速，作为AIPM，可以学习经典算法的发展历史和运算事理，与算法工程师为产品选择最得当的能力(算法)，乃至有新算法开源，PM先下载跑一遍模型，不仅提高了事情效率，也加强了自身的技能能力。
图像识别算法发展历史
3.2 商品数据源和标注
有了算法和模型，就须要喂数据，标注流程规范和数据源质量是两大相辅相成的关键，智能货柜售卖的商品最常见的是饮料和盒装零食。
一样平常数据标注可利用第三方标注工具进行标注，为了提高标注效率和标注质量，笔者在所在公司也从0-1设计了图片标注平台。构建标注平台前，须要理解机器学习中正负样本的观点，对数据采集流程有清晰的认知，熟习标注职员标注和管理标注的流程。笔者设计的标注平台公开商用后，将会针对如何设计标注平台专门输出一篇文章。
数据源质量：众所周知，数据质量低会极大的影响模型的效果，随意马虎造成模型的欠拟合或过拟合，影响模型效果和用户体验，若涌现这种情形，一样平常须要重新投入新的康健数据源重新演习，本钱较大。对付担保数据源的质量，我们常日关注以下两点。
标注流程是否规范。一样平常每个标注任务数据都会有专门审核流程，避免把乱标、标错不康健的数据源投放进模型学习。这个紧张是靠标注流程的管理和人力资源调配，好的标注平台也是避免数据质量参差不齐的成分之一，属于可控范围；标注职员是否专业。标注职员常日是演习生，须要经由专门培训才可开始标注事情，有时候PM和算法工程师也要参与标注事情。数据标注：投放演习流程图
3.3 关键硬件
智能货柜像厂商定制硬件能力，同时须要有专门的LOT后台对硬件的康健状态进行监控、硬件管理小程序或者APP为一线运营职员供应硬件管理支持。个中关键硬件有主板、摄像头、门锁、 物联卡，由于涉及内容较多，暂不做详细先容。
四、系统构造
系统构造紧张分为用户端、货柜硬件端、识别做事端、逻辑做事端。
用户端：用户用于购物的小程序或APP。货柜硬件端：实际掌握货柜上门锁、摄像头、灯光、温度等所有传感器和硬件设备，与做事端通信，平时卖力将心跳数据和图片打包上传至做事端，并且解析做事端发过来的指令实现掌握货柜硬件。逻辑做事端：紧张任务是接管货柜硬件端数据，把照片数据放到行列步队中供识别做事端读取、修正货柜订单状态、推送、更新库存等。识别做事端：紧张是实时检测行列步队读取照片，运行识别做事，天生订单明细。五、货柜运营核心与用户体验综合历史履历，笔者认为在智能货柜发展前期与用户体验和商业标准最贴合的两个维度是：
对付货柜运营客户：收到钱、收对钱；对付购物用户：能买到、能买对。零售的实质不会变革，智能货柜只是一个新型交易行为的媒介。商家的需求永久是卖的更多赚的更多，用户的需求永久是买到性价比高的商品。
基于该条件，如何担保货柜实际运营中稳定性，对关键数据指标进行建模，继而监测货柜整体和单体运营情形，以及考虑梳理因算法识别限定、各种现实非常场景的对应的办理方案，去确保用户购物体验，是须要PM卖力重点关注不断去做方案优化的，是也是本篇文章的重点，笔者最近的很多精力也是花在了该部分。
5.1 构建货柜运营稳定性指标
从算法模型的维度上评估识别识别模型的稳定性，我们关注准确率、召回率、IOU、均匀检测精度等指标。
在智能货柜购物场景下，用户一样平常会有明确的购物目标，效率和确定性对付用户十分主要。以是从实际运营的维度上评估运营稳定性，最紧张关注用户均匀购物时长和订单准确率。个中购物时长与用户体验成负干系，订单准确率与用户体验成正干系。用户购物体验好才会有复购率，实现货柜布局的规模效应。
购物时长即是用户开门到订单完成扣费的韶光，常日是5s~20s。用户关门后成功扣费的韶光越长，证明用户的等待和不愿定的感想熏染韶光越长，体验也就越差。影响韶光紧张的成分常日是图片上传速率和识别做事速率，前者通过做事逻辑优化提升，后者通过迭代模型和采取更优算法办理。
现实还会涌现因网络颠簸图像上传失落败或者识别做事不顺畅的情形 ，这个时候就要有温馨的交互提示用户可以先离开购物场景，等待订单精确扣费。PM须要持续关注用户均匀购物时长，获取数据支持，检测整体购物体验稳定性，永久以用户为中央。
订单准确率是衡量一次购物康健程度的核心指标。订单的准确率对发卖客单价、用户复购率等核心购买指标都有极大的影响。不过因拍摄环境影响、模型迭代、算法受限各类缘故原由，对订单商品的识别很难达到100%的准确率。但致力达到99。9%该当是所有智能货柜公司的目标。
提高订单准确率的方向有先处理和后处理：
先处理定义为可以在识别发生前实现的优化，如对提高数据源质量、数量;对模型升级和分组;改换更优算法等等；后处理定义为在识别发生后实现的优化。如通过像素比拟、间隔比拟、IOU过滤等后纠正算法优化，或将订单划进非常订单池，用更优但更慢的模型处理乃至是人工处理等等。5.2 常见识别非常场景先容稳定的图像识别模型能支持90%以上情形，但是由于智能货柜的单点运营性子，货柜摆放的场景是十分任意的，售卖商品的范围也很广泛。这决定了图像识别需适应各种各样的识别环境，如艳阳高照的户外、灯时间暗的楼道。
同时识别模型自身稳定性缘故原由，在某个韶光点开始趋向不稳定。这种时候就会涌现识别非常情形。以笔者的履历来说，目前识别非常在实际运营中是不可避免的，AI技能还没有达到能供应100%完美准确率的能力。
识别非常场景常日有漏识别商品、识别多余商品、识别缺点商品。
（1） 漏识别场景
该种情形是商品存在于货柜中，但是却没有被识别模型定位分类到。常日是由于数据集样本缺失落导致模型演习不敷欠拟合或者因摄像头起雾、阳光直射等拍摄环境问题，导致图片质量差。
（2） 识别多余商品场景
该种情形是商品并没有存在于货柜中，但是被识别模型定位分类到。识别出多余商品，相对付漏识别场景，常日是由于演习数据集样实质量差或者模型演习过拟合，或者某一些商品瓶身反光，包装繁芜导致的。
（3） 识别缺点场景
该种情形是商品存在于货柜中，但是被识别模型定位分类为缺点商品分类。频发在模型存在两个以上形状附近的商品。单个模型商品label越多，即便同个模型在演习测试时得出的指标无太大差异，但由于有大量的附近商品交错，可能实际运稳定性差异很大，SKU数量与运营稳定性非线性关系(至少在一样平常没有对模型优化的情形下)。
若在识别非常发生的时候有顾客购物，会涌现几种非常情形：
顾客刚好买了漏识别的商品，则不会产生订单，商家需承受货损；顾客买了商品，但是识别缺点，导致扣错顾客的钱(可能扣多可能扣少)；顾客没有购物，但是由于漏识别或者识别缺点系统认为顾客购买了商品，导致扣多顾客的钱；由于识别非常场景交错，对付用户感知来说购物流程正常，没有发生以上漏扣、扣多、扣错的情形。识别非常情形多了往后对付货柜运营商家来说承受的货损和运营本钱就会增加，商家就会疑惑技能能力乃至撤离该货柜；也会造成顾客认为机器常常乱扣钱，导致其不会回归购物场景。
一定要折衷的话，前期会倾向“甘心扣款缺点，后续退款给用户，也不让商家承受丢失”，毕竟用户只要在一定韶光内能及时退款，感知上问题不大。但是商家(特殊是小商家)对货损十分敏感。识别非常无法100%办理，但是可以从通过物理方案把识别环境的变量降到最低、增加演习数量集、减少模型繁芜度、利用后处理算法等方案优化减少。
六、复盘总结
智能货柜产品基本先容完毕，该段紧张分为智能货柜产品发展方向、AIPM的事情内容、AI产品设计思考，是笔者近一年以来的大略复盘总结。
6.1 智能货柜产品发展方向基于视频动态识别技能的智能货柜。本篇文章先容的因此静态图片识别技能为主的智能货柜，基于动态识别，智能货柜产品的生态运营和影响范围又会拓展。相应的本钱和技能难度也进一步增加，但笔者认为是必经之路，有需求则会有供给，技能的限定只会给人一次又一次冲破，这是历史不变的进程；利用AI技能供应更多的货柜终端体验方案。如人脸识别，商品推举，用户画像，风雅化运营；用户前端购买方案成熟和规模放大后，反向勾引供应链变革，企业重构基于数字化的智能采购、库存管理供应链系统；更多的传统互联网C端黑客增长运营方案，提高零售购物流程意见意义性。如通过GPS定位，衍生户外社交玩法，达到传播裂变的效果。
6.2 AIPM事情内容与流程该部分紧张复盘笔者作为AIPM的事情内容，希望能给其他PM一个认识。
智能货柜项目分为技能定型、试运营、稳定迭代三个阶段。在不同阶段，PM的事情流程和所需关键能力都不同。以AI算法流程“输入-演习-输出”为思考根本，每个阶段的事情流程也各自分为三步曲。
（1） 技能定型阶段：
该阶段的理解标准是公司还没有成型产品，但通过与客户的洽谈对接稽核，已确定详细的业务需求。PM须要重点与需求客户多次反复沟通，思考清楚业务场景，构建购物(场)空间形成与闭环。随后与开拓一起选用适宜的技能以及算法，开始投入资源研发。
为什么存在技能选型流程：
在前期不是所有场景的实现的唯一路子都须要AI办理；若不是BAT级别，一个新项目的启动的本钱评估十分主要，涉及到AI资源的开拓本钱更须要可控在技能定型阶段，PM关键能力是业务对接能力和技能理解能力，业务指对接客户，场景剖析，商业操持，技能指前后端，数据库，cv/nlp算法和对应办理方案等。韶光分配上50%在对接业务，50%在对接技能。
（2） 试运营阶段：
产品雏形上线后，可在可掌握的范围内进行产品试运营。
以视觉识别智能货柜为例：初版利用静态识别技能货柜研发完成后，在客户公司布点供内部员工体验。经由一定的试运营韶光不断的优化产品的技能和体验，办理常见BUG。待产品稳定后，客户签订更大条约，开始扩大运营范围并对外开始商业运营。
这个时候，可能会涌现因技能选型失落误或者技能的识别难关导致研发周期不可控的风险，以是在试运营阶段，PM关键能力是项目管理能力和需求剖析能力，对研发周期的可控和客户提需求的过滤剖析特殊主要，同时也须要能帮助算法同事办理技能和业务的冲突，如决策放弃某些需求场景，折衷增加算法资源，参与算法重选等。韶光分配上60%处理项目和需求，40%跟进和深入技能迭代。
（3） 稳定迭代阶段：
关于如何将项目视为进入稳定迭代阶段，我们可以从两个方面去看：
产品能力上，干系的技能和关键业务指标达到商用标准；团队上，有专门卖力的产品开拓和售前售后团队，发卖反馈处理的主流程已基本搭建完成。在本阶段，卖力的内容与普通产品PM大径相同，关键能力是对项目和产品整体的管理，相对须要关心技能方面的内容会少一些(但是一个新场景进来又会重新进入第一阶段)。但关注数据源的康健，关键技能指标和业务指标、思考如何从技能和其他维度上优化模型依然是事情重心之一。
6.3 AI产品设计思考
笔者选择往AI方向发展，除了趋势还由于对未来智能强烈的好奇心。
PM所有的输出基于底层能力构造，构造包含两部分内容：第一部分是专业化知识，如体验、计策、商业、技能等专业知识和技能，紧张在事情中表示；第二部分则是个人的人文教化、灵魂素养、感情、驱动力、潜意识等。
以是我个人理解，在AI产品时期，一个岗位所需的底层能力是不会变革，只是岗位难度的变革。以是，保持产品初心不变，认识到产品的实质不变，把AI技能当作更高效率的技能工具利用在产品上，是我当前阶段的认知也是对PM读者的建议。
#感谢以下文章及作者#无人货架哀鸿遍野，智能货柜浪潮来袭，无人零售终端未来走向如何？新零售的风口：无人便利店和贩卖机的现状及比拟剖析CNN卷积神经网络事理讲解+图片识别运用（附源码）
作者：zain ；微旗子暗记：gdn1016756845；"大众号：五百桶户（ID：zainosl），互换是最好的进步路子之一。
本文由 @123456 原创发布于大家都是产品经理，未经容许，禁止转载。
题图来自Unsplash，基于CC0协议。
