作者：微胖
垃圾难分、智能制造火热、Pepper 机器人做你的英语私教、AutoNLP 全自动建模.......WAIC 2019 黑客马拉松四十八小时鏖战，亮点不断。
8 月 29 日上午，WAIC 黑客马拉松与天下人工智能大会开幕式同时启动，在张江人工智能岛火热开赛。作为天下人工智能大会期间唯一的一场黑客松，该大赛由机器之心承办，张江集团协办，阿里云、微软Azure供应云打算资源支持，张江创业工坊、微软人工智能和物联网实验室供应园地支持。
这次黑客松设计了四大赛题，紧张聚焦 AI 技能与运用的热点问题，分别由微众银行、软银机器人、第四范式以及微软 AIoT 实验室进行命题，吸引了来自天下多个国家近百余支团队、数百名开拓者报名参赛。
在决赛阶段，48 支团队近 200 位开拓者线下展开了四十八小时的鏖战。终极，十三支军队分列各赛题前三，取得胜利。
微众智能垃圾分类：识别率不理想，场景更难找
和其他三大赛道比起来，这个赛道的团队成员最为年轻。
只管如此，这一命题还是比我们想象中更有现实意义。据在场评委先容，在探索智能技能在垃圾分类的运用上，上海做的远比外界认为的多。目前，从前真个居民生活垃圾分类，到小区垃圾装运，再到垃圾厂分选处理，打算机视觉被运用到了每个环节。
作为出题方的微众银行也进行了干系实践。他们曾经花了两周旁边的韶光做了一款智能垃圾识别的小程序。
垃圾分类范围非常广泛，包括生活垃圾、建筑垃圾（比如居民装修产生的垃圾）、电子垃圾、医疗垃圾等。本次寻衅赛聚焦生活垃圾，利用深度学习图像分类模型的构建，实现（上海）四大种别垃圾图片的精准识别，包括湿垃圾、干垃圾、有害垃圾和可回收垃圾。
为此，微众银行发布了 20000 张图片作为演习集、9000 张图片作为测试集（参赛者不可见），磨练参赛选手模型的建构、抗滋扰能力以及迁移能力。
一共有九支军队参加了此赛题的竞赛。终极，skype 脱颖而出，拔得头筹。
skype 答辩中
skype 首先捋顺了识别逻辑。在她看来，模型构建的过程和人类认知过程差不多：常日，人类一眼就能识别自己扔的是什么垃圾，比如苹果、电池、筷子、纸盒。然后，再根据干系提示进一步分类到得当的垃圾桶，比如干垃圾或者有害垃圾。
微众银行供应的数据也涉及两级目标分类：一级目标的四大类和二级目标的 400 多个种类，覆盖了紧张的生活垃圾。
skype 认为，可以将任务理解为一个二级标签空间上的分类以及标签映射问题。随后，她先容了自己的分类器设计、特色提取模型以及推断策略。和其他选手不同的是，在全体比赛过程中，她并没有爬取额外的数据。
从终极结果来看，验证集结果明显好于测试集。个中，针对有害垃圾的识别效果较差；可回收和干垃圾识别效果最空想，可以达到 80% 以上。
剖析个华夏因，她认为有一点在于演习集与测试集差别很大。如果要提升效果，还要在数据搜集方面多下工夫，更加相符实际情形。
评委也针对她的算法设计提出了自己的意见：不要为了算法而算法，可以考虑将知识添加到分类设计中。
评委进一步阐明道，上海将垃圾分为四大种别，实在并没有大多数人想的那么深奥，实质上也符合生活知识：原则上，人吃的东西，剩下来便是湿垃圾；可回收垃圾无非便是玻璃、塑料、金属、纸张和衣服；至于干垃圾，便是一个兜底的种别。
另一位评委赛后见告机器之心，他们创造一些参赛选手在算法处理上有一些很故意思的地方，这位 skype 选手的处理办法比较特殊，让她印象比较深刻。事实上，在点评过程中，评委也曾就推理策略与选手有过几轮互换。
第二名「分不清什么垃圾」算是本赛道最有故事的选手：垃圾分类本该是 CV 选手的天下，然而这位背景为 NLP 的同学却独自完成了比赛，且得到了第二名的好成绩。
作为一名 NLP 选手，他看到图片后的第一反应是如何用 image caption 将图像中的语义、物体转化为文本，然后再进行垃圾分类。NLP 背景让他没有完备依赖外部形态，而是考虑到了语义特色。他终极选择了 Resnet 50 进行演习。
「分不清什么垃圾」答辩中
第三名是「sharing happiness」。第一次演习后，和其他获奖选手一样，他的图像分类结果在测试集上的效果涌现了大幅下滑，仅有 49%。他认为，除了模型，数据本身也有很大问题，比如爬取图和实际垃圾差距比较大。
接下来，选手对不合理数据进行了人工清理，同时为二级种别每个类型增加了 120 张图片并加入到原始数据，然后进行了二次演习。结果，算法在测试集上的准确率提升了 30% 多，大概为 79%。由于将紧张事情都集中在了数据事情上，选手认为，终极结果的提升也与此关系重大。
须要解释的是，79% 是四类垃圾分类效果的均匀值。就详细种别来说，和其他选手碰着的情形一样，有害垃圾识别率最低，即便是从网络爬取一些图片后，效果仍不理想；尔后果最好的是干垃圾。
评委对干垃圾识别率高的这一结果多少有些意外，在他看来，干垃圾作为一个兜底分类，包含垃圾身分会比较多，也比较繁芜。理论上，识别起来该当更加困难。或许，这一结果与参赛者的样本有关。
sharing happiness 团队答辩
从运用处景上来看，大家险些都设想到了手机、电脑等前端乃至后端工厂的运用可能性。
笔者非常赞许第三名得到者的一个不雅观点：终极，特殊是在后端，每每须要不同技能手段的联合，包括光学技能、机器人乃至其他物理方法。事实上，目前搭载了 CV 的机器人，也仅仅在后端工厂的终极质检环节发挥浸染（乃至可以说可有可无）。没有被委以重任的一个很大阻碍，仍旧是处理速率。
纵不雅观全体比赛过程，我们可以看到一些共性，比如 ResNet 成为大多数团队的首选，都非常强调数据集对识别效果的主要性。
针对险些都在有害垃圾识别上翻车的征象，评委见告机器之心，选手普遍反响数据集存在一些寻衅，比如数据量不足。但数据也与算法要做事的详细场景有关系，比如，如果知道这个算法所要做事的场景的详细情形，然后对症下药地去网络干系数据，算法效果会有改进。
在评委看来，最棘手的问题实在不是算法，而是找到一个非常得当的落地场景。相对而言，在后真个 CV 识别可能更能知足比较刚性的需求
传说中的智能分类垃圾桶
评委果一番话，让我想起位于张江人工智能岛大门一侧的那台巨型智能垃圾箱，据厂家先容，这个垃圾箱代价好几千。
该垃圾箱配备感应器，当我将易拉罐靠近一扇关闭的小窗时，系统会感应到进而打开小窗。易拉罐扔进去后，小窗急速关闭。不一会儿，就可以听见系统识别出这是可回收垃圾，轰隆一声，本来水平的铁板向可回收垃圾一侧倾斜，易拉罐掉了进去。
如果我扔进去的是一袋未加分类的垃圾呢？机器之心曾在 WAIC2019 现场讯问过该垃圾箱制造厂商，对方说，系统会直接默认为不可回收垃圾。
虽说系统可以识别 97% 的可回收垃圾，可当你不雅观摩过黑客松现场就会创造，这实在是最随意马虎做好的一类识别：
可回收垃圾无非便是那几样，常日都是有形的，效果当然好；相反，如果是湿垃圾，由于早已不再是有形的（苹果变成了苹果皮），识别起来就更困难了。
据理解，目前这台智能垃圾系统还无法进一步区分玻璃瓶和易拉罐（仅能识别这是不是一个瓶子）。至于能否像国外网红智能垃圾桶 Oscar 那样识别出瓶子包装上的适口可乐等 logo，厂家见告我们，这也是他们努力的方向，但目前做到的识别率仅 30% 多。
评委见告我们，识别更多的商品包装信息对数据集哀求就更高，目前大略的一级、二级分类目标就无法知足需求，数据规模也要变得更弘大，这也意味着更加繁芜的事情。笔者不由一惊，如此一来，智能垃圾桶的价格岂不是要上万了？！
微软智能车间：实力强劲，亮点不断
在微软智能车间寻衅赛中，出题方紧张聚焦两大问题：一方面关注智能盘库（空间建模、货色识别、标签识别等）和 AGV（在室内移动状态下的目标识别和测距能力，室内空间行车路线学习和稳定行驶能力。）；另一方面关注基于 HoloLens 的一线员工赋能。
与智能垃圾分类赛道的组队不同，参加微软智能车间寻衅的不少团队都是久经疆场的资深从业者，获奖的团队也是行业公司。智能车间也是四大赛道中唯一出身了两个第三名的赛道。所有参赛团队都在微软供应的 Azure 云做事平台上完成智能车间赛题。
专注 AI 物流创新的上汽安吉拔得头筹。
上汽安吉智能充分利用了 Azure 云端做事能力，实现自定制深度学习模型算法。目前的仓库盘点事情存在很多问题，比如货架很高，常日 6 到 8 米，工人要用叉车将库存取出，放到一层，用扫描枪进行扫描，有的乃至还用纸本记录。全体事情不仅非常耗费人工，而且还要停滞一周的事情。
上汽安吉提出的方案是：在叉车上安装摄像头和补光设备，行驶过程中录下***，传给本地做事器，进行***图像识别和剖析，得到货色数量和种类。
在全体技能实现过程中，难点也是很多的。比如，环境很繁芜；采集图像不随意马虎；网络环境也很差，很难实时发送数据；移动采集数据实际上很多用不了；光芒会大大影响识别效率。
不过，据先容，采纳他们的方案后，盘点精度达到了 99%，耗时低落了 10 倍，一万平的仓库一台机器 4 个小时即可完成事情。
上汽安吉答辩中
其余，上汽安吉也供应了一套 AGV 移动精准定位、利用微软 Azure 高性能 GPU 算力资源及 Kinect 设备完成的方案。
传统方案不仅依赖在地面上添加赞助标志，还存在定位不准的问题。如何精准丈量与货架的间隔，并精准地将 AGV 移到货架下面，将货取走，是他们试图办理的问题。
与传统方案比较，他们利用了前置 Kinect 相机的方案来测距。利用透视变换算法来办理 AGV 相机视角较低引起的测距偏差。不过，在关键位置，仍旧须要增加标志物保持定位精度，通过动态补偿算法办理移动过程抖动导致的定位不准问题。办理方案末了实现的定位精度可达 5 毫米旁边。
上汽安吉
得到第二名的是品览团队的智能货架巡检方案。超市货架常日须要补货，存在商品陈设不饱满、商品品牌未露出等问题，这些须要遵守的排放姿势直接关系到商品的***可能性，比如，摆的足够好、露出品牌、在客户视线范围内的商品更随意马虎被买走。
传统的巡检都是靠人，不仅低效而且随意马虎涌现遗漏和事情不到位，机器人事情不仅精确，没有疏漏，而且每天可以做多次盘点。
品览答辩中
品览设计的这款智能盘库机器人，底部有一个激光雷达用来舆图建模，上面和下面还有两个摄像头用来避障。这些硬件设备可以保障机器人实现园地的清闲游走。照片采集器位于这些摄像头的卡槽位置。走过货架，摄像头就会将浏览到的商品都拍下来。
其余，针对地下的超市，他们做了 5G 通讯模块，利于拍摄***上传和***。针对货架常日会比较长的情形，他们还做了图像拼接。通过针对搜集的数据在本地边缘节点剖析同时传至 Azure 云端数据湖，即可实现智能巡检。据先容，这套设备可以显著提升商品陈设合规性。
针对新品类的演习问题，他们会将这部分归为其他，上传到Azure 云端数据湖进行比对，然后添加标签，利用Azure Machine Learning Services，进入 SKU 模块里再演习。
目前，这套系统的检出率可以达到 99%，乃至 100%，识别率在 95%-97%。个中难点之一在于，光照会影响到识别，比如果汁之类的识别。其余，由于仓库的光芒以及货色摆放常日凹凸不一，这对摄像头也是一个寻衅，由于焦距变革，摄像头也要能够根据实际情形「能伸能屈。」
品览团队的品识 AI 中台
第三名由北光科技（天津）和摩联科技共同得到。个中，Galatea(北光科技）将有关 AGV 的考题解读为用户不接管铺轨；实际场景中，会常常碰到人和电线、货架物品等障碍物；园地变革大，舆图不固定。
他们的办理方案是利用 Kinect SDK 的 3D 点云做可行驶区域检测、路径方案，以及避障提示；然后用Azure 高性能 GPU 算力资源运行机器学习做积水识别与二维码库存清点。
团队谈到，他们有时创造 Kinect SDK 云图将地上的电线识别得特殊清楚，因此，他们意识到这对付识别电线很有用，将 Kinect 与他们以前做过的机器人结合起来。
个中的技能难点不少，包括多 ROS 系统通讯、基于神经网络的障碍物识别、基于三维点云与神经网络预测结果的建图与路径方案以及头部云台与 IMU。
在展示***中，我们可以创造机器人行走时会自动避开桌子，而不是钻到桌子底下。他们的团队见告机器之心，其紧张贡献便是将那些地面赞助导航的「舆图」（比如二维码）抹去了。没有这些舆图，小车仍旧可以精确行进。他们将自己的机器人称为语义掌握的机器人。
团队表示，机器人是 2017 年做的，但是考试测验与 Azure Kinect DK 结合还是第一次。与之前仅用摄像头的方案不同，这次他们去掉了过滤算法。
软银 Pepper 机器人：来玩「石头剪刀布」吧
第一次和十来台 Pepper 机器人共处一室，觉得还真有些特殊。Pepper 一双萌萌的大眼睛盯着你，视线还能跟随你的移动，有时，还真的有点心跳的觉得。
从 2017 年进入中国到现在，软银机器人产品广泛运用于商业做事场景及教诲市场，在环球有超过 5000 家企业利用 Pepper 机器人，为包括汽车 4S 店、机场以及电网公司等企业供应专业的客户做事支持。
在教诲市场，已有超过 3000 所科研院校利用软银 Pepper 及 NAO 机器人进行科研及竞赛项目研究。软银机器人在中国携手浙江政府打造 AI 未来英才造就操持，2000 台 Pepper 进校园，通过编程学习让学生进一步理解、学习人形机器人，和老师共同磋商未来机器人的运用想法与创意
SUDO 答辩中
本次黑客松的冠军即是面向教诲主题，来自三星通信技能有限公司的 SUDO 战队，将目光投向英语早教市场，为 4 到 12 岁小孩供应私人外教做事。
选腕表演了这样一个场景：5 岁的小朋友父母事情在外，小朋友在家里玩得很愉快，忘却学习。
Pepper 会提示小朋友韶光表到了，该学习了。还能识别小男孩手中的绘本书，并为之朗读。读完后，会针对干系内容进行意见意义小测试，并与小朋友互换。
在学习过程中，Pepper 机器人会用它独特的肢体措辞来吸引小朋友的把稳力。还会对单词发音是否准确，给出评估。除此之外，通过不雅观察小朋友的头部运动情形，Pepper 机器人还可以识别小朋友的把稳力情形。如果小朋友太调皮，家长可通过 Pepper 机器人以远程***的办法与小朋友通话。
评委认为，此项展示将 Pepper 人形机器人的交互上风表示得淋漓尽致，特殊是肢体措辞方面得到了很好的发挥，增加了交互的意见意义性。
除了 SUDO，其他一些团队也瞄准了英语早教的运用处景。比如，快乐英语学习，因时制宜的口语学习等等。可见无论是评委还是参赛选手对付机器人教诲方向均表示十分认可。
同时评委表示，目前精良的机器人价格高昂，期待在未来能够有更多的好运用、好创意来丰富机器人体验，让机器人早日走进千家万户。
天下人工智能大会现场，很多人都感想熏染到了空调低温带来的「砭骨」。笔者在世博中央冻了两天，一贯在想，是否有一种可以智能调节空调温度的方案？
结果，第二名得到者上实龙创团队给我们带来了答案。他们开拓 Pepper 机器人作为一个移动的边缘打算节点，卖力聪慧空间的管理。
上实龙创团队答辩中
做过一些酒店、社区等聪慧空间管理项目后，他们创造传统聪慧空间办理方案的一些痛点。比如前端交互办法（App）便是一个问题，对付老人或者小孩并不友好，利用起来也比较麻烦。
他们认为，利用 Pepper 基于 CV 与语音识别的人机交互上风，进行数据建模并深度开拓功能，可以让 Pepper 做为智能管家帮助人们进行实时决策。
在现场，他们演示了一个酒店场景下的运用。比如，Pepper 可以识别住店客人是谁，然后见告对方房间号，还可以提前打开房间空调，并掌握得当的温度、光芒等等。
在评委看来，智能音箱行动力有限，Pepper 机器人的存在恰好填补其缺陷，并希望选手可以将 Pepper 机器人打造成一个边缘打算的拓展，将诸如地下空间等地方的空间做事打通，供应更完全的做事。
比如，机器人可以通过人类的肢体识别（冷得抖动）调节室内空调温度、实现节能，将城市管理的决策交给消费者、老百姓。在技能实现上，可以考虑按区域分布，做 5G 机器人云等。
ITC 万物链
第三名被 AI 交互式游戏项目拿走，得胜者是 ITC 万物链，一位「独狼」式的选手。
他受曾经看过的一部电影的影响，想通过与呆萌的 Pepper 互换，让它变成一个具有真实情绪的人类。因此，他选择了一个非常聚焦、细致的场景：石头剪刀布游戏。
演示过程中，Pepper 会主动搭讪约请对方和自己玩游戏，用户回答肯定后，可以选择进入游戏。机器人一边说着石头剪刀布，一边与用户摆脱手势。如果用户出的是石头，而机器人说剪子（随机），Pepper 会通过 CV 判断对方的手势（判断是石头、剪刀或布），进而推断输赢。
评委表示，机器人作为一个全新的 AI 领域运用正逐渐走入人们视野，正如「扫雷」、「纸牌」等经典游戏之于电脑系统一样，当下的机器人运用正短缺一个特色经典游戏，让人们真正体会到 AI 与机器人技能的便捷有趣，同时希望选手们能够持续创新，找到机器人互动娱乐的打破点。
特邀高朋评委在赛后点评中表示，未来人工智能的发展离不开各位的努力和创造，我们也希望能够有机会做更多的事情帮助全体行业形成机器人开拓者生态，为精良的开拓者设立创意孵化器，让全体生态圈良性地发展下去。在这次大会，通过选手的精彩展示，我们看到软银的 Pepper 机器人，无论在商业还是在教诲领域都具有广阔的运用空间，期待未来能够看到更多机器人的商业落地运用。
第四范式 AutoNLP 大赛
AutoNLP 答辩现场
AutoNLP 是比来非常前沿的比赛，它希望参赛选手设计能自动处理自然措辞文本分类任务的系统，大赛公布数个公开数据集，供参赛选手开拓全自动的文本分类系统。
这也是本次比赛最为国际化的一个赛题，吸引了瑞士、韩国、日本、印度等国际选手参加。
AutoNLP 比赛是提交代码方案的比赛，选手代码的全体评测阶段（包括演习阶段）都会在平台上被全自动实行，期间不会有任何人工干预。
比赛开始前一个月内，第四范式公布了 5 个离线公共数据集、5 个线上公共数据集（用于盲测，选手无法得到数据集任何信息）。选部***离线公共数据集，开拓全自动的文本分类系统，实现吸收原始未经预处理的文本演习数据、全自动地完成文本预处理、模型构造设计和参数调校等过程。随后将产出文本分类模型上传至比赛平台上，通过 5 个线上公共数据集评估其 AutoNLP 方案的实时性能反馈，也据此得出初赛阶段的排名。
在决赛阶段，选手将自动文本分类系统在私有数据集上进行性能测试，以验证方案的可推广性。方案在没有人工干预的条件下，通过 5 个未经处理的私有数据集进行评估。终极，DeepBlueAI、upwind _flys 以及 ***a 得到前三名。
在第一名 DeepBlueAI 的答辩中，开拓者展示了 AutoNLP 紧张过程，并先容了他们的办理方案。大略而言，采取 AutoNLP 进行文本分类任务紧张分为四大步骤，即自动实现预处理过程、自动抽取文本特色、自动设计高效的神经网络架构，以及自动选择预演习模型等。
如下是 DeepBlueAI 的系统架构，个中预处理过程会从字、词到样本供应各种层级的信息，随后的 Cell 会自动学习最适宜数据的模型构造。这相称于我们从不同角度不雅观察文本，末了综合所有信息进行分类，这里「综合」的过程便是集成学习。
开拓者表示，他们在自动预处理过程中会根据措辞确定不同的策略，例如英文的预处理会将所有大写字母变为小写，并以词为单位进行分割；而中文的预处理会以字为单位进行分割，同时也会进行中文分词。主要的是，开拓者表示他们会采取 Python 代码实现数据预处理，从而加速该过程。
在进行一系列特色工程后，开拓者表示后面就须要确定一种高效的模型架构，它们考试测验将 TextCNN、BiGRU、CNN 等主流模型都聚合在一起，并希望系统能自动搜索更符合数据的架构。
除了第一名的 AutoNLP 办理方案外，其它团队的方案也各有特色。upwind 考试测验方案采纳了轻量级元学习思路下的自动化深度学习框架，详细而言，该方案功能分为元掌握器，自适应数据预处理，自动模型调度器，模型仓库，反馈仿真器几个部分，希望在方案上做到通用和自适应，基于数据特色和任务元特色来进行自动学习，避免涌现过拟合的情形。个中，包括了数据自适应处理和增强、自动化模型选择和模型仓库、反馈仿真和元演习模式等特点。因此，使方案具有很好的综合泛化性能，同时由于方案对目标具有很好的预判和模型调度能力，此方案的打算本钱在所有参赛军队中上风明显。
得到第三名的 ***a 利用更具特色的支持向量机来办理问题。比赛中，该团队实验了不同的办理方案，基于深度神经网络模型虽然在近些年来很热门，但是演习起来速率比较慢，在大数据上效果和线性支持向量机比较，没有明显的上风。考虑到本次比赛的评价指标中演习和预测的韶光也是主要的影响因子，以是选择了词袋模型特色与线性支持向量机相结合的办理方案。正是利用线性的支持向量机，模型的演习阶段和推理阶段速率都是深度学习模型无法比拟的。此外，由于该方案利用的模型是线性模型，不同于神经网络的黑盒构造，也具有较好的泛化效果。
不论思路是什么样的，AutoML 这类前沿领域的探索确实能让人感叹机器学习的潜力还远远未被发掘。
经由 48 小时的鏖战，四大赛题决出了终极的得胜团队，而后在由机器之心承办的 WAIC 开拓者日主单元上，上海市经信委领导、机器之心以及出题方为得胜团队代表进行了颁奖。
