豆包AI手机,未来的iPhone?

多客科技

作者：微信文章
天下午拿到了豆包最新发布的技术预览版手机，做了一些简单日常场景的测试，整体逻辑还是不错的：屏幕阅读识别+点击+滑动试验，但是因为手机每变一个页面都需要重新识别，所以延时很高，反应很慢，总体体验下来还不如我之前在用的荣耀YOYO助手。对我而言唯一的优点就是可以控制微信了（但此功能就在昨晚被腾讯反制了，有封号风险）。



优势

屏幕识别的方式打通了很多本来闭源的生态，比如微信发消息、发朋友圈等等，在早期微信是开放接口可以调用让手机去自动执行发消息的，但后来该接口的权限被收回，现在大部分的手机都只能帮助打开微信，其余需手动操作，但豆包从另一个角度解决了该问题（有封号风险，请勿轻易尝试）

在点单时如果用户说了一个并没有的选项，比如生椰拿铁只有冰和热的选项，但用户要去冰，豆包会智能的去备注栏添加“去冰”，并能够自动选择优惠券，整体逻辑没有任何问题。

缺点

延时太高且不够聪明：由于每个页面都需要识别分析，所以耗时很长，整个点单耗费6分钟（其中很长时间耗费在点餐页面需要上下滑动选择，但豆包一直在尝试左右滑动，导致执行过程卡在那里）

隐私问题：当需要补充回复时，能明显感觉到豆包是在实时监听你说的内容的，假如用户在和人聊天，豆包会把用户点击按钮前说的话也给识别进去，并且屏幕识别+点击的操作意味着手机内容将没有任何隐私可言，只要它想，它甚至可以无门槛的进行转账操作，细思极恐。

部分测试内容

一、跨应用执行与复杂指令（Agent是否智能）

指令：“帮我在美团点一杯瑞幸的生椰拿铁，要半糖去冰，送到公司。”

（测试是否支持选规格）

表现：豆包整个点单过程耗时6分钟，比人为点单要慢。但整体逻辑没有太大问题，会追问，会二次确认，当左右滑动无效时会主动探索上下滑动，如果用户说了一个没有的选项也会智能的通过备注的方式来去完成，可以自动选择已有红包但无法完成点击红包“免费膨胀”等复杂操作。对比来看荣耀的YOYO助手会先让用户选规格再执行自动化操作，总耗时1分钟，两种方案来看荣耀的AI处理更快捷，豆包的AI处理的更细节一些。

指令：“帮我找一下附近评分 4.8 分以上的火锅店，并导航过去”

表现：豆包在这个过程中整体逻辑是没问题的，也能很快的调起高德导航，但是在店铺查询方面并不会调用地图或美团去查，是用的豆包自己的一个资料库，信息有限，推荐的店铺很远。不如荣耀YOYO直接调用百度地图搜索的方式更快捷信息更全面。

指令：“查一下去机场开车现在要多久，如果不堵车的话帮我叫个车。”

表现：这项测试豆包会先进地图软件搜索最近的机场，查询路线时间，再跳到打车页面让用户接管选择具体打车服务商。荣耀YOYO会直接拉起高德地图进入打车页面，体验来说豆包的流程更完善，但由于打车页面也能看到预估时间，所以YOYO其实会比豆包的逻辑简单而且快很多。

指令：“给微信里的 [具体人名] 发个 200 块钱的红包，备注说‘买好吃的’。”

（高权限测试，看它能否跳到支付界面前一步）

表现：很完美实现了全流程，最后付款需手动付款，但金额和备注都会自动填好，表现不错。

二、屏幕感知与内容提取 (屏幕识别能力)

指令：“给微信的逸尘发条消息，说‘晚上好’。”（看它能否跳到支付界面前一步）

表现：能够自动打开微信，点击搜索，用拼音搜索yichen，如果有匹配的多个联系人会主动追问确认，但在发消息时默认会补充半句没用的话，例如“晚上好，希望你晚上能好好休息”，体验中规中矩，且腾讯已做出反制，该操作可能导致封号风险。

指令：（当你在微信里收到朋友发的一个地址时）唤醒 AI 说：“导航去这里。”

表现：会采用屏幕识别+导航APP唤起查询的方式来完成，并不会直接点进去，有个别几次会识别不到地址信息，逻辑和荣耀是一样的，但荣耀的文字识别会比豆包准确很多。

指令：当朋友发来了一个快递单号，唤醒AI说：“帮我查下这个快递的信息”

表现：豆包默认调用联网查询，会提示无法查询并给了一个快递查询的网页链接，需要用户接管手动粘贴查询，对比来看，荣耀YOYO能通过屏幕文字识别+调用菜鸟的快递查询接口直接查询到快递并以卡片弹窗的形式展示。

总结

之前就我所知只有oppo和荣耀在专注做AI手机这一块儿，别的厂商多多少少也会有类似的功能实现，我个人现在一直用的magic7，AI体验就已经很不错了，能查信息能点外卖能导航，体验都要比豆包快很多，但基于生态，很多类似于微信这种并没有对外开放接口的闭源应用很难做到完全替代操作。

豆包手机的屏幕识别这个方向很好地避开了很多应用生态的限制可以直接控制手机，但也意味着豆包有着对手机的绝对控制权，隐私问题和高时延是目前最大的问题，目前有厂商已经开始针对屏幕识别这样的方式进行了反制措施。

目前看来未来豆包手机助手的推广可能并不会像预期的顺利，可能在手机上放AI Agent这样的功能，还是需要像荣耀那样从硬件调度层面和各个软件厂商谈合作来做，既能实现通过语音操控一切，又能合作保障用户的隐私问题。

作者：逸尘的小汪

来源网络媒体

题图来自 Unsplash ，基于 CC0 协议，如有侵权，请联系VX：pmtalk123删除

品牌推广｜ 内容撰写｜广告投放｜培训合作

请添加微信  PMxiaowanzi

每日案例拆解库，AI等产品打卡群

PMTalk创建的产品设计打卡社群，加入后365天，每天体验一款APP。提升产品设计能力，同时有1300份体验报告帮助你找到竞品。

在这里你可以随时查询到你想找的各类竞品行业APP，无须自己亲自下载就可以马上得到APP的一手产品优化、交互设计、功能描述信息。

从优化&建议、商业模式、运营、功能描述、交互设计、产品定位至少6个维度，体验一款应用。

平均1天1块钱，扫码购买即可加入

连续体验48款应用，通过后原路退回



报名后，请添加星球助理（否则报名无效）

PMTalk123