“我过去曾说人工智能技术既是盾又是矛，现在看来不仅仅是矛和盾的问题，而是矛的工作原理目前还不可解释。”在2019世界人工智能大会召开前夕，上海人工智能安全专委会主任、中科院院士何积丰接受了解放日报·上观新闻记者的专访。他强调，人工智能如果被赋予情感，则超出了社会伦理范畴，人工智能技术的开发应该有边界，不能无限开发。

当突发的场景不在训练范围，机器也就无法从容应对

人工智能为何出错，这是人们最关心的，但现在对于其工作原理也不甚清楚。“根据柯尔莫果洛夫-阿诺尔德数学定理，当你选择有限的好的函数，累加在一起，取无穷大极限，就能逼近任何一个你想看到的函数，也就是‘万有逼近效应’，这说明可以构造出一个过程，但什么情况下会有误差并不清楚，这是比较令人担忧的一件事情。”何积丰说，现在的人工智能深度学习有一个重要假设，即训练的数据和测试的场景是同一个分布函数，但实际生活中难以做到，因此数据被污染也就不可避免。一旦数据被污染后，机器学习算法就会出问题。

还记得全球首例无人驾驶伤亡事故吗？去年3月，美国优步的一辆自动驾驶车在路试时撞倒一名行人，当时她正推着自行车在人行道之外横穿马路。不久之前，达芬奇手术机器人也遭遇了窘境，由于病人的血突然喷出来污染了摄像头，使得机器人后续的动作一下乱套了。“正是因为这些突发的场景并不在训练范围，机器也就无法从容应对。”  

人们对于一个软件的测试，往往有不少指标做参考，而对于人工智能的深度学习技术并没有安排相关的测试环节，更没有指标可供参考。“这就解释了为什么把一个好的语音识别工具，放在充满噪音的环境下，也会表现得不尽如人意。”

“现在是三大学派各唱各的戏，还是要有融合”

何积丰认为，可信的人工智能应该具备以下品质：可解释的工作原理，具有社会公平性，保护隐私，有边界。

智能服务技术也会带来某种歧视，国外已经出现了这样的例子：贷款机器人会询问收入和地址，结果发现白人拿到的贷款比黑人多一倍。人工智能将会广泛用于服务业，应具有社会公平性。有些算法会破坏人的隐私，比如现在网络上的“人肉搜索”往往没有底线，人工智能发展应避免由于算法设计对公众产生危害，不得以牺牲用户隐私为代价。人工智能如果被赋予情感，则超出了社会伦理范畴，需要引起警惕的是，人工智能技术的开发应该有边界，不能无限开发。“技术过于到位和不到位都会产生问题，就拿机器人手臂来说，其最佳定位，应该是成为熟练工的徒弟。”何积丰介绍，上海人工智能安全专委会正与上海市社会科学院合作，意在解决人工智能伦理和相关法律问题。

当下，人工智能领域主要有三大学派：基于数理逻辑的符号学派，基于控制论的行为学派，基于神经网络的连接学派。“现在是三大学派各唱各的戏，还是要有融合。正如扫地，既需要扫地机器人，边边角角处还是需要拖把，需要协作。”

在何积丰看来，人工智能将经历几个阶段，即深度学习、可解释的人工智能、通用人工智能、类脑人工智能等，其中4.0版本类脑人工智能会是未来一个关键的突破方向。人类与智能系统的自然沟通，则是另一个突破方向。“人受自身生理限制，但可穿戴设备延展和增强了人的智能，比如戴了智能眼镜后看得更远了，背上喷气式背包后跑得更快了。”

作为中国人工智能开源软件发展联盟专家委员会的主任委员，何积丰谈到，国家工信部已制定了人工智能开源软件相关标准，接下来如何孵化企业和共享技术将变得重要。“中国要实现人工智能开源软件的自主开发，需要注意软件的通用性及可适配性，这就好比做衣服用的模板，对大多数人适用，也能在此基础上做些小的改动，这样可以降低开发成本，便于推广。”

人工智能作为赋能技术可能会成为上海新的引擎

“上海的几大传统产业20年来没有什么新的经济增长点，现在人工智能作为赋能技术可能会成为新的引擎，产生新的增量，促进高品质的提升。”何积丰说，上海“四个中心”建设都需要人工智能创新技术的支撑。

上海把人工智能作为推动经济社会发展的重要赋能技术，在产业布局上有大动作，但如何为上海国家新一代人工智能创新发展试验区等提供服务，目标和路径都还处于策划和探索阶段。他建议，还要把高校和科研院所的力量整合到一个大的平台。　

“现在上海做应用数学研究的人太少，这也不利于人工智能的发展。”何积丰还提到，希望能有更好的人才政策，解决他们的住房问题，让他们安心在上海工作和生活。