人们对于AI系统，进行了许多美好的构想，寄予它们护理工作调解员的角色，并相信它们在未来有可能完全取缔了护工的工作。这一转变前景乐观、经济，且高效，很可能会改善患者与医生或其他护工之间的关系和他们的工作方式。
能展示AI系统具有代替或者协助人工护理工作的潜力的例子非常之多，包括有机器人外科医生、虚拟管家和陪护机器人等等。这些例子逐渐引发了一些争论，比如代理照顾和陪同护理的社会意义是否可以让非人类的机器来代替?当机器替代人工时，它是否能不仅仅只是增强人工的专业性，而能做到真正的独当一面呢?当我们认为一台机器有能力“护理”病人时，它具备了哪些“护理”能力呢?我们又是如何定义“护理”这个词呢?这些我们以为的“以为”是否是站在病人权益的角度上，去考虑的呢?
就目前来说，虽然陪护机器人在取代人工护理工作上，还未取得什么明显的效果， 但由AI驱动的APP和联网设备能让病人取回对自己健康管理的控制权的前景正在与日俱增，而这也预示着AI医疗系统同病人的直接交互，正处于早期发展阶段。。
这种人与AI的直接交互其实也是一把双刃剑。一方面，它能让病人康复地更快、对自身病情有更多的了解。另一方面，这种变革也需要他们担负更多的风险。这些风险包括它可能会误导病患，影响他们可能会接收到的信息的质量和准确性，而这也是美国联邦贸易委员会(FTC)在近些年来，所要传达给我们的担虑。
除此之外，这些搭载了AI的APP也可以将原先医疗从业者所需要承担的责任转移病人本身，但这对病人来说不见得是什么好消息，因为并不是所有人都有时间、财力和AI技术获取渠道，来实现对他们自身健康的护理。
那么，什么样的患者能优先享受到这些仍在不断改进当中的AI医疗技术的红利呢?对于那些“装备”不良却想管理和维护自己个人数据的病患来说，他们所接受到的健康看护是否是不合格的呢?
再者，那些搭载了AI技术的应用的设计者和研发者在这一社会演变过程中，又需要扮演什么新的角色?需要承担哪些新的责任?
那些始终处于风口浪尖的医学道德伦理，又将如何融入到这些与众不同的，新式工程技术的载体上呢?
4.道德责任
AI系统的部署不仅将引发新的责任，也将对职业道德、研究道德、甚至公共安全评估等现有领域造成挑战。
近来，人们对道德和AI系统的讨论倾向于优先考虑很久以后可能会出现的AI系统，例如，“奇点”的来临，或超级智能的发展。
也就是说，这种讨论往往并未关注AI系统在短期或中期内会产生的道德影响，例如，当前已投入使用的大量任务型AI系统引发了新挑战、可能加剧不平等、或从根本上改变权利机制。
当代AI系统上能够执行各种各样的活动，这类技术会引发各种隐性和显性后果，因此可能对传统伦理框架提出新挑战。AI系统被部署在人类社会中时或许会引发不可预测的相互作用和后果。
在资源配置以及让权力和信息集中或重组的潜力方面，我们迫切需要处理一些关键问题来确保AI技术不会造成伤害，特别对于已被边缘化的群体。
我们如何向AI授予权力或委派AI展开决策?
AI系统在社会和经济领域内的融合需要我们把社会问题转变为能够被AI解决的技术问题。这种转变无法保证AI系统产生的错误会少于它将取代的现有系统。瑞安?卡洛(Ryan Calo)指出，人们通常以为，AI系统(如，自主驾驶汽车)犯的错误将少于人类。实则不然。复杂程度不高的AI系统无法避免地会犯一些人类不会犯的新错误。
在许多领域中，伦理框架往往需要产生记录，例如，病历、律师的案卷、或研究人员向机构审查委员会提交的文件。此外，人们还面向患者、客户或感觉自己遭遇了不公正待遇的对象设立了补救机制。
当代的AI系统往往无法提供此类记录或补救机制，要么因为技术上无法实现，要么因为设计者并未考虑此类记录或机制。
这意味着，受到影响的特定群体或个人往往无法对AI或其他预测系统的决策进行检验或质疑。这会恶化各种形式的权力不对等现象。而权力不对等是一个很重要的伦理议题。
当受到影响的个人无法对这类自动化决策展开检验、质疑或上诉时，他们就处在了权力相对缺失的位置上。