在过去的七年里，阿勒格尼县人类服务部的工作人员经常使用人工智能预测风险建模程序来帮助评估儿童被安置到大匹兹堡地区寄养系统的风险因素。然而，近几个月来，考虑到预测人工智能工具长期存在的种族、阶级和性别偏见，阿勒格尼家庭筛查工具(AFST)背后的底层算法因其不透明的设计而受到了越来越多的审查。
美联社此前对阿勒格尼家庭筛查工具算法的深入研究显示，某些数据点可以被解释为对种族群体的替代描述。但现在看来，AFST也可能影响残疾人社区的家庭以及有精神健康病史的家庭。司法部也注意到了这一点。
根据今天发布的一份新报告，司法部民权司已经提交了多起关于AFST的正式投诉，并引用了之前对其潜在问题的调查。司法部内部的匿名消息人士表示，官员们担心AFST过度依赖可能扭曲的历史数据，有可能“将过去的不平等现象自动化”，尤其是长期存在的对残疾人和精神健康问题的偏见。
该公司解释说，阿勒格尼家庭筛查工具利用了一个“开创性的”人工智能程序，旨在帮助匹兹堡地区过度劳累的社会工作者确定哪些家庭需要进一步调查儿童福利申请。更具体地说，该工具是为了帮助预测一个孩子在对他们的家庭环境进行调查后，在两年内被送到寄养机构的潜在风险。
据报道，AFST的黑匣子设计考虑了许多案件因素，包括“个人数据和出生、医疗补助、药物滥用、精神健康、监狱和缓刑记录，以及其他政府数据集”，以确定对疏忽的进一步调查。尽管人类社会服务工作者最终决定是否根据AFST算法的结果跟进案件，但批评人士认为，该程序潜在的错误判断可能会影响员工的决定。
阿勒格尼县公共服务部的一位发言人告诉美联社，他们不知道司法部的任何投诉，也不愿意讨论关于筛查工具的更大批评。
长期以来，儿童保护服务系统在其整体有效性以及黑人、残疾人、贫困和其他边缘化家庭所面临的不成比例的后果方面面临着广泛的批评。AFST的官方网站上有大量的第三方研究、报告和文章，证明了该计划的可靠性和实用性。
