性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场

_原题为 上线24小时即下架 , AI性别识别平台演绎大型翻车现场
原创 Synced 机器之心
机器之心报道
编辑:蛋酱
有些公司成立之初即引起轰动 , 有些公司的首次亮相却令人大跌眼镜 , Genderify 属于后者 。
性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场
文章图片

AI 可以通过用户名分辨性别吗?
能 , 但是水平有限 , 还请多担待 。
最近 , 一款名为「Genderify」的 AI 性别识别平台引起了大家的注意 。 这款产品宣称使用一种简单、快速、独特的 AI 技术 , 让用户直接输入名称或者电子邮件地址 , 即可获取性别判断结果 。
性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场
文章图片

开发人员称 , 这款产品的目标在于帮助人们更好地了解性别特定(GenderSpecific)方面的需求 。 该技术也可轻松集成到现有系统内 , 例如注册表单、CRM 和 ERM 等 。
因此 , 在这款产品上线的第一时间 , 很多用户就率先冲了上去 , 想要试用这个新功能 。 但没有想到 , 就这么猝不及防地翻车了 。
如果在 Genderify 中输入 Meghan Smith , 评估结果为「男性 39.6% , 女性 60.4%」;将名称更改为「Dr. Meghan Smith」 , 结果变为「男性 75.9% , 女性 24.10%」 。
「Meghan Smith」是女性 , 但「Dr. Meghan Smith」就变成了男性?同时 , 以「Dr」为开头的其他名字也会产生向男性倾斜的相似结果 。
性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场
文章图片

图源:推特用户 @jpdoane 。
输入「scientist」 , 评估为男性的结果概率高达 95.7%:
性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场
文章图片

有人输入 Oprah , 结果显示 78.3% 是男性 , 但人们最熟悉的「Oprah」是一名女性:脱口秀主持人 Oprah Winfrey 。
性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场
文章图片

如果先是输入「Yifat shalk」 , 结果会显示 94.4% 为男性 , 再换成只输入「Yifat」的话 , 这个比例就降到了 78.6% 。
性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场
文章图片

性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场
文章图片

这位用户表示:「我感觉是 , AI 在不知道该如何判断的时候 , 就会默认为男性 。 」这样的判断方法 , 约等于「不会的选择题就选 C」 。
性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场
文章图片

有人将 Genderify 首席运营官的名字填进检索框 , 结果依旧令人尴尬:无论怎么看 , Arevik 都不会是一名男性 , 即使评估结果的比例高达91.2% 。
性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场
文章图片

性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场
文章图片

事实证明 , 推特也是个男孩子 。
性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场
文章图片

图源:推特用户@BenjaminEHowe 。
人工智能系统中的性别偏见并不是一个新鲜的话题 , 至少很多人都了解它的存在 。 但 Genderify 判断结果的离谱程度还是让业内震惊了 。
人工智能社会影响研究机构、纽约大学 AI Now 的联合创始人 Meredith Whittaker 在推特上呼吁:「我们都被异化了吗?」
性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场
文章图片

这种带有严重偏见的 AI 系统存在许多隐患 , 比如将该服务集成到医疗对话机器人中之后 , 算法对于用户性别判断的失误可能会导致完全偏离的医疗建议 。 尽管该产品的创造者 Arevik Gasparyan 只是将其定义为「助力营销数据分析」方面的工具 。
所以上线不久后 , Genderify 就引发了社交媒体平台的强烈抗议 。
性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场
文章图片

「这个产品太糟糕了 , 请中止 。 」
性别|上线24小时即下架,AI性别识别平台演绎大型翻车现场
文章图片

「删掉这条推文 , 删掉这款产品 , 删掉这家公司 。 」


推荐阅读