中国尝试用人工智能挑选基金评审方法世界领先

2019-05-28 11:53:21来源：Nature自然科研

中国国家自然科学基金委员会认为，人工智能工具能够帮助节省挑选基金评审的时间。

中国最大的基础科学资助机构正在尝试采用人工智能工具来挑选研究人员评审基金申请，以期推动整个过程变得更加高效、迅速和公平。一些研究人员表示，这种方法是世界领先的，但也有人对人工智能能否改进这一过程持怀疑态度。

来源：Pixabay

挑选研究人员评审项目计划书或出版物是一件耗时又容易产生偏见的事情。一些学术出版商正在尝试使用人工智能(AI)工具来挑选评审以及执行其他任务;也有少数资助机构(包括北美和欧洲的)已经试用了简单的AI工具来寻找潜在评审。其中一些工具的做法是将基金申请中的关键词与其他科学家的出版物中的关键词进行匹配。

而中国国家自然科学基金委员会(NSFC)则正在创建一套更复杂的系统，该系统将利用自然语言处理技术爬取在线科学文献数据库和科学家的个人网页，以收集有关潜在评审的出版物或研究项目的详细信息。NSFC主任李静海介绍说，这套系统将对文本进行语义分析，并与基金申请进行比对，从而找到最匹配的评审。

省时省力

4月，NSFC前主任杨卫在杭州的一场学术交流会上展示了试点数据。他表示，初期版本的AI工具从前一年近44，000个项目评审小组中各选出了至少一个人。大多数评审小组由3-7人组成。杨卫说，这套系统为行政人员节省了大量寻找评审的时间。今年将采用类似的方法来挑选评审。

欧洲最大的基础研究机构——法国CNRS国际合作部主管Patrick Nédellec表示，NSFC已经成为改革基金评审流程的世界领导者。去年9月，李静海在一场会议中讨论了NSFC的改革计划，同样出席会议的Nédellec说，由于申请人数不断增加，NSFC不得不创新评审流程。“压力太大，中国别无选择，只能寻找最好的方式。”他说。

在过去5年里，NSFC收到的申请数量每年增长约10%。2018年，NSFC审核了22.5万份基金申请——几乎是美国国家科学基金会收到的6倍。李静海表示，NSFC正头疼要如何审核申请和寻找合适的评审。“我们面临的困难是：人手不够。”他说，“但AI能解决这个问题。”

减少偏见

李静海还希望AI工具能减少审核过程中的偏见。在中国，科学家要为自己的项目游说。“评估中的一个问题是，人们会动用人脉。但AI不会受此影响。”他说。

在要求申请人推荐专家评审的国家，这也一个问题。例如，瑞士国家科学基金会发现，申请人推荐的评审往往比基金会选的人更倾向于支持某个项目。

NSFC的AI试点系统仅支持中文网站，但李静海希望未来也能支持英文网站。

维也纳科技大学的科学政策顾问Manfred Horvat去年9月也参加了上述会议，他认为，“NSFC的改革计划目标远大，具有前瞻性和全面性。”

其他国家也在效仿中国的做法。挪威研究理事会顾问Thomas Hansteen透露，该理事会从4月开始使用自然语言处理技术对3000多份研究计划书进行分组，通过匹配方式寻找最合适的评审小组。

质疑之声

然而，并非所有人都认为应当将AI用于评审流程。英国研究机构RAND Europe的科学政策专家Susan Guthrie指出，加拿大卫生研究院在采用类似算法时就遭遇了重大挑战。

2016年，加拿大卫生研究院聘请了RAND Europe对有关基金同行评审的研究进行元分析，并部分地根据该分析报告得出结论，算法有时选出的评审存在利益冲突或不适合或资格不足。独立专家小组总结说，“虽然基于算法的匹配系统听起来很吸引人，但以AI目前的发展水平，它能实现的目标是有限的。选择评审必须主要依据人类的科学判断。”

威斯康辛州麦迪逊市Education Analytics的政策研究人员Elizabeth Pier认为，AI并不能消除选择偏见。她担心AI系统最终会复制人类根深蒂固的偏见，而不是避免偏见。她建议NSFC做一项研究，将AI挑选的评审和人为挑选的评审进行对比。李静海表示，等到系统上线运行，NSFC或许会考虑这项研究。

嘉奖评审

为使基金系统更公平，李静海计划在接下来的5年里引入其他工具，包括一套信用系统，奖励认真、公正、及时完成评审的研究人员。不过，李静海没有对这种奖励的性质予以评价。

他说，信用系统的目的是鼓励评审认真、专业地对待这份工作。

斯坦福大学统计学家John Ioannidis对NSFC努力使用客观的数据驱动型工具来挑选评审的做法表示赞赏。但他认为，如何判断评审是否做出了的正确决定，是否值得信任，仍是个难题。Ioannidis说，有些想法或许需要数十年时间才能验证其“伟大或平庸”。

李静海已经准备好迎接挑战。“这项任务不容易实现，需要在长期研究和试验中不断改进。”

标签：