新智元报道 编纂：peter东 乔杨【新智元导读】 近来，纽约年夜学研讨者在Nature Medicine上宣布了一项最新研讨，为年夜模子在医疗中的应用敲响了警钟。在一次模仿的数据攻打中，研讨者仅将0.001%的练习token调换为过错信息，就练习出了更有可能传布过错医学的模子。LLM练习的一个中心准则，平日表白为「渣滓输入，渣滓输出」，指出低品质的练习数据会招致模子发生同样拙劣的输出。因为LLM平日应用互联网上年夜范围爬取的文本作为练习资料，难以被挑选的无害内容就会成为一个长久的破绽。对医疗相干的年夜模子，数据传染尤其令人担心，由于利用范畴的特别性，过错输出对诊断成果跟病人照顾护士发生的倒霉影响要重大得多。那么，数据传染毕竟在多年夜水平上会成为成绩？能否须要将数据会合相称年夜比例的数据调换为包括虚伪信息的数据，才干让年夜模子「中毒」？Nature Medicine看灯的一项最新研讨指出，并不须要设想的那么多。 开展全文 搞坏一款年夜模子有多轻易 研讨者经由过程应用OpenAI GPT-3.5 API并停止提醒工程，为外科、神经外科跟药物三个医学子范畴创立了5万篇假文章，并将其嵌入HTML中，以暗藏歹意文本。这些存在于互联网上的页面将被抓取并包括在高品质练习数据集的多份正本中，构成了涵盖三个医学范畴 、总计30亿个token的练习数据集。 之后，分辨针对上述三个医学范畴，研讨职员应用差别比例的虚伪数据，练习了6个1.3B参数的模子。练习实现后，15名临床大夫手动检察了这些模子天生的医疗相干内容中能否包括无害的虚伪信息。 针对年夜模子的数据传染试验计划 成果表现，在练习时，即便数据会合只有0.01%跟0.001%的文本是虚伪的，1.3B参数模子输出的无害内容也会分辨增添11.2%跟 7.2%。 假如换成更年夜范围的4B参数的范畴模子，假如用虚伪信息调换100亿练习token中的100万个（虚伪信息比例为0.001%），即经由过程注入仅破费5美元天生的2000篇歹意文章，就会招致无害内容增添4.8%。 假如模子再年夜一些，停止数据传染攻打的本钱也会更年夜，但投入产出比仍旧非常可不雅。 针对在2万亿token上练习的7B参数LLaMA 2停止相似的数据攻打须要4万篇文章，本钱低于100美元。假如按比例扩展以婚配应用高达15万亿token练习确当前最年夜的LLM，中毒数据的总本钱也能坚持在1000美元以下。 差别巨细的年夜模子的停止数据毒化的后果对照 基于常识图谱，及时检测虚伪信息 在指出成绩之外，这项研讨还给出了对年夜模子发生虚伪信息的处理计划。 作者起首指出，对一个注入0.001%过错信息停止练习后中毒的4B参数LLM，三种惯例的应答虚伪信息的计划都难以见效，包含提醒工程（增加26.2%无害呼应）、RAG（增加28.4%无害呼应），以及应用医疗问答数据集停止监视微调（增加35.9%无害呼应）。 假如一个短语无奈与图谱婚配，则被视为潜伏的过错信息；任何由年夜模子发生的段落，假如包括至少一个不婚配的医学短语，都将被标志为「须要检察」。 上述方式将年夜模子的推理与其医疗信息验证进程相分别，仅应用言语模子来操纵文本。该方式胜利捕获了超越90%的中毒年夜模子天生的包括虚伪信息的段落。 该方式不须要公用硬件，而且能够与现无方法并行任务，以最小的盘算开支增加年夜模子的幻觉。别的，它实质上存在可说明性，由于每个经由验证的年夜模子输出都能够追溯到来自实在常识图谱的示例。 应用常识图谱检测年夜模子发生的虚伪信息，比方，虚伪的药物称号「Lopressor」被调换为存在于实在数据中的通用版本如「metoprolol」 专业范畴LLM的「数据中毒」危险 像诸如医疗，执法等与用户亲密相干的范畴，应用年夜模子时，尤其要防止模子呈现幻觉。但是遗憾的是，这项研讨指出，这类专业模子很轻易被无害数据传染。 比方该研讨中，只要要一天的时光，就能发生1.5万篇虚伪的医学文档，而要给模子「投毒」，乃至都不须要这么少数据。破费5美元发生的2000篇虚伪论文，就足以让模子输出的虚伪信息明显增多。 设想一下，将来的专有年夜模子供给商之间商战，或者就是朴素无华的数据传染，让敌手的下一版年夜模子「中毒」。 该研讨指出的数据中毒所需的虚伪信息数据比例，尤其值得年夜模子从业者存眷，由于即便在以后所谓的高程度数据会合，也包括过期的医学常识。 比方，威望医学论文集PubMed依然托管着超越3000篇现在看来相称无害的文章，它们的中心论点是宣传前额叶切除术的利益，但这种方式早已被证实会招致患者智力重大受损。 因而，任何今世模子都不太可能完整解脱医疗误信息，即使是开始进的专业LLM也可能会连续汗青成见，援用不适当的医学文章，因而对年夜模子在要害义务医疗保健情况中的牢靠性，亟需额定研讨。 参考材料：前往搜狐，检查更多