token搜论文-token sciences

该论文提出了一种名为REINAREtrieving from the traINing datA的简单NLP性能增强方法该方法通过使用BM25算法在训练集中检索和输入最相似的数据，并将检索到的最相似的K个数据直接拼接到原输入后，再重新训练模型，从而有效地提升NLP模型的性能作者在文本摘要语言模型机器翻译问答系统四个任务上。

论文3Grounding Language Model with ChunkingFree InContext Retrieval人大提出无需分块的上下文检索，将用户查询和长文档直接输入LLM，根据隐状态预测token，定位长文档中困惑度最低的前k个前缀，解码时跳过前缀对应的内容，直至找到eos论文4MRAG Reinforcing Large Language Model。