近日，清华大学与厦门大学等高校联合研发的一项名为“无限长上下文”的技术在人工智能领域引起了广泛关注。这一技术的核心在于突破了传统大模型的记忆限制，实现了对超长文本的稳定处理，使得Llama、Qwen、MiniCPM等模型在性能上取得了显著提升。

据悉，“无限长上下文”技术是通过LLMxMapReduce长本文分帧处理技术实现的。该技术将长上下文切分为多个片段，让模型能够并行处理这些片段，并从不同片段中提取关键信息，最终汇总成为最终的答案。这一过程中，团队特别提出了结构化通信协议和上下文置信度校准机制，以实现对跨片段信息更有效的处理。

在实验中，研究团队将文本长度拓展至极高的水平，相当于在100万的大海中寻找关键信息，而LLMxMapReduce技术却能够轻松应对，实现了全绿的表现。这意味着，即使面对极长的文本，该技术也能保持稳定的性能，不会出现掉分的情况。

结合LLMxMapReduce框架后，Llama、Qwen、MiniCPM等模型的表现均得到了显著提升。特别是在业内权威的长文本评测InfiniteBench榜单上，结合了LLMxMapReduce技术的Llama3-70B-Instruct x MapReduce模型以68.66的最高平均分数，超越了包括GPT-4、Claude 2、Kimi-Chat在内的知名闭源和开源模型，以及其他基于Llama3-70B-Instruct的分治方法，如LongAgent和Chain-of-Agents。

这一技术的突破不仅为长文本处理提供了新的解决方案，还为AI在各个领域的应用带来了更多可能性。例如，在法律、医学和金融等领域，AI需要处理大量的文本数据，而“无限长上下文”技术的出现将使得AI能够更高效地处理这些数据，提高决策的效率。