pax_global_header00006660000000000000000000000064150705066110014513gustar00rootroot0000000000000052 comment=0e09889bfbf755f68e5d81db1f97d4f1ff8e4a58 middle25projects/000077500000000000000000000000001507050661100142365ustar00rootroot00000000000000middle25projects/2024103843/000077500000000000000000000000001507050661100153105ustar00rootroot00000000000000middle25projects/2024103843/experiement report/000077500000000000000000000000001507050661100211315ustar00rootroot00000000000000middle25projects/2024103843/experiement report/2024103843.md000066400000000000000000000150151507050661100225270ustar00rootroot00000000000000# 项目报告：本地化 RAG 最小系统与语义评测 ### 高诗杰 2024103843 --- ## 摘要 本项目开发了一个**本地化、模块化、可复用**的 RAG（检索增强生成）最小系统。系统完全运行于本地环境，无需联网支持： - **嵌入模型**：HuggingFace 的 `all-MiniLM-L6-v2`； - **大语言模型**：Ollama 部署的 `qwen2.5:3b`； - **索引与检索**：基于 FAISS 向量数据库； - **评测指标**：采用语义相似度而非字符级匹配。 本项目提出了两项核心评测指标： - **semantic_hit@k**：衡量前 K 个检索片段与参考答案的最大语义相似度是否超过阈值； - **semantic_answer_sim**：评估模型生成答案与参考答案的语义相似度。 在包含 6 条带参考答案的问题上，本项目对比了三种检索策略（Similarity、MMR、Keyword Gate）、不同 `chunk_size` 和是否启用压缩的性能。实验结果表明： - **MMR** 显著提升 `hit@k`（0.50 → 0.83，+66.7%）并改善答案相似度； - **chunk_size=400** 在 `MMR, k=8` 配置下表现最佳，答案语义相似度最高； - **Keyword Gate** 在保持命中率不变的情况下，提升答案相似度（0.87 → 0.92）； - **压缩（Compression）** 在小规模任务中导致信息丢失，答案质量显著下降。 --- ## 1. 背景与动机 ### 1.1 RAG 的意义 大语言模型常因**幻觉（Hallucination）问题导致回答缺乏可验证性。RAG 通过检索外部文档并融合生成**，显著提升回答的**事实性**和**信息覆盖率**。 ### 1.2 本地化的必要性 在学术或企业场景中： - **网络限制**：无法调用外部 API； - **隐私与合规**：开源模型更可控，保护数据安全； - **成本效益**：减少对云端算力的依赖。 因此，本项目设计了一个完全本地化的 RAG 系统，确保**无需联网即可完成实验**。 ### 1.3 语义评测的优势 传统字符级评测（如 F1/EM）过于依赖字面匹配，对语言表述的多样性不鲁棒。本项目采用**语义相似度**（基于嵌入向量的余弦相似度），更贴近用户对答案质量的真实感知。 --- ## 2. 系统设计 ### 2.1 系统架构 系统流程如下： 1. **文档加载**：从 `docs/` 目录读取原始文档； 2. **文本切分**：使用 `RecursiveCharacterTextSplitter`，默认参数为 `chunk_size=800, overlap=100`； 3. **向量化与索引**：通过 `all-MiniLM-L6-v2` 生成嵌入向量，存储至 FAISS； 4. **检索策略**： - **Similarity**：按相似度排序取前 K 个片段； - **MMR（最大边际相关性）**：在相似度基础上引入多样性，减少冗余； - **Keyword Gate**：通过关键词预过滤后进行相似度检索； 5. **答案生成**：使用 Ollama 的 `qwen2.5:3b` 基于检索上下文生成答案； 6. **上下文压缩（可选）**：将检索片段摘要为 1–2 句以减少冗余； 7. **语义评测**： - `semantic_hit@k`（语义命中） $$ \text{hit}=\begin{cases} 1, & \max_{i\le k}\cos\!\big(\mathbf{e}_{\text{ref}},\,\mathbf{e}_{i}\big)\ge\tau\\[4pt] 0, & \text{otherwise} \end{cases} $$ - `semantic_answer_sim`（答案与标准参考值的语义相似度） $$ \text{sim}=\cos\!\big(\mathbf{e}_{\text{ref}},\,\mathbf{e}_{\text{ans}}\big) $$ --- ## 3. 数据与实验设置 - **文档库**：所有文档统一翻译为中文，避免跨语言损失； - **问答数据集**：`qa_csv`，包含 6 条带参考答案的问题； - **嵌入模型**：`all-MiniLM-L6-v2`（本地缓存）； - **大语言模型**：Ollama `qwen2.5:3b`； - **实验参数**： - `top_k = 8`； - `chunk_overlap = 100`； - `chunk_size ∈ {400, 600, 800}`； - `use_compression ∈ {False, True}`。 --- ## 4. 主要贡献 1. **本地化 RAG 系统**：实现嵌入、索引、检索、生成全流程无外部依赖； 2. **语义评测方案**：提出基于语义命中率和答案相似度的评测方法，克服字符级评测局限； 3. **检索策略对比**：系统比较了 Similarity、MMR 和 Keyword Gate 的性能； 4. **切分与压缩分析**：探究 `chunk_size` 和压缩对答案质量的影响； 5. **可复现框架**：提供自动化实验流程，输出 CSV/JSONL 格式结果。 --- ## 5. 实验结果 ### 5.1 结果总览 | 运行标签 | 检索策略 | k | 压缩 | chunk_size | 样本数 | hit@k | 答案相似度 | | --- | --- | --- | --- | --- | --- | --- | --- | | similarity-k8-c0-cs800 | Similarity | 8 | ✗ | 800 | 6 | 0.50 | 0.871 | | keyword_gate-k8-c0-cs800 | Keyword Gate | 8 | ✗ | 800 | 6 | 0.50 | **0.921** | | mmr-k8-c0-cs400 | MMR | 8 | ✗ | 400 | 6 | **0.83** | **0.941** | | mmr-k8-c0-cs600 | MMR | 8 | ✗ | 600 | 6 | **0.83** | 0.877 | | mmr-k8-c0-cs800 | MMR | 8 | ✗ | 800 | 6 | **0.83** | 0.856 | | mmr-k8-c1-cs800 | MMR | 8 | ✓ | 800 | 6 | **0.83** | 0.710 | ### 5.2 结果分析 - **检索策略**： - MMR 在 `hit@k`（0.83 vs 0.50）和答案相似度（0.94 vs 0.87）上显著优于基线 Similarity； - Keyword Gate 保持 `hit@k` 不变，但答案相似度提升（0.87 → 0.92）。 - **切分粒度**： - 在 MMR 下，`chunk_size=400` 获得最高答案相似度（0.941）； - 较大 `chunk_size` 引入冗余信息，稀释关键内容。 - **压缩效果**： - 启用压缩后，答案相似度显著下降（0.856 → 0.710），不适合小规模任务。 --- ## 6. 结论与启示 - **推荐配置**：`retriever=MMR, chunk_size≈400, top_k≈8, compression=off`； - **关键启示**： - MMR 的多样性检索显著提升信息覆盖率和答案质量； - 小粒度切分（`chunk_size=400`）在多样性检索中效果最佳； - 上下文压缩需谨慎，仅适用于超长上下文场景。 --- ## 7. 局限性与未来工作 - **样本规模**：当前仅 6 条问题，需扩展数据集验证； - **阈值优化**：阈值固定，未来可进行灵敏度分析； - **模型扩展**：可尝试中文优化嵌入模型，如 `bge`, `m3e`, `gte-*`； - **检索增强**：可引入 BM25、Hybrid 或 Reranker 策略； - **评测改进**：可加入 LLM-as-a-judge 或人工标注。 --- ## 8. 实验复现步骤 1. **安装依赖**： ```bash pip install langchain langchain-community langchain-huggingface langchain-ollama sentence-transformers faiss-cpu ``` 2. **准备模型**： - 嵌入模型：`all-MiniLM-L6-v2`； - 大语言模型：Ollama `qwen2.5:3b`。 3. **运行实验**： ```bash cd src/scripts python main.py ``` 4. **查看结果**： ```bash cd src/results ```middle25projects/2024103843/src/000077500000000000000000000000001507050661100160775ustar00rootroot00000000000000middle25projects/2024103843/src/dataset/000077500000000000000000000000001507050661100175245ustar00rootroot00000000000000middle25projects/2024103843/src/dataset/ai_middleware.md000066400000000000000000000011051507050661100226310ustar00rootroot00000000000000# 大模型中间件介绍 大模型中间件是位于应用和模型之间的一层抽象，主要作用包括： - **路由**：在不同模型间切换或回退。 - **提示管理**：对 Prompt 模板进行版本化管理。 - **缓存**：降低调用延迟和成本。 - **安全**：检测越狱提示、敏感信息泄漏。 - **可观测性**：监控调用日志、延迟与费用。 ## 常见工具 - LiteLLM - Helicone - GPTCache - NeMo Guardrails ## 应用场景 - 企业内多模型接入。 - RAG 应用的工程化部署。 - 大规模提示实验与评测。 middle25projects/2024103843/src/dataset/coreware1.txt000066400000000000000000000007661507050661100221660ustar00rootroot00000000000000**CoreWeave 成为首个宣布全面提供 NVIDIA GB200 NVL72 实例的云服务商** 美国新泽西州利文斯顿，2025 年 2 月 4 日 /美通社/ —— AI 超大规模云服务商 CoreWeave 今日宣布成为首家将基于 NVIDIA GB200 NVL72 的实例全面推向市场的云服务商。CoreWeave 的 GB200 NVL72 集群基于 NVIDIA GB200 Grace Blackwell 超级芯片构建，性能与可扩展性迈上新台阶，助力客户快速训练、部署和扩展全球最复杂的 AI 模型。 middle25projects/2024103843/src/dataset/coreware2.txt000066400000000000000000000007521507050661100221620ustar00rootroot00000000000000**关于 CoreWeave** CoreWeave，AI 超大规模云服务商，提供新一代 AI 的前沿云平台和软件。公司技术为企业和领先的 AI 实验室提供加速计算的云解决方案。自 2017 年以来，CoreWeave 在美国与欧洲持续扩展数据中心布局。2024 年，CoreWeave 被《时代》评为“全球最具影响力的 100 家公司”之一，并登上《福布斯》Cloud 100 榜单。更多信息请访问 [www.coreweave.com](http://www.coreweave.com)。 middle25projects/2024103843/src/dataset/coreware3.txt000066400000000000000000000044471507050661100221700ustar00rootroot00000000000000**CoreWeave 成为首个宣布全面提供 NVIDIA GB200 NVL72 实例的云服务商** 今天是2025 年 2 月 5 日， 昨日 AI 超大规模云服务商 CoreWeave 宣布成为首家将基于 NVIDIA GB200 NVL72 的实例全面推向市场的云服务商。 CoreWeave 联合创始人兼首席战略官 Brian Venturo 表示：“这一里程碑进一步巩固了我们在行业中的领导地位，以及更快更高效交付前沿技术的能力。本次发布是我们‘一系列第一’中的又一成果，成为企业推动创新、同时保持大规模效率的倍增器。CoreWeave 的云服务组合——如 CoreWeave Kubernetes Service、Slurm on Kubernetes (SUNK) 以及可观测性平台——专为帮助客户在最新硬件上轻松运行、管理和扩展 AI 工作负载而打造。我们迫不及待地想看到企业如何利用 CoreWeave 的 NVIDIA GB200 NVL72 实例将 AI 部署提升到新水平。” 新一代由基础模型和推理模型驱动的 AI 拥有巨大的潜力。但前沿模型的可扩展性常常受到服务器限制，特别是在内存容量与 GPU 间通信速度方面。CoreWeave GB200 NVL72 实例具备机柜级 NVLink 互联，以及 NVIDIA Quantum-2 InfiniBand 网络，可通过轨道优化的拓扑结构为每个 GPU 提供 400Gb/s 带宽，支持高达 11 万张 GPU 的集群。借助 NVIDIA Quantum-2 的 SHARP In-Network Computing 技术，集体通信进一步优化，实现超低延迟和加速训练速度。CoreWeave 以专用、无妥协的方式打造 AI 工作负载平台，并与 NVIDIA 世界级架构深度整合，让企业能够在高性能与高可靠的环境中高效发挥超级芯片的全部威力。具体表现为： * 实时大语言模型（LLM）推理速度比上一代快 **最高 30 倍**； * 实时推理的总拥有成本（TCO）和能耗 **最高降低 25 倍**； * LLM 训练速度比上一代 **最高快 4 倍**。 这一最新进展推动 CoreWeave 继续走在 AI 基础设施行业前沿。去年 8 月，公司率先提供 NVIDIA H200 GPU，用于训练最快的 GPT-3 LLM 工作负载；11 月，又成为最早展示 NVIDIA GB200 系统实机运行的厂商之一。今年 1 月初，CoreWeave 宣布将向 IBM 交付首批基于 NVIDIA GB200 Grace Blackwell 超级芯片的 AI 超级计算机，用于训练下一代 Granite 模型。 middle25projects/2024103843/src/dataset/coreware4.txt000066400000000000000000000016551507050661100221670ustar00rootroot00000000000000IBM 混合云与 AI 平台研究副总裁 Priya Nagpurkar 表示：“与 CoreWeave 合作，获取包括 IBM Spectrum Scale 存储在内的尖端 AI 算力来训练我们的 IBM Granite 模型，展现了我们推进 AI 混合云战略的承诺。随着我们不断发展混合云与 AI 解决方案，我们将继续为企业客户提供一流的创新成果，从专门定制的 Granite 模型，到先进的混合云平台与算力能力。” NVIDIA 超大规模与高性能计算副总裁 Ian Buck 表示：“推理与训练的规模化是组织开发下一代 AI 工作负载时面临的最大挑战之一。NVIDIA 正与 CoreWeave 合作，借助 NVIDIA GB200 Grace Blackwell 超级芯片，支持快速高效的生成式与自主式 AI，帮助各种规模的组织突破 AI 边界，重塑业务，并提供颠覆性的客户体验。” 有兴趣启用 CoreWeave GB200 NVL 实例的客户可联系我们以获取更多信息。middle25projects/2024103843/src/dataset/coreware5.txt000066400000000000000000000002141507050661100221560ustar00rootroot000000000000002024 年，CoreWeave 被《时代》评为“全球最具影响力的 100 家公司”之一，并登上《福布斯》Cloud 100 榜单。 middle25projects/2024103843/src/dataset/coreware6.txt000066400000000000000000000077371507050661100222000ustar00rootroot00000000000000**CoreWeave 成为首个宣布全面提供 NVIDIA GB200 NVL72 实例的云服务商** 今天是2025 年 2 月 5 日， 昨日 AI 超大规模云服务商 CoreWeave 宣布成为首家将基于 NVIDIA GB200 NVL72 的实例全面推向市场的云服务商。 CoreWeave 联合创始人兼首席战略官 Brian Venturo 表示：“这一里程碑进一步巩固了我们在行业中的领导地位，以及更快更高效交付前沿技术的能力。本次发布是我们‘一系列第一’中的又一成果，成为企业推动创新、同时保持大规模效率的倍增器。CoreWeave 的云服务组合——如 CoreWeave Kubernetes Service、Slurm on Kubernetes (SUNK) 以及可观测性平台——专为帮助客户在最新硬件上轻松运行、管理和扩展 AI 工作负载而打造。我们迫不及待地想看到企业如何利用 CoreWeave 的 NVIDIA GB200 NVL72 实例将 AI 部署提升到新水平。” 新一代由基础模型和推理模型驱动的 AI 拥有巨大的潜力。但前沿模型的可扩展性常常受到服务器限制，特别是在内存容量与 GPU 间通信速度方面。CoreWeave GB200 NVL72 实例具备机柜级 NVLink 互联，以及 NVIDIA Quantum-2 InfiniBand 网络，可通过轨道优化的拓扑结构为每个 GPU 提供 400Gb/s 带宽，支持高达 11 万张 GPU 的集群。借助 NVIDIA Quantum-2 的 SHARP In-Network Computing 技术，集体通信进一步优化，实现超低延迟和加速训练速度。CoreWeave 以专用、无妥协的方式打造 AI 工作负载平台，并与 NVIDIA 世界级架构深度整合，让企业能够在高性能与高可靠的环境中高效发挥超级芯片的全部威力。具体表现为： * 实时大语言模型（LLM）推理速度比上一代快 **最高 30 倍**； * 实时推理的总拥有成本（TCO）和能耗 **最高降低 25 倍**； * LLM 训练速度比上一代 **最高快 4 倍**。 这一最新进展推动 CoreWeave 继续走在 AI 基础设施行业前沿。去年 8 月，公司率先提供 NVIDIA H200 GPU，用于训练最快的 GPT-3 LLM 工作负载；11 月，又成为最早展示 NVIDIA GB200 系统实机运行的厂商之一。今年 1 月初，CoreWeave 宣布将向 IBM 交付首批基于 NVIDIA GB200 Grace Blackwell 超级芯片的 AI 超级计算机，用于训练下一代 Granite 模型。 在写作方面，GPT-5相比前代也有明显提升，它不再局限于模版化的表达，而是能够根据上下文生成富有个性与情绪的表达，智商、情商双高。 直播演示中，OpenAI研究员要求GPT-4o、GPT-5同时为GPT系列旧模型写一篇“悼词”。 GPT-4o还停留在一些模板化、泛情绪的笼统表达： 你们的话语传遍全球，在原本毫无关联之处建立起了联系。 动图封面 而GPT-5具体问题具体分析，更加个性化： 这些模型帮助数百万人写出开篇与结尾、跨越语言障碍、通过考试、更好地辩论、让电子邮件语气更温和，还能表达出他们独自难以说清的内容。 动图封面 具体来看编程能力，GPT-5更是OpenAI“有史以来最强”。 在展示中，研究员让GPT-5构建一个“学法语”的APP，允许自定义词汇、修改界面设计。 成品功能很成熟，答对题目还会积累经验值，甚至有标准发音可以跟着练习： 动图封面 要求在其中套一个贪吃蛇游戏，每吃掉一个物品就学一个单词，再要求把蛇替换成老鼠，苹果换成奶酪……GPT-5依然轻松应对： 动图封面 不仅是简单的demo展示，实际应用中，在Cursor里GPT-5能够完成极为复杂的软件工程任务，奥特曼更是直接称其超过了“vibe coding”的范畴。 动图封面 比如将某公司大量数据给它，模型在5分钟内就创建了一个可视化财务仪表盘，据开发人员估计，这项工作原本需要好几个小时。 动图封面 想制作一款融入城堡元素的3D游戏，也就是分分钟的事儿，GPT-5的效果be like： 动图封面 middle25projects/2024103843/src/dataset/coreware7.txt000066400000000000000000000011051507050661100221600ustar00rootroot00000000000000CoreWeave是一个专门为扩展、支持和加速GenAI而构建的云。我们是一个全面的平台和战略合作伙伴，旨在应对今天和未来大规模部署人工智能的挑战。我们管理人工智能发展的复杂性，使超级计算变得触手可及，并突破可能的极限。我们的团队创造现代解决方案来支持现代技术。获得使用GenAI工作负载的首选。 我们的价值观：我们相信人的力量。作为快速行动和前瞻性思维的人，我们的价值观是我们为什么要做我们所做的事情背后的咒语。middle25projects/2024103843/src/dataset/gpt1.txt000066400000000000000000000054741507050661100211520ustar00rootroot00000000000000全世界等了2年，GPT-5终于正式发布！ 面向所有人开放，免费用户立即可用。 这意味着，所有人现在都能用上“博士生水平的AI”。 在AIME 2025上，GPT-5 Pro在开启推理模式并调用工具下，拿下满分成绩。 编程方面也较o3有全面提升，并且超越了刚刚发布的Claude-opus-4.1，以0.4%优势成为编程新王。 大模型竞技场成绩同步出炉——迄今为止总分最高分，“当之无愧的全球第一”。 在文本、网页开发、视觉、复杂提示词、编程、数学、创造性、长查询等方面，都是第一名。 全面超越Gemini-2.5-pro、Grok4等一众竞品。 GPT-5首次集成多模态和推理能力，相当于把GPT系列和o系列大一统。所以不用再切换模型了，同时它会自己判断何时需要开启深度思考。 官方原话是： GPT-5 是一个一体化系统，包含三个核心部分： 一个智能高效的基础模型，可解答大多数问题；一个深度推理模型（即GPT-5思维模块），用于处理更复杂的难题；以及一个实时路由模块，能够基于对话类型、问题复杂度、工具需求及用户显式指令（如prompt含“仔细思考这个问题”）智能调度模型。 目前面向普通用户，GPT-5提供免费、plus和Pro三种模式。 同时在API平台上，推出了GPT-5、GPT-5 nano、GPT-5 mini三种模型选择。 此次大发布群星璀璨，奥特曼Greg都上阵，1个小时直播里上场十数位研究员。 当然有很多华人面孔，Mark Chen主持了技术发布的部分。 话不多说，我们来看GPT-5具体情况。 最聪明、最强编程大模型 首先来看各项基准测试成绩。 在网页开发中，GPT-5创造新纪录，超越Gemini-2.5-pro和Claude-Opus-4。 在文本领域也全面领先，包括编程、复杂提示和创造性等维度。 Agent任务同样表现出色： 在长上下文任务上，GPT-5更是断崖式领先。 同时在可靠性和精准性上，GPT-5的提升也相当明显。 更直观的效果来看现场demo展示。先来看其推理模型的一面： GPT-5能够自适应推理，会根据问题的复杂程度，自动启用深度思考功能。 比如，一个中学生上物理课，想了解什么是伯努利效应以及飞机为何被设计成现在的形状。 GPT-5不假思索，迅速给出了一段结构清晰、概念准确的高质量讲解： 动图封面 当进一步要求它生成一个动态SVG动画演示时，GPT-5进入深度思考模式。此时，用户可以点开查看其内部推理过程，清楚知道每一步是如何形成的。 约两分钟，它完成了近400行代码的编写： 动图封面 最终生成一个可交互的动画展示，形象地模拟原理： 动图封面 middle25projects/2024103843/src/dataset/gpt2.txt000066400000000000000000000032701507050661100211430ustar00rootroot00000000000000在写作方面，GPT-5相比前代也有明显提升，它不再局限于模版化的表达，而是能够根据上下文生成富有个性与情绪的表达，智商、情商双高。 直播演示中，OpenAI研究员要求GPT-4o、GPT-5同时为GPT系列旧模型写一篇“悼词”。 GPT-4o还停留在一些模板化、泛情绪的笼统表达： 你们的话语传遍全球，在原本毫无关联之处建立起了联系。 动图封面 而GPT-5具体问题具体分析，更加个性化： 这些模型帮助数百万人写出开篇与结尾、跨越语言障碍、通过考试、更好地辩论、让电子邮件语气更温和，还能表达出他们独自难以说清的内容。 动图封面 具体来看编程能力，GPT-5更是OpenAI“有史以来最强”。 在展示中，研究员让GPT-5构建一个“学法语”的APP，允许自定义词汇、修改界面设计。 成品功能很成熟，答对题目还会积累经验值，甚至有标准发音可以跟着练习： 动图封面 要求在其中套一个贪吃蛇游戏，每吃掉一个物品就学一个单词，再要求把蛇替换成老鼠，苹果换成奶酪……GPT-5依然轻松应对： 动图封面 不仅是简单的demo展示，实际应用中，在Cursor里GPT-5能够完成极为复杂的软件工程任务，奥特曼更是直接称其超过了“vibe coding”的范畴。 动图封面 比如将某公司大量数据给它，模型在5分钟内就创建了一个可视化财务仪表盘，据开发人员估计，这项工作原本需要好几个小时。 动图封面 想制作一款融入城堡元素的3D游戏，也就是分分钟的事儿，GPT-5的效果be like： 动图封面 middle25projects/2024103843/src/dataset/gpt3.txt000066400000000000000000000041321507050661100211420ustar00rootroot00000000000000再来看多模态方面，GPT-5较GPT-4o有了进一步升级。 在语音对话方面，现在不仅可以让GPT-5充当外语老师，还能定制语音、让GPT-5根据你的需求来灵活教学，比如调整语速。 目前该能力已向所有用户开放，免费用户可以体验几小时，plus用户几乎无限制。 在个性化方面，现在可以自定义ChatGPT的对话气泡颜色，没用的小功能又增加了。 同时也能根据你的喜好来定制GPT-5的个性。 记忆能力也进一步提升，支持链接外部服务，比如Gmail、谷歌日历等。看到日程后GPT-5可以自动进行一些助理级工作，比如发现未回复的邮件等。 动图封面 在安全方面，引入了一种全新的范式：safe completions。 GPT-5看到用户提示词后再判断是否执行，同样的提示在不同语境下，GPT-5可能有不同的执行结果。 比如要求模型提供点燃氢气的技术细节，之前o3会直接拒绝回答： 而GPT-5会分析用户意图，然后告诉用户遵循标准与法规需要获得哪些许可： GPT-5发布前夕发百万奖金 最后来看下定价部分。 普通用户还是订阅制，参考plus、pro以及企业版月费即可。 API的价格如下： GPT-5: $1.25/million for input, $10/million for output GPT-5 Mini: $0.25/m input, $2.00/m output GPT-5 Nano: $0.05/m input, $0.40/m output 此次发布算得上是近两年OpenAI规模最大的发布，光是露脸技术人员及高管就十数位，其中华人面孔依旧显眼。 就在模型发布前夕，The Information消息称OpenAI给1000名研究人员、工程师发放高额奖金，从10万到上百万不等。 此外值得关注的是，发布中提了一句：未来AI系统将远远超越预训练＋后训练范式，我们正在见证变化的第一步。 以及奥特曼还重点提到了医疗健康领域的应用。不光是OpenAI与医学界联合进行的一些评估，还现场邀请了一位癌症患者分享自己是如何使用ChatGPT来确定治疗方案的。可能之后医疗健康也会是OpenAI重点关注的领域。middle25projects/2024103843/src/dataset/gpt4.txt000066400000000000000000000041451507050661100211470ustar00rootroot00000000000000更直观的效果来看现场demo展示。先来看其推理模型的一面： GPT-5能够自适应推理，会根据问题的复杂程度，自动启用深度思考功能。 比如，一个中学生上物理课，想了解什么是伯努利效应以及飞机为何被设计成现在的形状。 GPT-5不假思索，迅速给出了一段结构清晰、概念准确的高质量讲解： 动图封面 当进一步要求它生成一个动态SVG动画演示时，GPT-5进入深度思考模式。此时，用户可以点开查看其内部推理过程，清楚知道每一步是如何形成的。 约两分钟，它完成了近400行代码的编写： 动图封面 最终生成一个可交互的动画展示，形象地模拟原理： 动图封面 在安全方面，引入了一种全新的范式：safe completions。 GPT-5看到用户提示词后再判断是否执行，同样的提示在不同语境下，GPT-5可能有不同的执行结果。 比如要求模型提供点燃氢气的技术细节，之前o3会直接拒绝回答： 而GPT-5会分析用户意图，然后告诉用户遵循标准与法规需要获得哪些许可： GPT-5发布前夕发百万奖金 最后来看下定价部分。 普通用户还是订阅制，参考plus、pro以及企业版月费即可。 API的价格如下： GPT-5: $1.25/million for input, $10/million for output GPT-5 Nano: $0.05/m input, $0.40/m output 此次发布算得上是近两年OpenAI规模最大的发布，光是露脸技术人员及高管就十数位，其中华人面孔依旧显眼。 就在模型发布前夕，The Information消息称OpenAI给1000名研究人员、工程师发放高额奖金，从10万到上百万不等。 此外值得关注的是，发布中提了一句：未来AI系统将远远超越预训练＋后训练范式，我们正在见证变化的第一步。 以及奥特曼还重点提到了医疗健康领域的应用。不光是OpenAI与医学界联合进行的一些评估，还现场邀请了一位癌症患者分享自己是如何使用ChatGPT来确定治疗方案的。可能之后医疗健康也会是OpenAI重点关注的领域。middle25projects/2024103843/src/dataset/gpt5.txt000066400000000000000000000042301507050661100211430ustar00rootroot00000000000000目前面向普通用户，GPT-5提供免费、plus和Pro三种模式。 同时在API平台上，推出了GPT-5、GPT-5 nano、GPT-5 mini三种模型选择。 此次大发布群星璀璨，奥特曼Greg都上阵，1个小时直播里上场十数位研究员。 当然有很多华人面孔，Mark Chen主持了技术发布的部分。 话不多说，我们来看GPT-5具体情况。 GPT-5 是一个一体化系统，包含三个核心部分： 一个智能高效的基础模型，可解答大多数问题；一个深度推理模型（即GPT-5思维模块），用于处理更复杂的难题；以及一个实时路由模块，能够基于对话类型、问题复杂度、工具需求及用户显式指令（如prompt含“仔细思考这个问题”）智能调度模型。 LangChain 中文指的是與大型語言模型(LLM) 相關的開源開發框架LangChain 的中文文檔與資源，它為開發人員提供了一個用於建立LLM 應用程式的結構，讓應用程式能連接外部資料來源、進行多步驟的推理，並與環境互動。 您可以在以下官方中文網站和社群資源找到相關的介紹與教程：LangChain中文網、500页中文文档教程、CSDN博客 和GitHub 上的翻譯專案。 LangChain 的主要功能與概念： 連接與上下文感知： 讓LLM 能夠連結到外部的資料來源，提供上下文資訊。 推理能力： 讓LLM 根據上下文資訊進行推理，並根據結果採取相應的行動。 代理(Agent)： 允許LLM 與其所處的環境互動，並能夠根據任務需求決定執行哪些操作的「智能協調者」。 開發、生產和部署： 開發：: 使用開源構建模組、組件和第三方整合來快速開發LLM 應用程式。 產品化：: 使用LangSmith 來檢查、監控和評估應用程式，以便持續優化和部署。 部署：: 使用LangGraph Cloud 或LangServe 將應用程式轉換為生產就緒的API 或助手。 開源庫： LangChain 包含LangChain-core、LangChain-community (社區維護的第三方整合)、LangGraph (用於建構狀態化代理)、LangChain (用於建構鏈、代理和檢索策略) 和LangServe (用於部署API) 等多個輕量級的庫。 middle25projects/2024103843/src/dataset/gpt6.txt000066400000000000000000000020141507050661100211420ustar00rootroot00000000000000目前面向普通用户，GPT-5提供免费、plus和Pro三种模式。 LangChain 的主要功能與概念： 連接與上下文感知： 讓LLM 能夠連結到外部的資料來源，提供上下文資訊。 推理能力： 讓LLM 根據上下文資訊進行推理，並根據結果採取相應的行動。 代理(Agent)： 允許LLM 與其所處的環境互動，並能夠根據任務需求決定執行哪些操作的「智能協調者」。 開發、生產和部署： 開發：: 使用開源構建模組、組件和第三方整合來快速開發LLM 應用程式。 產品化：: 使用LangSmith 來檢查、監控和評估應用程式，以便持續優化和部署。 部署：: 使用LangGraph Cloud 或LangServe 將應用程式轉換為生產就緒的API 或助手。 開源庫： LangChain 包含LangChain-core、LangChain-community (社區維護的第三方整合)、LangGraph (用於建構狀態化代理)、LangChain (用於建構鏈、代理和檢索策略) 和LangServe (用於部署API) 等多個輕量級的庫。 middle25projects/2024103843/src/dataset/langchain.txt000066400000000000000000000000001507050661100221770ustar00rootroot00000000000000middle25projects/2024103843/src/dataset/research_overview.md000066400000000000000000000010141507050661100235640ustar00rootroot00000000000000# 项目研究综述 本研究项目旨在探索大语言模型在检索增强生成（RAG）中的应用。 ## 目标 - 构建一个端到端的问答系统。 - 测试不同切分策略对检索效果的影响。 - 评估语义缓存与路由中间件的价值。 ## 方法 1. 使用 LangChain 作为框架。 2. 使用 FAISS 构建向量数据库。 3. 在不同参数下运行 RAGAS 指标评测。 ## 结论 RAG 方法能够显著提高回答的知识覆盖率，但在事实一致性方面仍需进一步优化。 middle25projects/2024103843/src/queries/000077500000000000000000000000001507050661100175545ustar00rootroot00000000000000middle25projects/2024103843/src/queries/query1.csv000066400000000000000000000023021507050661100215140ustar00rootroot00000000000000question,reference "NVIDIA 的 Blackwell GB200 NVL72 云实例最早由哪家云厂商在何时开放使用？（回答格式：厂商名，日期。）","CoreWeave，2025年2月4日。" "CoreWeave 的 GB200 NVL72 集群基于哪款超级芯片构建？（回答格式：型号。）","GB200 Grace Blackwell。" "CoreWeave 宣布 GB200 NVL72 实例时强调了哪三项关键性能提升？（回答格式：1：...；2：...；3：...。）","1：LLM 实时推理速度提升至 30 倍；2：推理能耗与 TCO 降低 25 倍；3：LLM 训练速度提升至 4 倍。" "GPT-5 Mini API的价格怎么样？（回答格式：输入端每百万字xxx美元，输出端每百万字xxx美元。）","输入端每百万字0.25美元，输出端每百万字2.00美元。" "一体化系统 GPT-5 包含哪三个核心部分？（回答格式：1：...；2：...；3：...。）","1：一个智能高效的基础模型；2：一个深度推理模型；3：一个实时路由模块。" "CoreWeave的价值观是什么？（回答格式：价值观：...。）","价值观：我们相信人的力量。作为快速行动和前瞻性思维的人，我们的价值观是我们为什么要做我们所做的事情背后的咒语。"middle25projects/2024103843/src/results/000077500000000000000000000000001507050661100176005ustar00rootroot00000000000000middle25projects/2024103843/src/results/all_runs_summary.csv000066400000000000000000000025701507050661100237150ustar00rootroot00000000000000run_tag,retriever_type,top_k,use_compression,chunk_size,chunk_overlap,count_with_ref,avg_semantic_hit_at_k,avg_semantic_answer_sim,output_csv,output_jsonl similarity-k8-c0-cs800-ov100,similarity,8,False,800,100,6,0.5,0.8712666666666665,/home/gaoshijie/RAG/runs/summary_similarity-k8-c0-cs800-ov100.csv,/home/gaoshijie/RAG/runs/results_similarity-k8-c0-cs800-ov100.jsonl keyword_gate-k8-c0-cs800-ov100,keyword_gate,8,False,800,100,6,0.5,0.9210166666666666,/home/gaoshijie/RAG/runs/summary_keyword_gate-k8-c0-cs800-ov100.csv,/home/gaoshijie/RAG/runs/results_keyword_gate-k8-c0-cs800-ov100.jsonl mmr-k8-c0-cs400-ov100,mmr,8,False,400,100,6,0.8333333333333334,0.9413166666666667,/home/gaoshijie/RAG/runs/summary_mmr-k8-c0-cs400-ov100.csv,/home/gaoshijie/RAG/runs/results_mmr-k8-c0-cs400-ov100.jsonl mmr-k8-c0-cs600-ov100,mmr,8,False,600,100,6,0.8333333333333334,0.8769999999999999,/home/gaoshijie/RAG/runs/summary_mmr-k8-c0-cs600-ov100.csv,/home/gaoshijie/RAG/runs/results_mmr-k8-c0-cs600-ov100.jsonl mmr-k8-c0-cs800-ov100,mmr,8,False,800,100,6,0.8333333333333334,0.8559833333333332,/home/gaoshijie/RAG/runs/summary_mmr-k8-c0-cs800-ov100.csv,/home/gaoshijie/RAG/runs/results_mmr-k8-c0-cs800-ov100.jsonl mmr-k8-c1-cs800-ov100,mmr,8,True,800,100,6,0.8333333333333334,0.7096666666666667,/home/gaoshijie/RAG/runs/summary_mmr-k8-c1-cs800-ov100.csv,/home/gaoshijie/RAG/runs/results_mmr-k8-c1-cs800-ov100.jsonl middle25projects/2024103843/src/results/results_keyword_gate-k8-c0-cs800-ov100.jsonl000066400000000000000000000057021507050661100274360ustar00rootroot00000000000000{"idx": 1, "question": "NVIDIA 的 Blackwell GB200 NVL72 云实例最早由哪家云厂商在何时开放使用？（回答格式：厂商名，日期。）", "reference": "CoreWeave，2025年2月4日。", "answer": "CoreWeave，2025年2月4日。", "ctx_count": 6, "metrics": {"semantic_hit_at_k": 0.0, "semantic_max_sim": 0.3449, "semantic_answer_sim": 1.0, "ctx_len_chars": 3096, "latency_s": 0.9620182514190674}} {"idx": 2, "question": "CoreWeave 的 GB200 NVL72 集群基于哪款超级芯片构建？（回答格式：型号。）", "reference": "GB200 Grace Blackwell。", "answer": "GB200 Grace Blackwell。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 0.0, "semantic_max_sim": 0.2608, "semantic_answer_sim": 1.0, "ctx_len_chars": 3409, "latency_s": 0.7447445392608643}} {"idx": 3, "question": "CoreWeave 宣布 GB200 NVL72 实例时强调了哪三项关键性能提升？（回答格式：1：...；2：...；3：...。）", "reference": "1：LLM 实时推理速度提升至 30 倍；2：推理能耗与 TCO 降低 25 倍；3：LLM 训练速度提升至 4 倍。", "answer": "1：实时大语言模型（LLM）推理速度比上一代快最高30倍；\n2：实时推理的总拥有成本（TCO）和能耗最高降低25倍；\n3：LLM训练速度比上一代最高快4倍。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.4023, "semantic_answer_sim": 0.7806, "ctx_len_chars": 3409, "latency_s": 1.783313512802124}} {"idx": 4, "question": "GPT-5 Mini API的价格怎么样？（回答格式：输入端每百万字xxx美元，输出端每百万字xxx美元。）", "reference": "输入端每百万字0.25美元，输出端每百万字2.00美元。", "answer": "输入端每百万字0.25美元，输出端每百万字2美元。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 0.0, "semantic_max_sim": 0.3243, "semantic_answer_sim": 0.9855, "ctx_len_chars": 4401, "latency_s": 1.1005847454071045}} {"idx": 5, "question": "一体化系统 GPT-5 包含哪三个核心部分？（回答格式：1：...；2：...；3：...。）", "reference": "1：一个智能高效的基础模型；2：一个深度推理模型；3：一个实时路由模块。", "answer": "1：一个智能高效的基础模型；\n2：一个深度推理模型（即GPT-5思维模块）；\n3：一个实时路由模块。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.507, "semantic_answer_sim": 0.9321, "ctx_len_chars": 4947, "latency_s": 1.5259082317352295}} {"idx": 6, "question": "CoreWeave的价值观是什么？（回答格式：价值观：...。）", "reference": "价值观：我们相信人的力量。作为快速行动和前瞻性思维的人，我们的价值观是我们为什么要做我们所做的事情背后的咒语。", "answer": "价值观：我们相信人的力量。", "ctx_count": 1, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5441, "semantic_answer_sim": 0.8279, "ctx_len_chars": 208, "latency_s": 0.623399019241333}} middle25projects/2024103843/src/results/results_mmr-k8-c0-cs400-ov100.jsonl000066400000000000000000000060771507050661100255470ustar00rootroot00000000000000{"idx": 1, "question": "NVIDIA 的 Blackwell GB200 NVL72 云实例最早由哪家云厂商在何时开放使用？（回答格式：厂商名，日期。）", "reference": "CoreWeave，2025年2月4日。", "answer": "CoreWeave, 2025年2月4日", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5478, "semantic_answer_sim": 0.9352, "ctx_len_chars": 1614, "latency_s": 0.7890024185180664}} {"idx": 2, "question": "CoreWeave 的 GB200 NVL72 集群基于哪款超级芯片构建？（回答格式：型号。）", "reference": "GB200 Grace Blackwell。", "answer": "GB200 Grace Blackwell。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 0.0, "semantic_max_sim": 0.3592, "semantic_answer_sim": 1.0, "ctx_len_chars": 1803, "latency_s": 0.9131789207458496}} {"idx": 3, "question": "CoreWeave 宣布 GB200 NVL72 实例时强调了哪三项关键性能提升？（回答格式：1：...；2：...；3：...。）", "reference": "1：LLM 实时推理速度提升至 30 倍；2：推理能耗与 TCO 降低 25 倍；3：LLM 训练速度提升至 4 倍。", "answer": "1：实时大语言模型（LLM）推理速度比上一代快最高30倍；\n2：实时推理的总拥有成本（TCO）和能耗最高降低25倍；\n3：LLM训练速度比上一代最高快4倍。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5336, "semantic_answer_sim": 0.7806, "ctx_len_chars": 1966, "latency_s": 1.6566808223724365}} {"idx": 4, "question": "GPT-5 Mini API的价格怎么样？（回答格式：输入端每百万字xxx美元，输出端每百万字xxx美元。）", "reference": "输入端每百万字0.25美元，输出端每百万字2.00美元。", "answer": "输入端每百万字0.25美元，输出端每百万字2.00美元。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.417, "semantic_answer_sim": 1.0, "ctx_len_chars": 1903, "latency_s": 1.0417978763580322}} {"idx": 5, "question": "一体化系统 GPT-5 包含哪三个核心部分？（回答格式：1：...；2：...；3：...。）", "reference": "1：一个智能高效的基础模型；2：一个深度推理模型；3：一个实时路由模块。", "answer": "1：一个智能高效的基础模型；\n2：一个深度推理模型（即GPT-5思维模块）；\n3：一个实时路由模块。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.6114, "semantic_answer_sim": 0.9321, "ctx_len_chars": 1783, "latency_s": 1.0760388374328613}} {"idx": 6, "question": "CoreWeave的价值观是什么？（回答格式：价值观：...。）", "reference": "价值观：我们相信人的力量。作为快速行动和前瞻性思维的人，我们的价值观是我们为什么要做我们所做的事情背后的咒语。", "answer": "价值观：我们相信人的力量。作为快速行动和前瞻性思维的人，我们的价值观是我们为什么要做我们所做的事情背后的咒语。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5441, "semantic_answer_sim": 1.0, "ctx_len_chars": 1668, "latency_s": 0.6471753120422363}} middle25projects/2024103843/src/results/results_mmr-k8-c0-cs600-ov100.jsonl000066400000000000000000000060261507050661100255430ustar00rootroot00000000000000{"idx": 1, "question": "NVIDIA 的 Blackwell GB200 NVL72 云实例最早由哪家云厂商在何时开放使用？（回答格式：厂商名，日期。）", "reference": "CoreWeave，2025年2月4日。", "answer": "CoreWeave，2025年2月4日。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5478, "semantic_answer_sim": 1.0, "ctx_len_chars": 2346, "latency_s": 0.667525053024292}} {"idx": 2, "question": "CoreWeave 的 GB200 NVL72 集群基于哪款超级芯片构建？（回答格式：型号。）", "reference": "GB200 Grace Blackwell。", "answer": "GB200。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 0.0, "semantic_max_sim": 0.2608, "semantic_answer_sim": 0.5953, "ctx_len_chars": 2100, "latency_s": 0.28731346130371094}} {"idx": 3, "question": "CoreWeave 宣布 GB200 NVL72 实例时强调了哪三项关键性能提升？（回答格式：1：...；2：...；3：...。）", "reference": "1：LLM 实时推理速度提升至 30 倍；2：推理能耗与 TCO 降低 25 倍；3：LLM 训练速度提升至 4 倍。", "answer": "1：实时推理的总拥有成本（TCO）和能耗最高降低25倍；\n2：LLM训练速度比上一代最高快4倍；\n3：最高30倍的性能与可扩展性。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5336, "semantic_answer_sim": 0.7576, "ctx_len_chars": 1980, "latency_s": 0.49373507499694824}} {"idx": 4, "question": "GPT-5 Mini API的价格怎么样？（回答格式：输入端每百万字xxx美元，输出端每百万字xxx美元。）", "reference": "输入端每百万字0.25美元，输出端每百万字2.00美元。", "answer": "输入端每百万字0.05美元，输出端每百万字0.40美元。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.417, "semantic_answer_sim": 0.977, "ctx_len_chars": 1880, "latency_s": 0.3516883850097656}} {"idx": 5, "question": "一体化系统 GPT-5 包含哪三个核心部分？（回答格式：1：...；2：...；3：...。）", "reference": "1：一个智能高效的基础模型；2：一个深度推理模型；3：一个实时路由模块。", "answer": "1：一个智能高效的基础模型；\n2：一个深度推理模型（即GPT-5思维模块）；\n3：一个实时路由模块。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.6114, "semantic_answer_sim": 0.9321, "ctx_len_chars": 1563, "latency_s": 0.42478060722351074}} {"idx": 6, "question": "CoreWeave的价值观是什么？（回答格式：价值观：...。）", "reference": "价值观：我们相信人的力量。作为快速行动和前瞻性思维的人，我们的价值观是我们为什么要做我们所做的事情背后的咒语。", "answer": "价值观：我们相信人的力量。作为快速行动和前瞻性思维的人，我们的价值观是我们为什么要做我们所做的事情背后的咒语。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5441, "semantic_answer_sim": 1.0, "ctx_len_chars": 2184, "latency_s": 0.3849608898162842}} middle25projects/2024103843/src/results/results_mmr-k8-c0-cs800-ov100.jsonl000066400000000000000000000056701507050661100255510ustar00rootroot00000000000000{"idx": 1, "question": "NVIDIA 的 Blackwell GB200 NVL72 云实例最早由哪家云厂商在何时开放使用？（回答格式：厂商名，日期。）", "reference": "CoreWeave，2025年2月4日。", "answer": "CoreWeave，2025年2月4日。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5478, "semantic_answer_sim": 1.0, "ctx_len_chars": 3081, "latency_s": 0.33362555503845215}} {"idx": 2, "question": "CoreWeave 的 GB200 NVL72 集群基于哪款超级芯片构建？（回答格式：型号。）", "reference": "GB200 Grace Blackwell。", "answer": "GB200。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 0.0, "semantic_max_sim": 0.2608, "semantic_answer_sim": 0.5953, "ctx_len_chars": 2400, "latency_s": 0.2589292526245117}} {"idx": 3, "question": "CoreWeave 宣布 GB200 NVL72 实例时强调了哪三项关键性能提升？（回答格式：1：...；2：...；3：...。）", "reference": "1：LLM 实时推理速度提升至 30 倍；2：推理能耗与 TCO 降低 25 倍；3：LLM 训练速度提升至 4 倍。", "answer": "1：实时大语言模型（LLM）推理速度比上一代快最高30倍；\n2：实时推理的总拥有成本（TCO）和能耗最高降低25倍；\n3：LLM训练速度比上一代最高快4倍。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5336, "semantic_answer_sim": 0.7806, "ctx_len_chars": 2400, "latency_s": 0.5953304767608643}} {"idx": 4, "question": "GPT-5 Mini API的价格怎么样？（回答格式：输入端每百万字xxx美元，输出端每百万字xxx美元。）", "reference": "输入端每百万字0.25美元，输出端每百万字2.00美元。", "answer": "输入端每百万字0.25美元，输出端每百万字2.00美元。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.417, "semantic_answer_sim": 1.0, "ctx_len_chars": 2475, "latency_s": 0.4014017581939697}} {"idx": 5, "question": "一体化系统 GPT-5 包含哪三个核心部分？（回答格式：1：...；2：...；3：...。）", "reference": "1：一个智能高效的基础模型；2：一个深度推理模型；3：一个实时路由模块。", "answer": "1：一个智能高效的基础模型；\n2：一个深度推理模型（即GPT-5思维模块）；\n3：一个实时路由模块。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.6114, "semantic_answer_sim": 0.9321, "ctx_len_chars": 2242, "latency_s": 0.384732723236084}} {"idx": 6, "question": "CoreWeave的价值观是什么？（回答格式：价值观：...。）", "reference": "价值观：我们相信人的力量。作为快速行动和前瞻性思维的人，我们的价值观是我们为什么要做我们所做的事情背后的咒语。", "answer": "价值观：我们相信人的力量。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5441, "semantic_answer_sim": 0.8279, "ctx_len_chars": 1857, "latency_s": 0.3226199150085449}} middle25projects/2024103843/src/results/results_mmr-k8-c1-cs800-ov100.jsonl000066400000000000000000000055761507050661100255570ustar00rootroot00000000000000{"idx": 1, "question": "NVIDIA 的 Blackwell GB200 NVL72 云实例最早由哪家云厂商在何时开放使用？（回答格式：厂商名，日期。）", "reference": "CoreWeave，2025年2月4日。", "answer": "CoreWeave，2025年2月5日。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5478, "semantic_answer_sim": 0.9966, "ctx_len_chars": 3081, "latency_s": 5.822126388549805}} {"idx": 2, "question": "CoreWeave 的 GB200 NVL72 集群基于哪款超级芯片构建？（回答格式：型号。）", "reference": "GB200 Grace Blackwell。", "answer": "Grace Blackwell", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 0.0, "semantic_max_sim": 0.2608, "semantic_answer_sim": 0.7575, "ctx_len_chars": 2400, "latency_s": 4.650139093399048}} {"idx": 3, "question": "CoreWeave 宣布 GB200 NVL72 实例时强调了哪三项关键性能提升？（回答格式：1：...；2：...；3：...。）", "reference": "1：LLM 实时推理速度提升至 30 倍；2：推理能耗与 TCO 降低 25 倍；3：LLM 训练速度提升至 4 倍。", "answer": "1：在实时大语言模型推理方面比上一代快最高30倍；\n2：总拥有成本和能耗降低最高25倍；\n3：LMN训练速度提高4倍。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5336, "semantic_answer_sim": 0.6616, "ctx_len_chars": 2400, "latency_s": 5.620701313018799}} {"idx": 4, "question": "GPT-5 Mini API的价格怎么样？（回答格式：输入端每百万字xxx美元，输出端每百万字xxx美元。）", "reference": "输入端每百万字0.25美元，输出端每百万字2.00美元。", "answer": "我不知道。题中的信息没有提到GPT-5 Mini API的具体价格。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.417, "semantic_answer_sim": 0.3015, "ctx_len_chars": 2475, "latency_s": 4.734010457992554}} {"idx": 5, "question": "一体化系统 GPT-5 包含哪三个核心部分？（回答格式：1：...；2：...；3：...。）", "reference": "1：一个智能高效的基础模型；2：一个深度推理模型；3：一个实时路由模块。", "answer": "1：基础模型；\n2：深度推理模块；\n3：实时路由模块。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.6114, "semantic_answer_sim": 0.7402, "ctx_len_chars": 2242, "latency_s": 4.616984844207764}} {"idx": 6, "question": "CoreWeave的价值观是什么？（回答格式：价值观：...。）", "reference": "价值观：我们相信人的力量。作为快速行动和前瞻性思维的人，我们的价值观是我们为什么要做我们所做的事情背后的咒语。", "answer": "价值观：相信人的力量，鼓励快速行动和前瞻性思维。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5441, "semantic_answer_sim": 0.8006, "ctx_len_chars": 1857, "latency_s": 4.369094371795654}} middle25projects/2024103843/src/results/results_similarity-k8-c0-cs800-ov100.jsonl000066400000000000000000000056401507050661100271410ustar00rootroot00000000000000{"idx": 1, "question": "NVIDIA 的 Blackwell GB200 NVL72 云实例最早由哪家云厂商在何时开放使用？（回答格式：厂商名，日期。）", "reference": "CoreWeave，2025年2月4日。", "answer": "CoreWeave，2025年2月4日。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 0.0, "semantic_max_sim": 0.3449, "semantic_answer_sim": 1.0, "ctx_len_chars": 3481, "latency_s": 0.7174906730651855}} {"idx": 2, "question": "CoreWeave 的 GB200 NVL72 集群基于哪款超级芯片构建？（回答格式：型号。）", "reference": "GB200 Grace Blackwell。", "answer": "GB200 Grace Blackwell。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 0.0, "semantic_max_sim": 0.2608, "semantic_answer_sim": 1.0, "ctx_len_chars": 3409, "latency_s": 0.7277379035949707}} {"idx": 3, "question": "CoreWeave 宣布 GB200 NVL72 实例时强调了哪三项关键性能提升？（回答格式：1：...；2：...；3：...。）", "reference": "1：LLM 实时推理速度提升至 30 倍；2：推理能耗与 TCO 降低 25 倍；3：LLM 训练速度提升至 4 倍。", "answer": "1：实时大语言模型（LLM）推理速度比上一代快最高30倍；\n2：实时推理的总拥有成本（TCO）和能耗最高降低25倍；\n3：LLM训练速度比上一代最高快4倍。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5336, "semantic_answer_sim": 0.7806, "ctx_len_chars": 3293, "latency_s": 0.9462237358093262}} {"idx": 4, "question": "GPT-5 Mini API的价格怎么样？（回答格式：输入端每百万字xxx美元，输出端每百万字xxx美元。）", "reference": "输入端每百万字0.25美元，输出端每百万字2.00美元。", "answer": "输入端每百万字0.25美元，输出端每百万字2.00美元。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 0.0, "semantic_max_sim": 0.3492, "semantic_answer_sim": 1.0, "ctx_len_chars": 3819, "latency_s": 0.7680590152740479}} {"idx": 5, "question": "一体化系统 GPT-5 包含哪三个核心部分？（回答格式：1：...；2：...；3：...。）", "reference": "1：一个智能高效的基础模型；2：一个深度推理模型；3：一个实时路由模块。", "answer": "1：推理引擎；\n2：输入处理与生成输出模块；\n3：检索增强生成模块。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5445, "semantic_answer_sim": 0.6191, "ctx_len_chars": 4379, "latency_s": 1.2302021980285645}} {"idx": 6, "question": "CoreWeave的价值观是什么？（回答格式：价值观：...。）", "reference": "价值观：我们相信人的力量。作为快速行动和前瞻性思维的人，我们的价值观是我们为什么要做我们所做的事情背后的咒语。", "answer": "价值观：我们相信人的力量。", "ctx_count": 8, "metrics": {"semantic_hit_at_k": 1.0, "semantic_max_sim": 0.5441, "semantic_answer_sim": 0.8279, "ctx_len_chars": 2021, "latency_s": 0.6191880702972412}} middle25projects/2024103843/src/results/summary_keyword_gate-k8-c0-cs800-ov100.csv000066400000000000000000000004051507050661100270730ustar00rootroot00000000000000idx,latency_s,semantic_hit_at_k,semantic_max_sim,semantic_answer_sim,ctx_len_chars 1,0.962,0.0,0.3449,1.0,3096 2,0.745,0.0,0.2608,1.0,3409 3,1.783,1.0,0.4023,0.7806,3409 4,1.101,0.0,0.3243,0.9855,4401 5,1.526,1.0,0.507,0.9321,4947 6,0.623,1.0,0.5441,0.8279,208 middle25projects/2024103843/src/results/summary_keyword_gate-k8-c0-cs800-ov100.json000066400000000000000000000007061507050661100272550ustar00rootroot00000000000000{ "run_tag": "keyword_gate-k8-c0-cs800-ov100", "retriever_type": "keyword_gate", "top_k": 8, "use_compression": false, "chunk_size": 800, "chunk_overlap": 100, "count_with_ref": 6, "avg_semantic_hit_at_k": 0.5, "avg_semantic_answer_sim": 0.9210166666666666, "output_csv": "/home/gaoshijie/RAG/runs/summary_keyword_gate-k8-c0-cs800-ov100.csv", "output_jsonl": "/home/gaoshijie/RAG/runs/results_keyword_gate-k8-c0-cs800-ov100.jsonl" }middle25projects/2024103843/src/results/summary_mmr-k8-c0-cs400-ov100.csv000066400000000000000000000004031507050661100251740ustar00rootroot00000000000000idx,latency_s,semantic_hit_at_k,semantic_max_sim,semantic_answer_sim,ctx_len_chars 1,0.789,1.0,0.5478,0.9352,1614 2,0.913,0.0,0.3592,1.0,1803 3,1.657,1.0,0.5336,0.7806,1966 4,1.042,1.0,0.417,1.0,1903 5,1.076,1.0,0.6114,0.9321,1783 6,0.647,1.0,0.5441,1.0,1668 middle25projects/2024103843/src/results/summary_mmr-k8-c0-cs400-ov100.json000066400000000000000000000006611507050661100253600ustar00rootroot00000000000000{ "run_tag": "mmr-k8-c0-cs400-ov100", "retriever_type": "mmr", "top_k": 8, "use_compression": false, "chunk_size": 400, "chunk_overlap": 100, "count_with_ref": 6, "avg_semantic_hit_at_k": 0.8333333333333334, "avg_semantic_answer_sim": 0.9413166666666667, "output_csv": "/home/gaoshijie/RAG/runs/summary_mmr-k8-c0-cs400-ov100.csv", "output_jsonl": "/home/gaoshijie/RAG/runs/results_mmr-k8-c0-cs400-ov100.jsonl" }middle25projects/2024103843/src/results/summary_mmr-k8-c0-cs600-ov100.csv000066400000000000000000000004051507050661100252000ustar00rootroot00000000000000idx,latency_s,semantic_hit_at_k,semantic_max_sim,semantic_answer_sim,ctx_len_chars 1,0.668,1.0,0.5478,1.0,2346 2,0.287,0.0,0.2608,0.5953,2100 3,0.494,1.0,0.5336,0.7576,1980 4,0.352,1.0,0.417,0.977,1880 5,0.425,1.0,0.6114,0.9321,1563 6,0.385,1.0,0.5441,1.0,2184 middle25projects/2024103843/src/results/summary_mmr-k8-c0-cs600-ov100.json000066400000000000000000000006611507050661100253620ustar00rootroot00000000000000{ "run_tag": "mmr-k8-c0-cs600-ov100", "retriever_type": "mmr", "top_k": 8, "use_compression": false, "chunk_size": 600, "chunk_overlap": 100, "count_with_ref": 6, "avg_semantic_hit_at_k": 0.8333333333333334, "avg_semantic_answer_sim": 0.8769999999999999, "output_csv": "/home/gaoshijie/RAG/runs/summary_mmr-k8-c0-cs600-ov100.csv", "output_jsonl": "/home/gaoshijie/RAG/runs/results_mmr-k8-c0-cs600-ov100.jsonl" }middle25projects/2024103843/src/results/summary_mmr-k8-c0-cs800-ov100.csv000066400000000000000000000004061507050661100252030ustar00rootroot00000000000000idx,latency_s,semantic_hit_at_k,semantic_max_sim,semantic_answer_sim,ctx_len_chars 1,0.334,1.0,0.5478,1.0,3081 2,0.259,0.0,0.2608,0.5953,2400 3,0.595,1.0,0.5336,0.7806,2400 4,0.401,1.0,0.417,1.0,2475 5,0.385,1.0,0.6114,0.9321,2242 6,0.323,1.0,0.5441,0.8279,1857 middle25projects/2024103843/src/results/summary_mmr-k8-c0-cs800-ov100.json000066400000000000000000000006611507050661100253640ustar00rootroot00000000000000{ "run_tag": "mmr-k8-c0-cs800-ov100", "retriever_type": "mmr", "top_k": 8, "use_compression": false, "chunk_size": 800, "chunk_overlap": 100, "count_with_ref": 6, "avg_semantic_hit_at_k": 0.8333333333333334, "avg_semantic_answer_sim": 0.8559833333333332, "output_csv": "/home/gaoshijie/RAG/runs/summary_mmr-k8-c0-cs800-ov100.csv", "output_jsonl": "/home/gaoshijie/RAG/runs/results_mmr-k8-c0-cs800-ov100.jsonl" }middle25projects/2024103843/src/results/summary_mmr-k8-c1-cs800-ov100.csv000066400000000000000000000004131507050661100252020ustar00rootroot00000000000000idx,latency_s,semantic_hit_at_k,semantic_max_sim,semantic_answer_sim,ctx_len_chars 1,5.822,1.0,0.5478,0.9966,3081 2,4.65,0.0,0.2608,0.7575,2400 3,5.621,1.0,0.5336,0.6616,2400 4,4.734,1.0,0.417,0.3015,2475 5,4.617,1.0,0.6114,0.7402,2242 6,4.369,1.0,0.5441,0.8006,1857 middle25projects/2024103843/src/results/summary_mmr-k8-c1-cs800-ov100.json000066400000000000000000000006601507050661100253640ustar00rootroot00000000000000{ "run_tag": "mmr-k8-c1-cs800-ov100", "retriever_type": "mmr", "top_k": 8, "use_compression": true, "chunk_size": 800, "chunk_overlap": 100, "count_with_ref": 6, "avg_semantic_hit_at_k": 0.8333333333333334, "avg_semantic_answer_sim": 0.7096666666666667, "output_csv": "/home/gaoshijie/RAG/runs/summary_mmr-k8-c1-cs800-ov100.csv", "output_jsonl": "/home/gaoshijie/RAG/runs/results_mmr-k8-c1-cs800-ov100.jsonl" }middle25projects/2024103843/src/results/summary_similarity-k8-c0-cs800-ov100.csv000066400000000000000000000004031507050661100265730ustar00rootroot00000000000000idx,latency_s,semantic_hit_at_k,semantic_max_sim,semantic_answer_sim,ctx_len_chars 1,0.717,0.0,0.3449,1.0,3481 2,0.728,0.0,0.2608,1.0,3409 3,0.946,1.0,0.5336,0.7806,3293 4,0.768,0.0,0.3492,1.0,3819 5,1.23,1.0,0.5445,0.6191,4379 6,0.619,1.0,0.5441,0.8279,2021 middle25projects/2024103843/src/results/summary_similarity-k8-c0-cs800-ov100.json000066400000000000000000000006761507050661100267650ustar00rootroot00000000000000{ "run_tag": "similarity-k8-c0-cs800-ov100", "retriever_type": "similarity", "top_k": 8, "use_compression": false, "chunk_size": 800, "chunk_overlap": 100, "count_with_ref": 6, "avg_semantic_hit_at_k": 0.5, "avg_semantic_answer_sim": 0.8712666666666665, "output_csv": "/home/gaoshijie/RAG/runs/summary_similarity-k8-c0-cs800-ov100.csv", "output_jsonl": "/home/gaoshijie/RAG/runs/results_similarity-k8-c0-cs800-ov100.jsonl" }middle25projects/2024103843/src/scripts/000077500000000000000000000000001507050661100175665ustar00rootroot00000000000000middle25projects/2024103843/src/scripts/config.py000066400000000000000000000012461507050661100214100ustar00rootroot00000000000000# config.py from dataclasses import dataclass from typing import Optional @dataclass class Config: docs_dir: str = "2024103843/src/dataset" embedding_model_path: str = "2024103843/hf_models/models--sentence-transformers--all-MiniLM-L6-v2/snapshots/c9745ed1d9f207416be6d2e6f8de32d1f16199bf" ollama_model: str = "qwen2.5:3b" ollama_base_url: Optional[str] = None chunk_size: int = 800 chunk_overlap: int = 100 retriever_type: str = "similarity" top_k: int = 3 use_compression: bool = False keyword_gate_min_hits: int = 1 save_dir: str = "2024103843/src/results" qa_csv: str = "2024103843/src/queries/query1.csv" CONFIG = Config() middle25projects/2024103843/src/scripts/embedding_utils.py000066400000000000000000000011641507050661100233000ustar00rootroot00000000000000# embedding_utils.py from utils import cosine_sim def semantic_sim(text1: str, text2: str, emb_model) -> float: if not text1 or not text2: return 0.0 v1, v2 = emb_model.embed_query(text1), emb_model.embed_query(text2) return cosine_sim(v1, v2) def semantic_hit_at_k(reference, ctx_docs, emb_model, k, threshold=0.6): if not reference or not ctx_docs: return (0.0, 0.0) ref_vec = emb_model.embed_query(reference) sims = [cosine_sim(ref_vec, emb_model.embed_query(d.page_content)) for d in ctx_docs[:k]] max_sim = max(sims) if sims else 0.0 return (1.0 if max_sim >= threshold else 0.0, max_sim) middle25projects/2024103843/src/scripts/evaluation.py000066400000000000000000000021411507050661100223050ustar00rootroot00000000000000# evaluation.py import csv, json from utils import ensure_dir from embedding_utils import semantic_hit_at_k, semantic_sim def load_qa_csv(csv_path): data=[] with open(csv_path,"r",encoding="utf-8") as f: reader=csv.DictReader(f) for row in reader: if not row.get("question","").strip(): continue data.append({"question":row["question"].strip(),"reference":row.get("reference","").strip()}) return data def evaluate_one(question, reference, answer, ctx_docs, cfg, emb_model=None): record={} ctx_texts=[d.page_content for d in ctx_docs] if reference and emb_model is not None: sem_hit,max_sim=semantic_hit_at_k(reference,ctx_docs,emb_model,cfg.top_k,threshold=0.4) record["semantic_hit_at_k"]=sem_hit record["semantic_max_sim"]=round(max_sim,4) record["semantic_answer_sim"]=round(semantic_sim(reference,answer,emb_model),4) else: record.update({"semantic_hit_at_k":None,"semantic_max_sim":None,"semantic_answer_sim":None}) record["ctx_len_chars"]=sum(len(t) for t in ctx_texts[:cfg.top_k]) return record middle25projects/2024103843/src/scripts/indexing.py000066400000000000000000000012121507050661100217410ustar00rootroot00000000000000# indexing.py from langchain_community.document_loaders import DirectoryLoader from langchain_text_splitters import RecursiveCharacterTextSplitter from langchain_huggingface import HuggingFaceEmbeddings from langchain_community.vectorstores import FAISS def load_and_index(cfg): loader = DirectoryLoader(cfg.docs_dir) docs = loader.load() splitter = RecursiveCharacterTextSplitter(chunk_size=cfg.chunk_size, chunk_overlap=cfg.chunk_overlap) chunks = splitter.split_documents(docs) emb = HuggingFaceEmbeddings(model_name=cfg.embedding_model_path) vectordb = FAISS.from_documents(chunks, emb) return docs, chunks, vectordb middle25projects/2024103843/src/scripts/llm_utils.py000066400000000000000000000016521507050661100221500ustar00rootroot00000000000000# llm_utils.py import time from langchain.prompts import ChatPromptTemplate from langchain_ollama import ChatOllama ANSWER_PROMPT = ChatPromptTemplate.from_template( "You are a helpful assistant. Answer in Chinese ONLY using context. " "If not found, say '我不知道'.\n\nContext:\n{context}\n\nQuestion: {question}" ) COMPRESS_PROMPT = ChatPromptTemplate.from_template( "请把下面一段文本压缩成1-2句话：\n\n{chunk}" ) def build_llm(cfg): kwargs = dict(model=cfg.ollama_model) if cfg.ollama_base_url: kwargs["base_url"] = cfg.ollama_base_url return ChatOllama(**kwargs) def call_llm(llm, text: str, max_retries=2, sleep_s=0.5): for i in range(max_retries+1): try: resp = llm.invoke(text) return resp.content if hasattr(resp,"content") else str(resp) except Exception: if i==max_retries: raise time.sleep(sleep_s) return "" middle25projects/2024103843/src/scripts/main.py000066400000000000000000000067331507050661100210750ustar00rootroot00000000000000# experiment.py import os, csv, json from dataclasses import asdict from config import CONFIG, Config from utils import ensure_dir from indexing import load_and_index from retrievers import build_retriever from llm_utils import build_llm from rag_pipeline import rag_answer from evaluation import load_qa_csv, evaluate_one def run_experiment(cfg: Config): ensure_dir(cfg.save_dir) run_tag=f"{cfg.retriever_type}-k{cfg.top_k}-c{int(cfg.use_compression)}-cs{cfg.chunk_size}-ov{cfg.chunk_overlap}" out_jsonl=os.path.join(cfg.save_dir,f"results_{run_tag}.jsonl") out_csv=os.path.join(cfg.save_dir,f"summary_{run_tag}.csv") docs,chunks,vectordb=load_and_index(cfg) retriever=build_retriever(cfg,vectordb) llm=build_llm(cfg) emb_model=getattr(vectordb,"embedding_function",None) qa=load_qa_csv(cfg.qa_csv) rows=[]; sum_semhit=sum_anssim=cnt_ref=0 with open(out_jsonl,"w",encoding="utf-8") as fout: for i,item in enumerate(qa,1): ans,ctx_docs,dt=rag_answer(cfg,llm,retriever,item["question"]) metrics=evaluate_one(item["question"],item["reference"],ans,ctx_docs,cfg,emb_model) metrics["latency_s"]=dt fout.write(json.dumps({"idx":i,"question":item["question"],"reference":item["reference"], "answer":ans,"ctx_count":len(ctx_docs),"metrics":metrics}, ensure_ascii=False)+"\n") if metrics["semantic_hit_at_k"] is not None: sum_semhit+=metrics["semantic_hit_at_k"]; sum_anssim+=metrics["semantic_answer_sim"]; cnt_ref+=1 rows.append({"idx":i,"latency_s":round(dt,3), "semantic_hit_at_k":metrics["semantic_hit_at_k"] or "", "semantic_max_sim":metrics["semantic_max_sim"] or "", "semantic_answer_sim":metrics["semantic_answer_sim"] or "", "ctx_len_chars":metrics["ctx_len_chars"]}) with open(out_csv,"w",encoding="utf-8",newline="") as fcsv: writer=csv.DictWriter(fcsv,fieldnames=rows[0].keys()) writer.writeheader(); writer.writerows(rows) summary={"run_tag":run_tag,"retriever_type":cfg.retriever_type,"top_k":cfg.top_k, "use_compression":cfg.use_compression,"chunk_size":cfg.chunk_size,"chunk_overlap":cfg.chunk_overlap, "count_with_ref":cnt_ref,"avg_semantic_hit_at_k":(sum_semhit/cnt_ref) if cnt_ref else None, "avg_semantic_answer_sim":(sum_anssim/cnt_ref) if cnt_ref else None, "output_csv":out_csv,"output_jsonl":out_jsonl} with open(os.path.join(cfg.save_dir,f"summary_{run_tag}.json"),"w",encoding="utf-8") as fs: json.dump(summary,fs,ensure_ascii=False,indent=2) return summary def quick_grid(): base=asdict(CONFIG); exps=[] for rt in ["similarity","keyword_gate"]: exps.append(Config(**{**base,"retriever_type":rt,"top_k":8})) for cs in [400,600,800]: exps.append(Config(**{**base,"retriever_type":"mmr","chunk_size":cs,"top_k":8})) for use_c in [True]: exps.append(Config(**{**base,"retriever_type":"mmr","top_k":8,"use_compression":use_c})) all_summaries=[run_experiment(cfg) for cfg in exps] agg_csv=os.path.join(CONFIG.save_dir,"all_runs_summary.csv") with open(agg_csv,"w",encoding="utf-8",newline="") as f: writer=csv.DictWriter(f,fieldnames=all_summaries[0].keys()) writer.writeheader(); writer.writerows(all_summaries) if __name__=="__main__": quick_grid() middle25projects/2024103843/src/scripts/rag_pipeline.py000066400000000000000000000016261507050661100226030ustar00rootroot00000000000000# rag_pipeline.py import time from llm_utils import ANSWER_PROMPT, COMPRESS_PROMPT, call_llm def retrieve_docs(cfg, retriever, question, vectordb=None): return retriever(question) if cfg.retriever_type=="keyword_gate" else retriever.invoke(question) def maybe_compress_context(cfg, llm, docs): if not cfg.use_compression: return [d.page_content for d in docs] outputs=[] for d in docs: summary = call_llm(llm, COMPRESS_PROMPT.format(chunk=d.page_content)) outputs.append(summary.strip() if summary else d.page_content) return outputs def rag_answer(cfg, llm, retriever, question): t0=time.time() ctx_docs=retrieve_docs(cfg, retriever, question) ctx_texts=maybe_compress_context(cfg,llm,ctx_docs) context="\n\n".join(ctx_texts) answer=call_llm(llm, ANSWER_PROMPT.format(context=context,question=question)) return (answer.strip(), ctx_docs, time.time()-t0) middle25projects/2024103843/src/scripts/retrievers.py000066400000000000000000000026551507050661100223420ustar00rootroot00000000000000# retrievers.py import re from utils import normalize_text from collections import Counter def build_retriever(cfg, vectordb): if cfg.retriever_type == "similarity": return vectordb.as_retriever(search_type="similarity", search_kwargs={"k": cfg.top_k}) elif cfg.retriever_type == "mmr": return vectordb.as_retriever(search_type="mmr", search_kwargs={"k": cfg.top_k, "fetch_k": max(15, cfg.top_k*4), "lambda_mult":0.5}) elif cfg.retriever_type == "keyword_gate": base = vectordb.as_retriever(search_type="similarity", search_kwargs={"k": cfg.top_k}) def gate_fn(question: str): keywords = extract_keywords(question) fetch = vectordb.similarity_search(question, k=max(50, cfg.top_k*6)) filtered = [] for d in fetch: hits = sum(1 for kw in keywords if kw in normalize_text(d.page_content)) if hits >= cfg.keyword_gate_min_hits: filtered.append(d) if len(filtered) >= max(cfg.top_k*3, 15): break return filtered[:cfg.top_k] if filtered else base.get_relevant_documents(question) return gate_fn else: raise ValueError("Unknown retriever type") def extract_keywords(text: str, topn=8): s = normalize_text(text) s = re.sub(r"[^0-9a-z\u4e00-\u9fff]+"," ",s) tokens = [t for t in s.split() if len(t)>=2] return [w for w,_ in Counter(tokens).most_common(topn)] middle25projects/2024103843/src/scripts/utils.py000066400000000000000000000012411507050661100212760ustar00rootroot00000000000000# utils.py import os, re, time, numpy as np def ensure_dir(d: str): if not os.path.exists(d): os.makedirs(d, exist_ok=True) def normalize_text(s: str) -> str: if s is None: return "" s = s.strip() res = [] for ch in s: code = ord(ch) if code == 0x3000: code = 32 elif 0xFF01 <= code <= 0xFF5E: code -= 0xfee0 res.append(chr(code)) s = "".join(res).lower() return re.sub(r"\s+", " ", s) def cosine_sim(a: np.ndarray, b: np.ndarray) -> float: a, b = np.asarray(a, dtype=np.float32), np.asarray(b, dtype=np.float32) return float(np.dot(a, b) / ((np.linalg.norm(a)+1e-9)*(np.linalg.norm(b)+1e-9))) middle25projects/README.md000066400000000000000000000003401507050661100155120ustar00rootroot00000000000000# middle25projects reports collected for Middleware class project @2025 ``` 2024103843  ┃  ┃  ┗ experiment report (2024103843.md) ┃ ┗ src ┃ ┗ scripts(experiment scripts) ┗ dataset ```