清华唐杰新作 WebGLM：参数 100 亿、主打联网搜索

　　你可以问它任何问题，然后它将列举出网上（例如维基百科、天选团队相关官网）相关的文章链接，整理出答案。

　　据介绍，在性能对比测试中，WebGLM 的水平已经高于OpenAI135亿参数的 WebGPT，在人类评估中，甚至与 1750 亿参数的模型不相上下。

　　据介绍，WebGLM 的目标是通过 Web 搜索和检索功能，增强预训练大语言模型，同时可以进行高效的实际部署。

　　它主要是用于增强模型相关网络内容的检索能力，在给定查询的情况下查找相关引用，以便后面更好地准确回答问题。

　　它利用 GLM（比如清华之前发布的双语开源预训练模型 GLM-130B）的能力为问题生成回复，提供详细的答案。

　　利用该生成器，作者得到 WebGLM-QA ——一个 LLM 自举引用和长程的 QA 数据集。

　　它通过上下文学习等策略进行清洗和过滤，最终包括 45k 的高质量过滤样本和 83k 的噪声样本。

　　它通过优先考虑人类偏好而非昂贵的专家反馈来评估生成回复的质量，确保系统能够产生有用和吸引人的内容。

　　LLM 增强检索器会将前五个最相关的页面作为参考源，让自举生成器生成多个答案，最终打分器选出最可能符合人类偏好的那一个作为最终输出。

　　除了 WebGLM 本身，唐杰团队此次还提出了一个网络增强问答系统的评估标准，评估对象既包括参考文献，也包括最终回答。天选

　　其中前者衡量相关性、信息密度、真实性（无事实错误）、毒性（不含暴力色情等信息）和社会偏见程度这 5 个维度；后者则衡量流畅度、正确性、引用准确性、客观性和冗余程度。

　　他们用 WebGPT（来自 OpenAI，基于 GPT-3 进行微调）演示网站提供的 272 个问题进行对比评估，并招募了 15 个学历为硕士的志愿者打分。

　　值得一提的是，WebGLM 检索过程只使用了一些传统的基于单词的算法和两个累计参数量不超过 300M 的 Contriever。

　　此外，WebGLM 在计算性能和时间消耗方面也明显优于 WebGPT-13B、并与 175B 不相上下。

　　而在最终结果方面，WebGLM 在流畅度、真实性和冗余度方面均获得最高得分，正确性指标上则接近 WebGPT-175B，远高于 Perplexity.ai 和 WebGPT-13B。

　　运行该模型的方式有两种：一是命令行界面，二是 Web 服务形式，并且包含WebGLM-2B 和 WebGLM-10B两种可选模型。

　　iPhone 15 首批产量曝光/B 站宣布取消播放量显示/小米回应小米汽车 14.99 万起售

　　更贵更好卖！iPhone 15 Pro将成今年主打产品：有史上最大升级

　　《暗黑破坏神4》开发者透露：将支持微软“游戏神技”DirectStorage

　　苹果没有对手：Vision Pro提供的不是一个杀手级应用，而是一个杀手级平台

　　想要用 AI 和卡片笔记进行对话？你可以试试这个开源小工具 Quivr

　　软通动力：公司虚拟数字人产品已升级至2.0版本，聚焦元宇宙、智能化两大方面