政府机构 AI 聊天机器人实战指南
如何构建、保护和管理 AI 助手
当我与政府机构的技术负责人交流时，他们常常提到，首个落地的生成式 AI 工具就是 AI 聊天机器人。事实上，截至 2025 年 1 月，联邦政府中 80% 已记录的生成式 AI 使用场景均涉及聊天机器人和 AI 驱动的虚拟助手。大多数机构首先部署面向内部员工的聊天机器人，确保团队熟悉技术并对效果满意后，再开发面向外部客户的版本。
州及地方政府机构如今同样迫切希望部署其首个由 AI 驱动的聊天机器人。与此同 时，已完成内部部署的联邦机构正计划推出面向外部的聊天机器人。
这些 AI 聊天机器人与多年来使用的传统聊天机器人有所不同。传统（基于规则的）聊天机器人遵循固定脚本，擅长处理简单任务，但无法应对“偏离脚本的”问题。AI（对话）聊天机器人使用 自然语言处理 (NLP)、机器学习 (ML) 和 大型语言模型 (LLM) 来理解意图、处理上下文、学习、改进并整合数据，从而为复杂查询提供全面的答案。
AI 聊天机器人可以提供快速、一致且合规的回复，无需人工干预。但是，AI 聊天机器人的构建、保护和治理可能面临挑战。要构建聊天机器人，他们首先需要找到一个既能快速取得成果又能积累必要经验的场景，然后优化设计、选择合适的 LLM，并成功地将该模型与经过适当筛选的数据源集成。
他们还必须保护聊天机器人免受攻击和恶意行为。同时，他们还必须建立有效的治理机制，确保模型不会返回不准确或不当的响应，否则可能导致错误决策、助长欺诈活动、危及合规要求，并最终损害用户信任。
尽管存在挑战，但联邦、州和地方政府机构无疑正在推动 AI 聊天机器人的实施。遵循以下四项最佳实践，可帮助您的组织在最大化 AI 驱动服务价值的同时，将潜在重大风险降至最低。
1. 找到适当的使用场景
构建 AI 聊天机器人应遵循与其他应用相同的原则：理解问题，以用户为中心进行设计，并根据反馈迭代优化。对于您的首次 AI 聊天机器人部署，请专注于解决具体、明确定义且高频的问题，例如回答常见问题。在您规划第一个项目时，请同时检查外部和内部用途。同时考虑使用聊天机器人进行问题分类——作为用户交互的第一道防线，以此决定解决问题的最佳方式。
随着时间的推移，您可以添加其他功能来支持更复杂的问题。例如，您可以集成翻译功能，同时支持语音和文本，并连接到多个系统。
外部使用场景
面向外部客户或公民的聊天机器人可以实现各种功能。下面仅举几个例子：
美国公民及移民服务局启用了名为“EMMA”的聊天机器人，以协助处理与移民服务、绿卡和护照等相关的公众咨询。
亚特兰大市通过提供全天候的非紧急援助渠道，改进了 311 服务。居民可以随时报告道路坑洼或咨询垃圾收集时间表。
南卡罗来纳州正在推出一款新的 AI 驱动"居民助手"，昵称为"Bradley"，它将帮助用户查找常见问题的答案，并协助处理税款缴纳、水费账单查询等事务。
外部聊天机器人可以设计为支持匿名查询或提供个性化信息。一个城市网站的聊天机器人可能会匿名提供关于房屋建造许可或即将举行的活动的一般信息。但是,劳工、税务或车辆管理机构的网站则可以提供个性化响应,包含有关个人具体申请、税务申报或车辆的信息。
内部使用场景
我接触的大多数公共部门 IT 领导者都专注于面向内部员工的聊天机器人。内部聊天机器人使用 检索增强生成 (RAG) 来利用内部数据。它们可以帮助员工快速查找信息，快速应对潜在的复杂流程，而无需依赖同事。
与外部聊天机器人类似，这些内部工具可以被构建为提供个性化回复或更通用的信息。例如：
人力资源聊天机器人可以指导员工完成入职流程，例如美国总务管理局 (GSA) 于 2015 年推出的"Mrs. Landingham" Slackbot。人力资源聊天机器人还可以提供针对每个员工量身定制的福利、薪酬和休假信息。
IT 聊天机器人可以提供技术支持，帮助员工解决常见的支持问题，例如密码重置请求或安装新软件。
案件管理聊天机器人可以帮助案件工作人员和福利审批员快速查找规则、总结案件历史并从内部系统提取特定信息。
聊天机器人擅长分类——处理常见问题并判断问题是否应上报给人工处理。如果设计得当，聊天机器人可以提升任何客户服务中心的工作效率，并显著缩短对用户的响应时间——对于支持 IT 服务台或其他关键职能的聊天机器人而言，这一点尤为重要。然后，人类座席便可以专注于更复杂、更细致且非常规的问题。
2. 组合基础技术
无论您的组织计划构建外部聊天机器人还是内部聊天机器人，您都需要相同的基本要素：模型、数据集和数据检索方法。
LLM
大多数公共部门机构会选择使用现有的 LLM，而不是自行投入高成本、长周期的流程来训练和构建模型。您可以选择商业 LLM，例如 OpenAI 的 ChatGPT，或者选择开源 LLM，例如 Meta 的 Llama。
评估不同模型时，需要综合考虑功能、安全性和成本。例如，您可能希望使用能够处理多模态输入和输出（如文本、图像和音频），而不仅限于文本的聊天机器人。您可以选择开源模型，并将其部署在您自有且可控的环境中，以最大化安全性。开源模型还可以帮助您避免订阅费用，以及商业服务提供商可能按 token 计费的高昂成本。
数据集
如果您希望聊天机器人拥有特定领域的知识，您需要提供一个数据集，以便 LLM 从中学习和参考。根据使用场景，这些数据可能包括该州所有人的车辆登记信息、贵机构的人力资源政策，或者包含某个县重要记录的文档存储。为支持聊天机器人，数据应保存在向量数据库中，该数据库的结构旨在让 LLM 能够记住之前的输入。
RAG
最后，您还需要一种方式将 LLM 与该数据源集成起来，使聊天机器人能够向用户提供相关的信息。RAG 利用该数据源的信息来丰富用户提示词，然后查询 LLM。然后，LLM 使用新的上下文来合成答案，而不是依赖于其常规训练数据。
3. 不要急于求成
谨慎设计聊天机器人的界面、平台支持以及与其他内容之间的关系，将是确保其成功被采用的关键。首先进行用户研 究，然后为聊天机器人确定一个有限的范围，例如它将涵盖的具体主题或采用的特定问答模式。收集数据和反馈，以不断改进机器人的表现和知识库。
为了最大限度地提高实用性和包容性，请考虑在多个渠道（包括您的网站、移动应用和短信平台）中部署聊天机器人。支持多种语言（英语和西班牙语是常见的优先选项），以提高可访问性。
另请注意，聊天机器人的内容必须与其他网站/常见问题解答内容协同工作。聊天机器人是一种以近似人类交互的方式提供信息的工具，但不能取代其他信息呈现方式。
4. 加强安全和治理
设计和构建聊天机器人只是整个过程的一部分。您还需要有效的方法来保护和管理聊天机器人，包括控制进出聊天机器人的数据。
控制输入
务必对用户提示词设置防护措施，以防止对 AI 系统的恶意操控。特别是，团队需要保护模型并监控提示词，以应对以下重要威胁：
提示词注入和越狱：用户可能会尝试覆盖聊天机器人的规则，或通过输入恶意代码诱骗模型绕过安全设置。
不当提示词：某些用户可能会有意输入仇恨言论或露骨内容，试图让模型与这些不当内容进行交互。这样做会浪费计算资源，并且如果聊天机器人以类似的不当内容回复，最终可能会损害机构的声誉。
监控输出
您还需要为潜在问题输出做好准备，其中包括不准确的回复。例如，纽约市面向小企业主提供的 MyCity 聊天机器人曾被问及，餐厅是否可以出售被啮齿动物啃食过的奶酪。聊天机器人给出的回复显然是错误的：只要餐厅评估啮齿动物造成的破坏程度并告知顾客，则依然可以出售奶酪。
聊天机器人还可能提供不当且带有偏见的响应，损害机构声誉并降低公众信任。在 2025 年一个广为人知的案例中，xAI 的 Grok 发布了反犹太言论。
AI 防火墙可以帮助保护输入和输出，防止提示词注入、模型投毒、过度使用以及传统安全解决方案无法应对的其他威胁。AI 防火墙部署于网络边缘，位于用户与模型之间，可以阻止恶意输入到达模型，并阻止不当或不合规的输出到达用户。防火墙可由政府机构完全控制，并采用该机构设定的策略。
开始构建、保护和管治
Cloudflare 提供多款工具，旨在通过统一平台简化 AI 聊天机器人的部署流程。例如，Cloudflare 提供向量数据库、零出口费用的全球对象存储和 RAG 模式启用服务，帮助您的团队构建聊天机器人后端，而无需管理基础设施。
然后，您可以在 Cloudflare 全球网络上构建并部署 AI 驱动的聊天机器人。AI Gateway 服务使开发人员能够将多个 LLM 集成到其聊天机器人中，同时获得对 AI 应用流量的单一控制和可观察性。实施集成到 Cloudflare 全球网络中的内联 Firewall for AI 服务，可以帮助保护提示词和输出。
毫无疑问，聊天机器人既能满足用户对即时服务的期望，又能响应当今政府对提高效率的更高要求。然而，花时间精心设计您的聊天机器人并实施充分的安全和治理措施，对于实现您的目标至关重要。
本文为 Cloudflare 就影响当今技术决策者的最新趋势和主题发布的系列文章之一
作者
Dan Kent - @danielkent1
Cloudflare 公共部门现场首席技术官
关键要点
阅读本文后，您将能够了解：
如何为您的组织识别出最佳的聊天机器人使用场景
您需要选择和集成哪些关键技术
加强安全性和管治聊天机器人的策略
相关资源
深入探讨这个话题
阅读《确保安全的 AI 实践：CISO 创建可扩展 AI 战略的指南》，进一步了解如何在支持实施聊天机器人等 AI 服务的同时确保安全性。