及前面提到的技术

[email protected]

。在对  的调用中实现基本重试逻辑可以缓解大多数可靠性问题。然而这通常会因  调用固有的延迟而增加成本。例如在重试之前我们应该等待  的请求多长时间如果重试调用者是否会接受额外的延迟？另一种策略是对模型进行冗余并行调用但代价是花费更多的钱。 聊天系统对延迟和可靠性问题很敏感。客户带着问题来到这些系统；我们最不想做的就是让他们的问题与糟糕的体验变得更加复杂。我们的系统特别容易受到延迟的影响因为我们的上游通信提供商对我们的集成调用有 秒的超时。






迫使我们采用异步响应（即确认来自提供商的请求并使用  向客户发送消息）。我们建议特别是如果您不受现有架构的限制采用  提供商提供的流 。虽然实现流  更为复杂但它有可能提供更好的用户体验。 内存管理很难 从我们的角度来看构建对话式人工智能助手最严峻的 日本手机号码数据 挑战之一是管理法学硕士的环境。虽然业界提供了具有大上下文规模的模型变体（  提供多达  个代币  提供多达  个代币）但它们的大规模使用成本可能过高。更多上下文只是有时更好（如关于大型提示与面向任务的提示的第一点中提到的）因为它可能会导致模型专注于重复的概念或优先考虑预测中的最新标记。 人工智能社区发明了许多内存管理策略。









库包括各种技术例如缓冲区（保留最后  个消息或令牌）摘要实体识别知识图相关性动态检索（通过 向量存储）以的组合。 对于简短的对话最好保留整个对话。过早总结用户和助理消息可能会降低法学硕士后续响应的准确性。对于较长的对话总结对话的早期部分跟踪命名实体并尽可能多地保留后面的对话对我们很有帮助。对于 我们了解到在模型有机会做出响应后删除工具使用的结果（例如功能消息）有时是有益的。保留消息会导致模型的不可预测性包括对结果的固定。 最后随着我们深入研究多代理架构我们正在考虑使用堆栈来实现内存。核心思想是提供短暂的工作记忆来委托提示但当对话的焦点移回控制器时收获（并总结）结果。