第三方AI的行为在您的组织与世界其他AI之间的行为可能是黑客梦想成真。
喜欢指数的未来？加入我们的Xpotential社区 ，通过Xpotential University的课程进行未来的证明 ，阅读有关指数技术和趋势，连接 ，观看Keynote或浏览我的博客 。
大型语言模型（LLMS）OPS工作流程 - 人工智能（AI）代理中间件中都出现了一个新概念 ，就像可以黑客入侵和操纵的所有事物一样，它将又一个网络威胁引入了公司越来越依赖公司的AI模型和环境 。
AI代理是应用程序和模型推理提供商（例如OpenAI或拥抱面孔）之间的服务。他们负责在生成AI开发人员工作流程中巩固重要步骤 ，包括使用单个API调用不同的模型（Llama ，GPT*，Mixtral），监视推理请求的使用 ，延迟 ，成本，缓存和节流推理请求 ，以及管理推理提供者的API键 。
主题演讲Matthew Griffin的AI和网络安全的未来
AI代理中间件位于应用程序和模型推理提供商之间 ，但是该体系结构可能是解决有效问题的错误解决方案 。取而代之的是，可以通过完全避免中间件的框架和协议来更优雅地处理这些中间Wares提供的功能。
AI代理旨在解决的问题确实很重要：将关注点 ，将模型特异性逻辑从应用程序代码中分离出来 ，使应用程序能够以一致的API表面调用不同的模型，监视生成的AI使用 ，延迟和成本 ，可缓存推理请求，以及管理节流器和API关键 ，以获取不同推荐的推荐关键 。但是 ，引入代理中间件会带来其他挑战 。
一种整体设计结合了监视，可观察性和缓存，它们在软件开发工作流程中已经建立了良好的概念 ，每个系统都适用于每个系统。此额外的服务层引入了安全风险 ，需要加密的请求和特定于用户的数据。代理人为LLM提供商提供了两个啤酒花，可能会降低绩效并降低辩论能力 。它不支持本地模型 ，随着模型变得越来越小 ，更有效，它们变得越来越重要 。此外 ，许多代理中间人都是第三方提供商的封闭托管服务 ，从而在没有故障转移策略的情况下创建了关键的外部依赖。
开源AI框架和存储格式可以替换AI代理层，在连接相关服务以分别处理监视 ，缓存和密钥管理的同时提供统一的API 。Aiconfig是一种配置驱动的框架 ，将提示，模型和推理设置管理为JSON-Serializable配置 。这些配置可以在类似笔记本的操场上控制 ，评估 ，监视和编辑，并直接集成到开发人员工作流程中。
Aiconfig观察到的提示，模型和推理设置应保存为配置 ，而不是代码 ，并且通用的存储格式，模型 - 不合时式和多模式 ，允许在不同模型之间直接切换 。将整体服务分解为其组成部分 ，允许将现有服务提供商用于推理，监视 ，缓存和KMS 。Aiconfig与应用程序代码分开存储并迭代提示 ，在任何模型和模态上提供均匀的API表面。
该框架提供了用于使用跟踪的回调处理程序，将生成AI的监视集成到现有的应用程序监视服务中 。诸如用于语义缓存的GPTCACHE之类的解决方案可以与框架直接集成而不是代理 。现有的KMS服务可以管理推理端点密钥 ，解决API密钥管理。
除这些功能外 ，框架还可以为构建生产应用程序提供关键的生成AI工作流元素 。评估是通过专用的配置工件来支持评估的，定义EVALS并在配置更改时 ，作为CI/CD的一部分触发评估 。一个框架可以将实验和生产崩溃为单个工作流程 ，从而在类似笔记本的操场上进行本地实验，以进行视觉编辑和快速的原型制作。治理和版本的控制确保了应用程序的生成AI组件的可重复性和出处，这使Aiconfig成为现代AI开发的全面解决方案。
来源:https://ovna.cn/zlan/202506-9464.html 来源:https://ovna.cn/cshi/202506-9377.html 来源:https://ovna.cn/zlan/202506-9482.html 来源:https://ovna.cn/zshi/202506-9308.html 来源:https://ovna.cn/zshi/202506-9456.html 来源:https://ovna.cn/zshi/202506-9362.html 来源:https://ovna.cn/zshi/202506-9475.html 来源:https://ovna.cn/wiki/202506-9462.html 来源:https://ovna.cn/zshi/202506-9412.html 来源:https://ovna.cn/zshi/202506-9470.html
来源:https://ovna.cn/zlan/202506-9464.html 来源:https://ovna.cn/cshi/202506-9377.html 来源:https://ovna.cn/zlan/202506-9482.html 来源:https://ovna.cn/zshi/202506-9308.html 来源:https://ovna.cn/zshi/202506-9456.html 来源:https://ovna.cn/zshi/202506-9362.html 来源:https://ovna.cn/zshi/202506-9475.html 来源:https://ovna.cn/wiki/202506-9462.html 来源:https://ovna.cn/zshi/202506-9412.html 来源:https://ovna.cn/zshi/202506-9470.html
本文来自作者[逮致远]投稿，不代表策华号立场，如若转载，请注明出处：https://cehuayingxiao.cn/wiki/202506-41189.html
评论列表（4条）
我是策华号的签约作者“逮致远”！
希望本篇文章《第三方AI的行为在您的组织与世界其他AI之间的行为可能是黑客梦想成真。》能对你有所帮助！
本站[策华号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览：第三方AI的行为在您的组织与世界其他AI之间的行为可能是黑客梦想成真。 喜欢指数的未来？加入我们的Xpotential社区，通过Xpotential University...