AI Gateway
Un plano de control inteligente para tus aplicaciones de IA
Conecta a cualquier modelo, rutea dinámicamente las solicitudes y gestiona el uso, la facturación y los registros desde una única puerta de enlace unificada.
Reducir costes y latencia
Mejora la fiabilidad con Controles Dinámicos
Añadir Observability
Enrutamiento dinámico
Automáticamente enrutar solicitudes según la latencia, el costo o la disponibilidad. Ajustar reglas de inmediato desde el panel de control o la API — sin redespliegues, sin tiempos de inactividad.
Capacidades principales
Rendimiento de la red global
Construido sobre la infraestructura de Cloudflare. Asegura un acceso con baja latencia, distribuido a nivel mundial, con escalabilidad automática y seguridad integrada.
Caching
Reduce llamadas a la API redundantes. Ahorra dinero y mejora el tiempo de respuesta almacenando y reutilizando automáticamente solicitudes frecuentes.
Observabilidad incorporada
Registros, métricas y análisis de uso. Incluye enrutamiento de respaldo, limitación de velocidad y medidas de seguridad para gestionar el coste, el comportamiento y el cumplimiento en múltiples proveedores.
Controles de seguridad y barandillas de seguridad
Protege tus aplicaciones de IA de filtrar o enviar información confidencial. Protege tu aplicación de IA de tráfico malicioso sin necesidad de configurar o mantener nada adicional.
Facturación Unificada
Gestiona todos tus gastos con una sola factura sencilla y accede a cada proveedor a través de una sola API. Invierte menos tiempo en la gestión y más tiempo en el envío.
Reducir la latencia y el costo de las apps de IA mediante el caché de las respuestas de la API
Analytics de uso — monitoreo del rendimiento de las solicitudes, recuentos de tokens y comportamiento
Crear tableros personalizados y sistemas de alerta directamente desde los registros de AI Gateway
Controla tu infraestructura de IA
Ejemplos que muestran cómo configurar Caching, enrutamiento y monitoreo para cargas de trabajo de IA.
// wrangler.jsonc // Simple configuration { "ai": { "binding": "AI" } } // Pass through the Gateway from your Worker with Workers AI // index.js const resp = await env.AI.run( "@cf/meta/llama-3.1-8b-instruct", { prompt: "tell me a joke", }, { gateway: { id: "my-gateway", }, }, ); // Use with OpenAI SDK import OpenAI from "openai"; const openai = new OpenAI({ apiKey: "my api key", // defaults to process.env["OPENAI_API_KEY"] baseURL: await env.AI.gateway("my-gateway").getUrl("openai"), });
Rightblogger
Without AI Gateway, it’s difficult to see which applications are driving the majority of the costs with the OpenAI API … We can choose to limit the number of requests used by certain tools to control costs.
Powerful primitives, seamlessly integrated
Built on systems powering 20% of the Internet, AI Gateway runs on the same infrastructure Cloudflare uses to build Cloudflare. Enterprise-grade reliability, security, and performance are standard.
Compute
Storage
AI
Media
Network
SASE / Zero Trust
Construye sin límites
Únete a miles de desarrolladores que han eliminado la complejidad de la infraestructura y han desplegado a nivel mundial con Cloudflare. Empieza a construir de forma gratuita — no se requiere tarjeta de crédito.