Cómo Tendy convirtió los LLM en un sistema operativo empresarial con memoria, RAG e integraciones

Tendy nació de una tesis simple: las empresas no deberían depender únicamente de chatbots genéricos para utilizar inteligencia artificial. El valor real de un LLM aparece cuando comprende el contexto de la empresa, accede a datos internos, realiza acciones en los sistemas comerciales, mantiene la memoria a largo plazo y se puede distribuir a través de aplicaciones, API y canales de socios. El desafío era transformar esta visión en un AI Business OS operable.

La arquitectura fue diseñada como una plataforma multiinquilino con aplicación autenticada, puerta de enlace API en Cloudflare Workers, historial de conversaciones persistente, proyectos compartidos, carga de documentos, RAG, integraciones, facturación y control de modelos. En lugar de acoplar todo en una pantalla de chat, la lógica de LLM se trató como una capa de infraestructura: el enrutamiento, el contexto, las herramientas, la facturación y la distribución deben trabajar juntos.

Puerta de enlace LLM con alias y enrutamiento

Como núcleo del producto, estructuré una puerta de enlace compatible con el patrón de finalización del chat. La plataforma expone alias de plantillas públicas, como asistentes rápidos o más analíticos, al tiempo que mantiene protegidas las identificaciones de proveedores reales. Esto le permite intercambiar rutas internas sin alterar la experiencia del cliente o la API pública.

También implementé una lógica de clasificación y enrutamiento para que una plantilla automática pueda delegar la respuesta al alias más apropiado. Esta separación entre alias público, modelo de proveedor y comportamiento del asistente hizo que el producto fuera más flexible: el usuario elige la intención, no necesita comprender la complejidad de la infraestructura detrás de ella.

RAG, memoria y contexto propietario

La segunda capa fue el contexto. Tendy separa el conocimiento por inquilino y por perfil RAG, utilizando la ingesta de documentos, R2, colas y Vectorize para construir una base de recuperación. El objetivo era permitir que cada empresa conectara sus propios documentos y datos, sin mezclar el contexto entre los clientes.

Además de RAG, la plataforma incluye una capa de memoria con proveedores como Mem0 y Zep. Esta memoria fue diseñada para almacenar preferencias, hechos persistentes e historial útil para cada espacio de trabajo. La diferencia es importante: RAG recupera conocimiento documental; La memoria ayuda al LLM a recordar el contexto operativo de la empresa y las preferencias recurrentes.

Llamadas de herramientas e integraciones comerciales

Un LLM corporativo no puede simplemente responder. Necesita ejecutar. Por lo tanto, Tendy integra cientos de sistemas a través de Nango y transforma las acciones de estos sistemas en herramientas compatibles con la llamada de herramientas OpenAI. La plataforma normaliza el formato de las herramientas, filtra acciones ejecutables e inyecta descripciones útiles para que el modelo decida cuándo utilizar cada herramienta.

Este diseño permite al asistente trabajar conectado a herramientas empresariales, sin exponer complejidad técnica al usuario. El resultado deja de ser una conversación aislada y se convierte en una interfaz de operación: el LLM puede consultar, desencadenar y organizar flujos en sistemas externos con gobernanza de inquilinos.

Implementación, facturación y distribución dedicadas

También estructuré el camino hacia los modelos de GPU dedicados usando RunPod, creando implementaciones por inquilino, alias de modelos y simulación a través de Cloudflare Workers AI cuando fue necesario. Esta capa prepara el producto para escenarios en los que la empresa quiere tener más control sobre el modelo, la capacidad y la infraestructura.La operación se cerró con medición y facturación: suscripciones in-app, uso directo vía API, medición vía tokens, Stripe y distribución a través de canales o Marketplaces asociados. Esto convirtió a Tendy en más que una aplicación de inteligencia artificial. Se convirtió en una infraestructura LLM comercial: app para equipos, API para desarrolladores, memoria, RAG, integraciones, despliegue dedicado y facturación en un mismo sistema.