Plataformas CloudConfirmadoOpenAI comparte detalles técnicos sobre cómo escalaron su sistema de almacenamiento en línea de Hábitat con múltiples niveles, caché global, y Azure Cosmos DB para entregar 12 veces lecturas más rápidas para más de 1.000 millones de usuarios de ChatGPT.
Fuente de imagen: GoogleOpenAI ha detallado cómo escala su sistema de almacenamiento en línea de Hábitat para servir a más de 1.000 millones de usuarios de ChatGPT. Este esfuerzo de escalado dio lugar a una mejora de 12x en velocidades de lectura para ChatGPT.
La arquitectura implementada para Hábitat incluye capas fiables de múltiples niveles y de caché global. También aprovecha Azure Cosmos DB como componente fundamental. Un aspecto clave del diseño consiste en aislar las cargas de trabajo en toda la infraestructura compartida para mantener la fiabilidad.
Se desplegaron estrategias avanzadas de caché, lo que redujo significativamente la carga en la base de datos subyacente en un 85%. Además, el sistema utiliza las capacidades de Azure Cosmos DB para la distribución global e indexación automática para apoyar sus necesidades operacionales. Estos cambios arquitectónicos dieron lugar a una reducción del 40% en los costos de infraestructura y a la mejora de los tiempos de respuesta mediana.
Scaling an online storage system to support over a billion users, particularly for an interactive AI application like ChatGPT, presents significant engineering challenges. The core requirements typically include extremely low latency, high throughput, global availability, and cost efficiency. OpenAI's approach with Habitat demonstrates a practical application of distributed systems principles to meet these demands.
La aplicación de una capacidad multitena fiable es fundamental para gestionar de manera eficiente una gran base de usuarios. En un entorno de múltiples componentes, múltiples usuarios u organizaciones comparten la misma infraestructura subyacente. El hecho confirmado de "aislar cargas de trabajo a través de la infraestructura compartida" aborda directamente problemas comunes de multi-tenancia, como el problema " vecino ruidoso", donde el uso pesado de un arrendatario puede degradar el rendimiento para otros. Este aislamiento es esencial para mantener un rendimiento y una fiabilidad constantes en una base de usuarios diversa y masiva, evitando la contención de recursos y garantizando la integridad y seguridad de los datos dentro de un entorno compartido.
El despliegue de "capas de caché global" es una estrategia estándar, pero compleja, para mejorar el rendimiento de lectura y reducir la carga de bases de datos en aplicaciones distribuidas a nivel mundial. La "reducción del 85% en la carga de bases de datos" es un logro sustancial, indicando una estrategia de caché altamente eficaz. Este nivel de reducción de carga implica que la gran mayoría de las solicitudes de lectura se atienden directamente desde el caché, superando la base de datos. Para una base de usuario global, una capa de caché global minimiza la latencia de la red al servir datos de una caché geográficamente proximada, contribuyendo directamente a las "12x lecturas más rápidas" experimentadas por los usuarios de ChatGPT. Esa reducción de las operaciones de bases de datos también se traduce directamente en menores costos operacionales, ya que las operaciones de lectura de bases de datos suelen ser un factor de costo primario en aplicaciones a gran escala.
Aprovechar Azure Cosmos DB para sus capacidades de "distribución global e indexación automática" es una opción estratégica para un sistema que requiere alta disponibilidad y acceso a baja latencia en todo el mundo. Cosmos DB es un servicio de base de datos multimodelo gestionado y distribuido a nivel mundial diseñado para aplicaciones de alto rendimiento. Su distribución global permite reproducir datos en múltiples regiones de Azure, permitiendo a los usuarios acceder a datos de la región más cercana, lo que reduce inherentemente la latencia. La indexación automática simplifica la gestión de datos y la optimización de consultas, asegurando que las consultas sigan siendo ejecutantes incluso a medida que crecen los volúmenes de datos y el esquema evoluciona, sin requerir la afinación manual del índice por los desarrolladores. Esto descarga una carga operacional significativa de los equipos de ingeniería de OpenAI, permitiéndoles centrarse en la lógica de nivel de aplicación en lugar de la administración de bases de datos.
El efecto combinado de estas decisiones arquitectónicas – multitenacidad con aislamiento de carga de trabajo, caché global agresivo y una base de datos gestionada globalmente distribuida – tiene consecuencias de ingeniería tangibles. El "12x lecturas más rápidas" se traduce directamente en una experiencia de usuario más receptiva y fluida para usuarios de ChatGPT, que es primordial para un servicio interactivo de inteligencia artificial. La "disminución del 40% en costos de infraestructura" destaca los beneficios económicos de optimizar los patrones de almacenamiento y acceso a datos a escala. Esta eficiencia de costes permite que OpenAI sostenga su base de usuario masiva más asequible, potencialmente permitiendo una mayor inversión en desarrollo de modelos AI o expansión de servicios. Los "tiempos mejorados de respuesta mediana" refuerzan aún más el impacto positivo en la experiencia del usuario y el rendimiento general del sistema.
Si bien el artículo confirma los componentes arquitectónicos y sus beneficios, no se divulgaron detalles específicos de aplicación. Por ejemplo, las tecnologías exactas utilizadas para las capas de caché global (por ejemplo, Redis, Memcached, o una solución personalizada), los mecanismos específicos para el aislamiento de la carga de trabajo dentro de la arquitectura multi-tenant (por ejemplo, containerization, máquinas virtuales o partición lógica), o el diseño de esquema detallado dentro de Azure Cosmos DB no fueron proporcionados. Análogamente, no se detallaron los modelos específicos de consistencia empleados para Cosmos DB, que pueden afectar el rendimiento y el intercambio de datos. Estos detalles ofrecen una visión más profunda de las opciones de ingeniería tomadas.