Zoho adopta la IA de NVIDIA para mejorar sus LLMs

Zoho Corporation ha revelado que utilizará la plataforma de computación acelerada por IA de NVIDIA, que incluye NVIDIA NeMo, parte del software NVIDIA AI Enterprise, para desarrollar e implementar sus modelos de lenguaje grande (LLMs) en sus aplicaciones SaaS. Estos LLMs estarán disponibles para los más de 700,000 clientes de Zoho a nivel mundial a través de ManageEngine y Zoho.com.

En el último año, Zoho ha invertido más de 10 millones de dólares en tecnología de IA y GPU de NVIDIA, y planea invertir otros 10 millones el próximo año. Este anuncio se realizó durante el evento NVIDIA AI Summit en Bombay.

«Muchos LLMs actualmente en el mercado están diseñados para uso del consumidor, ofreciendo un valor reducido para las empresas. En Zoho, nuestra misión es desarrollar LLMs adaptados específicamente para una amplia gama de casos de uso empresarial. Ser propietarios de toda nuestra tecnología, con productos que abarcan varias funciones de negocio, nos permite integrar el componente esencial que hace que la IA sea realmente efectiva: el contexto», dice Ramprakash Ramamoorthy, Director de AI de Zoho Corporation.

Zoho Corporation utilizará NVIDIA NeMo

Zoho ha estado desarrollando su propia tecnología de IA durante más de una década, integrándola contextualmente en su amplia gama de más de 100 productos en las divisiones ManageEngine y Zoho. Su enfoque en la IA es multimodal, orientado a obtener inteligencia contextual que ayude a los usuarios a tomar decisiones de negocio.

Gracias a esta colaboración, Zoho impulsará sus LLMs en la plataforma de computación acelerada de NVIDIA con GPUs NVIDIA Hopper, utilizando la plataforma integral NVIDIA NeMo para desarrollar IA generativa personalizada, lo que incluye LLMs, IA multimodal, de visión y del habla

La empresa está creando modelos lingüísticos pequeños y medianos, diferentes de los LLMs, ofreciendo opciones para utilizar modelos de distintos tamaños para proporcionar mejores resultados en una variedad de casos de uso. Esto permite que incluso las empresas con menos datos puedan beneficiarse de la IA. La privacidad es un principio fundamental en la estrategia de IA de Zoho, por lo que sus LLMs no aprenderán con los datos de los clientes.

Vishal Dhupar, director general de NVIDIA para el sur de Asia, afirmó que la capacidad de elegir entre una gama de tamaños de modelos de IA permite a las empresas adaptar sus soluciones de IA a sus necesidades específicas, equilibrando el rendimiento con la rentabilidad. Con el software de IA y la plataforma de computación acelerada de NVIDIA, Zoho está construyendo una amplia gama de modelos para satisfacer las diversas necesidades de sus clientes empresariales.

Creación de Large Language Models (LLMs)

Gracias a esta colaboración, Zoho impulsará sus LLMs en la plataforma de computación acelerada de NVIDIA con GPUs NVIDIA Hopper, utilizando la plataforma integral NVIDIA NeMo para desarrollar IA generativa personalizada, incluyendo LLMs, IA multimodal, de visión y del habla.

Además, Zoho está probando NVIDIA TensorRT-LLM para optimizar sus LLMs para su implementación, y ya ha observado un aumento del 60% en el rendimiento y una reducción del 35% en la latencia en comparación con el framework de código abierto utilizado anteriormente. La compañía también está mejorando otras tareas, como la conversión de voz a texto, utilizando la infraestructura de computación acelerada de NVIDIA.