Tech Espacio Última hora Tecnología, Juegos, Software, Inteligencia Artificial y más
NVIDIA está mostrando cifras impresionantes para sus GPU GeForce RTX 40, incluido el modelo insignia RTX 4090 en modelos de IA como Llama y Mistral.
Las GPU NVIDIA GeForce RTX 40 superan a las CPU y NPU de portátiles en las nuevas pruebas de IA Llama y Mistral
La aceleración TensorRT-LLM de NVIDIA para Windows ofrece importantes mejoras de rendimiento en la plataforma de PC con Windows. Las nuevas funciones agregadas al conjunto de funciones para PC RTX AI de NVIDIA y la GPU GeForce RTX 4090 insignia de la compañía mejoran aún más las cosas, mostrando grandes cifras de rendimiento.
En una nueva publicación de blog AI-Decoded, NVIDIA compartió que su línea actual de GPU supera todo el ecosistema de NPU al alcanzar hasta 50 TOPS en 2024. Las GPU RTX AI de NVIDIA, por otro lado, tienen unos 100 TOPS y pueden llegar hasta 1321 TOPS con la GeForce RTX 4090, lo que la convierte en la solución de IA de escritorio más rápida para ejecutar LLM y más. También es la tarjeta gráfica para juegos más rápida del mundo.
Las GPU GeForce RTX de NVIDIA ofrecen hasta 24 GB de VRAM, mientras que las GPU NVIDIA RTX ofrecen hasta 48 GB de VRAM, lo que las hace bastante potentes cuando se trata de manejar LLM (modelos de lenguaje grande), ya que estas cargas de trabajo requieren grandes cantidades de memoria de video. El hardware RTX de NVIDIA viene con memoria de video dedicada, así como aceleración personalizada de IA a través de Tensor Cores (hardware) y el TensorRT-LLM (software) antes mencionado.
NVIDIA ha compartido algunos puntos de referencia nuevos utilizando la plataforma de código abierto Jan.ai en la que recientemente integró TensorRT-LLM. Este chatbot ofrece una solución fácil de usar que puede aprovechar modelos de inteligencia artificial como Llama o Mistral. Jan.ai ahora ha echado un vistazo a algunos puntos de referencia entre las GPU GeForce RTX 40 de NVIDIA y las CPU de portátiles con NPU de IA dedicadas.
NVIDIA GeForce RTX 4090 ofrece una mejora de 8,7 veces con respecto a la CPU AMD Ryzen 9 8945HS sin TensorRT-LLM, y esta diferencia aumenta a 15 veces cuando se utiliza el impulso (aumento del 70 % con respecto a la configuración sin TensorRT-LLM).
Puede procesar hasta 11,57 tokens/seg con CPU AMD. Incluso con la GPU para computadora portátil NVIDIA GeForce RTX 4070, puede lograr una aceleración de hasta 4,45 veces. También compartieron cifras usando un RTX 4090 en una configuración de eGPU para mostrar que es posible acelerar aún más el rendimiento de las computadoras portátiles mediante el uso de una GPU externa para cargas de trabajo de IA. Esta configuración proporciona un rendimiento un 907% mayor que la misma CPU de computadora portátil AMD.
NVIDIA reveló recientemente el estado actual de la potencia informática de la IA, mostrando cómo sus CPU de escritorio GeForce RTX 40 escalan desde 242 TOPS en el nivel básico hasta 1321 TOPS en el extremo superior. Eso es un aumento de 4,84 veces en el extremo inferior y un aumento de 26,42 veces en el extremo superior en comparación con las últimas NPU con IA de 45-50 TOPS que veremos en los SOC en 2024.
- RTX 4070 Ti SUPER (escritorio)
- AMD Strix (NPU – Esperado)
- Intel Lunar Lake (NPU – Esperado)
Incluso las opciones NVIDIA GeForce RTX 40 para portátiles como la RTX 4050 comienzan en 194 TOPS, un aumento de 3,88 veces con respecto a la NPU más rápida. El chip para computadora portátil RTX 4090 proporciona una aceleración de 13,72 veces con 686 TOPS. NVIDIA ha demostrado un liderazgo significativo en el segmento de inteligencia artificial en comparación con sus competidores, y estas comparaciones enfatizan una vez más que NVIDIA ofrece el hardware adecuado para aplicaciones de inteligencia artificial.
Fuente: wccftech.com
