Unidades de procesamiento gráfico (GPU)

Procesadores concebidos para renderizar gráficos que resultaron ser ideales para el álgebra matricial masivamente paralela del aprendizaje profundo. Hoy son el hardware sobre el que se entrenan y se ejecutan los modelos, y por tanto el componente que marca buena parte de su coste.

En el curso

Módulo 1 — encabezan el primero de los tres impulsores del coste, "el equipo": los modelos corren en servidores con GPU, alquilarlos en la nube (AWS, Azure) o montar infraestructura propia es caro, y algunas empresas gastan millones solo en desplegar o ajustar un modelo grande. Reaparecen en el tercer impulsor, la energía: las agrupaciones de GPU dentro de centros de datos consumen enormes cantidades de electricidad, hasta el punto de que las grandes compañías exploran la energía nuclear.

Módulo 3 — entran en la gestión del desempeño de un despliegue: los paneles rastrean latencia de inferencia, tasas de error y carga, y si un punto de enlace en la nube se degrada, una alerta puede redirigir la carga a una GPU en espera o conmutar a un modelo de respaldo.

Relacionado

Centros de datos · Caching · Preentrenamiento · Ajuste fino · Interfaz de programación de aplicaciones (API)