Hola,

Sí que debería funcionar como dicen en varios foros de Internet, lo que pasa es que dudo que aquí otros usuarios tengan mucho conocimiento de las configuraciones de estos softwares.

https://www.reddit.com/r/ROCm/comments/1gyt908/can_i_use_radeon_780m_igpu_on_pytorch_i_have/

E incluso se ha benchmarkeado con esta CPU/NPU:

https://openbenchmarking.org/test/pts/pytorch&eval=d0adcab531e05f3db8c970385d100006ac333e7f

No obstante, las NPU de los portátiles están pensadas para uso común o end-user, no generativo o de aprendizaje para la IA. Pero igualmente, cualquier avance que hagas, puede ser un aporte útil para otros usuarios.

Un saludo,

Totalmente interesado. Justamente me compre este modelo con NPU para ejecutar modelos IA en local, (si no, para que quieres una NPU?) y despues de 6 meses me sigo dando de bruces contra la pared. Me he encontrado un monton de incompatibilidades. Entiendo que para correr modelos libres como Stable Diffusion se usa pyTorch, para que pyTorch se acelere en AMD tienes que instalar ROCm. La web oficial de rocm (de amd), te sugiere instalar un paquete que añade un repositorio de paquetes y un instalador. La ultima ubuntu que menciona en la documentacion es 24.04 y tengo la 25.04. Aún asi puedo instalarlo todo pero cuando ejecuto me dice que mi dispositivo no tiene soporte para las funciones que usa pytorch. En fin, que si alguien lo logra que diga algo, porque yo, por hoy, me rendi.

https://rocm.docs.amd.com/projects/radeon/en/latest/docs/install/native_linux/install-radeon.html

For consumer hardware, training of LLMs or even other kinds of "AI", is not reasonable. The intensity of the tasks normally require too many inference nodes. And when you need more than one node, you need networking that is able to send/receive data at ultra fast speeds. We are talking here about 4 network cards per node with 400GB transfer rate each. The hardware as a whole is in the range of 200k per node.

For using LLMs or other lower level "AI" workloads, especially for the smaller LLM models (or for testing locally your data science workloads before investing in hardware), a local computer will be "enough", however, it will not be FAST.

If you try something like Ollama (ollama . com), their script will handle the download of both the adequate GPU layers and the handling of the models.

That is what I use for now for local testing of LLM workloads (albeit I use the meta llama 3.2 smaller model only). And even that is slow, but usable.

The advantage of using a script like that is due to the different cuda / rocm / etc variants that are needed for it to use the local GPUs, which vary wildly depending on the GPU generation (older cards are harder to setup, for instance).