#gpu

Looking at the concept of using a second cheap #GPU (like a 1030) to run a #VirtualReality compositor, and nothing else, to free up the main GPU to just run the #VR application / #VideoGame itself. The idea seems sound, as it's just offloading a heavy process, but I wonder about the latency issues of sending the frames back to another GPU...

Has anyone tried this? What do y'all think?

#ComputerHardware

#Qualcomm fixes three #Adreno #GPU zero-days exploited in attacks

https://www.bleepingcomputer.com/news/security/qualcomm-fixes-three-adreno-gpu-zero-days-exploited-in-attacks/

#cybersecurity

https://www.europesays.com/de/159323/ 8 GB sind 2025 nicht mehr zeitgemäß: Die GeForce RTX 5060 im Test #Community #Computer #Deutschland #Forum #Germany #GPU #Grafikkarte #Handy #Hardware #Hilfe #Laptop #News #Notebook #Preisvergleich #Produkttest #Review #Science #Science&Technology #Smartphone #Support #Tablet #Technik #Technology #Test #Ultrabook #Vergleich #Wissenschaft #Wissenschaft&Technik

DeepSeek 的規模效應：為何大規模部署便宜，本地運行昂貴？
➤ LLM 推論的效能與成本解密
✤ https://www.seangoedecke.com/inference-batching-and-deepseek/
本文深入探討了 DeepSeek-V3 等大型語言模型（LLM）在規模部署和本地運行之間存在的效能與成本差異。作者解釋了模型推論中批次大小（batch size）對吞吐量和延遲的影響，以及 GPU 在處理大型矩陣乘法方面的優勢。文章詳細闡述了混合專家（Mixture of Experts）模型和大型管道結構如何需要更大的批次大小以達到最佳效能，並分析了暖機（warmup）、排空（drain）和管道氣泡（pipeline bubble）等概念對模型吞吐量的影響。總體而言，大規模部署利用批次處理提升效率，降低成本，而本地運行則受限於硬體條件和效率瓶頸。
+ 這篇文章解釋了大型語言模型背後的技術細節，讓人更瞭解為什麼雲端服務如此重要，以及本地部署的限制。
+ 我一直很好奇為什麼有些 AI 回應速度慢但之後變快了，這
#人工智慧 #模型推論 #GPU #效能優化

"China's ambitious drive toward semiconductor independence may have just reached a new milestone. A Shenzhen-based startup, Lisuan Technology, has officially powered on its first homegrown 6nm graphics card, the G100. While full specs are still under wraps, the company claims this chip aims to deliver performance on par with Nvidia's RTX 4060."

China's first 6nm GPU boots up, targets performance parity with RTX 4060
https://www.techspot.com/news/108122-china-first-6nm-gpu-boots-up-targets-performance.html

#TechSpot #GPU #LisuanTechnology #Shenzhen

https://www.europesays.com/de/155695/ RTX 5090: Manipulierte Boxen im Umlauf #Betrug #Blackwell #Deutschland #Germany #GPU #Grafikkarte #Hardware #Lieferkette #Nvidia #Scam #Science #Science&Technology #Technik #Technology #Wissenschaft #Wissenschaft&Technik #Zotac

It'd be cool to have a "quick-deploy" #http #server that served up the current status of the machine. I'm thinking of like when you rent a #GPU server or something, you just quick #apt install this app and it installs a service that is a mini-http server and it serves a single page showing system stats that auto update.

Is this making sense?

When those who are supposedly profiteering the most from #AI #Storage needs are warning about the extreme over-demand for that #bubble, you know shit's going bad.

So like with #Shitcoins (i.e. #FileCoin) before, now you have #AiBros and other antisocial assholes going to #scalper #HDD|s, #SSD|s & #GPU|s at the expense of average businesses and espechally #consumers!

Happy #Greedflation everyone, enjoy your #AIslop!

https://www.youtube.com/watch?v=0inAOVCI1K8&t=735

#sarcasm #rant #Enshittification #tech #Computex

What are y’all running in your terminal that you need it to be GPU-accelerated?

#linux #terminal #gpu

Finally, someone may have emerged who could free us from NVIDIA's monopoly yoke. A new #GPU theoretically comparable to the #NVIDIA RTX 4060 is the latest product from #Lisuan Technology, the G100 #graphics card.
https://www.tomshardware.com/pc-components/gpus/chinas-first-6nm-domestic-gpu-with-purported-rtx-4060-like-performance-has-powered-on

I've just reviewed a manuscript about the recent progresses made to introduce #GPU support in a classic, large #CFD code with existing good support for massive simulations on traditional #HPC settings (CPU clusters).

I'm always fascinated by the stark difference between the kind of work that goes into this process, and what went into the *reverse* process that we followed for #GPUSPH, which was developed for GPU from the start, and was only ported to CPU recently, through the approach described in this paper I'm sure I've already mentioned here:

https://doi.org/10.1002/cpe.8313

When I get to review this kind of articles, I always feel the urge to start a dialogue with the authors about these differences, but that's not really my role as the reviewer, so I have to hold back and limit my comments to what's required for my role.

So I guess you get to read about the stuff I couldn't write in my reviewer comments.

1/n

Шпаргалка по установке драйверов NVIDIA на ML сервер

Данный материал предназначен для быстрой и последовательной установки драйверов NVIDIA, в том числе для видеокарт 50xx серии, а также настройки NVIDIA Container Toolkit. Эта инструкция актуальна для Linux-систем на базе Ubuntu и других Debian-совместимых дистрибутивов.

https://habr.com/ru/articles/913988/

#nvidia #docker #ubuntu #драйвер #установка #gpu #cuda #nvidiasmi #container #linux

NVIDIA releases Linux Display Driver 575.57 with improved stability for OpenGL, Vulkan, and PRIME setups.
https://linuxiac.com/nvidia-releases-linux-display-driver-v575/

#nvidia #gpu #linux

От GeForce 256 до RTX PRO 6000, или Куда добежали профессиональные GPU к 2025 году

Если в 1999-м вы апгрейдили ПК до GeForce 256 ради Quake III, вы инвестировали в будущее ИИ. Тогда никто не верил, что игровая карта с 32 МБ памяти станет прародителем ChatGPT. А сегодня ее «потомки» обучают нейросети, рендерят реалистичные миры и управляют суперкомпьютерами. Рассказываем, как NVIDIA за 25 лет увеличила производительность GPU в тысячи раз и превратила их в главный инструмент для машинного обучения, моделирования сложных процессов и анализа больших данных.

https://habr.com/ru/companies/mclouds/articles/913646/

#графические_процессоры #gpu #nvidia #geforce #geforce_rtx #hopper_gpu #ada_lovelace #blackwell #железо #сервер

streamer nerd GPU question:

how strong of a #GPU would I need for a second-gpu-for-streaming setup? I think it might be the only way I get proper performance from OBS GPU encoding with Twitch's enhanced broadcasting.

#streaming #PCbuild #streamer #vtuber #pngtuber #question

看看吧，沒有氣泡了！為 Llama-1B 設計低延遲巨核心
➤ 透過巨核心架構，大幅提升大型語言模型的效能與反應速度。
✤ https://hazyresearch.stanford.edu/blog/2025-05-27-no-bubbles
Hazy Research 團隊深入研究了在現代 GPU 上執行開源大型語言模型（LLM）的速度極限。他們發現，現有的 LLM 推理引擎（如 vLLM 和 SGLang）在執行 Llama-1B 時，僅能利用 GPU 頻寬的 50%。問題根源在於現有系統將模型前向傳播分解為數百個獨立的核心，導致頻繁的啟動和拆卸延遲，並阻礙了模型權重的持續加載。為了克服這一問題，研究團隊設計了一個「巨核心」（megakernel），將整個 Llama-1B 的前向傳播合併為單一核心，消除了核心邊界。結果顯示，該巨核心在 H100 上使用了 78% 的記憶體頻寬，效能提升了 1.5 倍以上，實現了目前已知的 Llama-1B 在 bfloat16 格式下的最低延遲前向傳播。
+ 這篇文章深入探討了 LLM 推理
#人工智慧 #深度學習 #GPU #效能優化

在 WebGL 中運行 GPT-2：重拾 GPU Shader 程式設計的失落藝術
➤ 利用著色器在 WebGL 中實現高效的深度學習
✤ https://nathan.rs/posts/gpu-shader-programming/
本文探討了作者使用 WebGL 和著色器 (shaders) 實現 GPT-2 模型的過程，並回顧了 GPU 程式設計的發展歷程。從早期的可程式化著色器到 CUDA 和 OpenCL 的出現，再到利用紋理和緩衝區 (framebuffers) 作為資料匯流排，以及將片段著色器 (fragment shaders) 轉化為計算核心，作者詳細闡述瞭如何在 GPU 上進行通用計算，並克服了傳統圖形 API 的限制。最終，作者成功地在 GPU 上運行了 GPT-2 模型，展示了 WebGL 在深度學習領域的潛力。
+ 這篇文章深入淺出地解釋了 GPU 程式設計的核心概念，對於想了解深度學習加速的人來說，非常有價值。
+ 令人驚訝的是，WebGL 竟然也能實現如此複雜的深度學習模型，作者的技術能力
#GPU 程式設計 #WebGL #深度學習 #GPT-2

Эффективное использование GPU в Kubernetes: Настройка и использование Volcano Scheduler + Volcano vGPU Device Plugin

В этой статье я расскажу, как можно разделить GPU на vGPU в кластере Kubernetes с поддержкой жесткой изоляции, используя Volcano и Volcano vGPU Device Plugin.

https://habr.com/ru/articles/913374/

#kubernetes #nvidia_gpu #helm #vgpu #linux #видеокарты #gpu #nvidia

Как приручить Горыныча: русская high availability с тремя головами

В одном царстве, в одном хостинг-государстве жил-был сказочный Змей Горыныч. Он был трёхголовым, распределённым и главное отказоустойчивым. Конечно, иногда из-за синхронизации подлагивал, но в целом был зверем, которых на свете мало… Охранял он, как и положено, всякие ценности. То жар-птицу (high-value asset), то царевну (уникальный бизнес-процесс), а иногда просто всё по периметру выжигал огнём, чтобы в прод лишний никто не сунулся. Он не был злодеем, просто его так собрали по SLA: доступность — 99,99%, задержка — в пределах 200 мс, а восстановление — автоматическое. Богатыря Горыныч не боялся, потому что он для него не герой, а unplanned human intervention — угроза стабильности. Давайте разберёмся, что за монстр этот Змей.

https://habr.com/ru/companies/ruvds/articles/912266/

#ruvds_статьи #хостинг #серверы #облака #web2 #сайт #интернет #виртуализация #GPU #трафик #вычисления #веб #SaaS #IT

@ngate

Makes sense. Why go to the trouble of developing two #GPU drivers, one for #Linux and one for #Windows, when you can just port the perfectly serviceable (and community maintained) Linux driver to Windows?

This isn't the only example. I seem to recall being told that the Windows #IntelArc driver is also a port of the Linux driver.