Blog of George Lin

Thinking will not overcome fear but action will.
You Are the No. Visitor!

DySHARP Dynamic In-Switch Computing

DySHARP Dynamic In-Switch Computing

引言：两台交换机的距离 想象一个场景：你坐在 GPU 0 上，手里握着一个 token。路由网络告诉你，这个 token 需要专家 2 和专家 3 来处理。专家 2 在 GPU 2 上，专家 3 在 GPU 3 上。在标准的 MoE dispatch 流程中，你要把这个 token 的 hidden state 原封不动地发送两次——一次从 GPU 0 到 GPU 2，一次从 GPU 0 ...

Posted by George Lin on June 21, 2026

SHARP In-Network Computing

SHARP In-Network Computing

引言：当交换机学会了”算数” 2021 年 6 月，英伟达在 MLPerf 训练基准测试的 BERT 榜单上提交了一个看似微妙的数据：用了某个”网络优化”的版本，BERT 训练吞吐比不用的情况高了 17%。在 MLPerf 的顶尖玩家圈里，1-2% 的分数差距就足以决定一场竞赛的输赢，17% 看起来像是换了一代 GPU。 但实际的硬件配置完全一样。相同的 HDR InfiniBand 交...

Posted by George Lin on June 21, 2026

NVSwitch Architecture and NVL72

NVSwitch Architecture and NVL72

引言：走进 GTC 2024，站在 120kW 的机柜面前 GTC 2024 的展台上放着一个机柜。 ServeTheHome 的主编 Patrick Kennedy 在现场拍了几张照片。这个机柜从上到下排布着 10 个计算节点，接着是 9 层 NVSwitch 交换盘，底部还有 8 个计算节点。前面板的每个计算节点露出两对 InfiniBand 端口、四个 E1.S 硬盘托架、以及一排...

Posted by George Lin on June 21, 2026

NVLink Generational Evolution

NVLink Generational Evolution

引言：一根 400 GB/s 的绳子绑着一头 989 TFLOPS 的猛兽 2023 年底，DeepSeek 团队在做一件让所有系统工程师血压升高的事：用 H800 GPU 训练一个 671B 参数的 MoE 模型。 H800 是一张”绑着绳子”的卡。它的单卡 FP8 算力是 989 TFLOPS——和 H100 一模一样。但它的 NVLink 带宽被美国商务部产业安全局（BIS）的出口...

Posted by George Lin on June 21, 2026

GPU NoC Physical Foundation

GPU NoC Physical Foundation

引言：170 个周期的延迟差意味着什么？ 在 MoE 训练中，我们通常把通信的焦点放在 GPU 之间——NVLink 够不够快、InfiniBand 有没有阻塞、All-to-All 要不要走 NVSwitch。但在这一切发生之前，token 的 hidden state 必须先在本 GPU 内部从计算核心（SM）走到高速缓存（L2），再从 L2 走到片外 HBM 的发送缓冲区。这一段路程...

Posted by George Lin on June 21, 2026

MoE Communication Full Stack

MoE Communication Full Stack

引言：一张 GPU 的算力账单 2024 年末，DeepSeek 以 671B 参数、37B 激活的 DeepSeek-V3 引爆了开源社区。这个模型在 2048 块 H800 GPU 上训练了 14.8 万亿 token，总成本仅 278.8 万 GPU 小时——约合 557.6 万美元。与之对比，Llama 3 的 405B Dense 模型训练成本是多少？Meta 没有公布具体数字，...

Posted by George Lin on June 21, 2026

CHI Transaction Flows

CHI Transaction Flows

主要参考ISSUE.G 第五章：Interconnect Protocol Flows CHI典型读事务流程 带DMT但不带Snoop的Read Transaction 带DMT且带Snoop的Read Transaction 此场景中假设RN-F1中不含有RN-F0需要的数据。一般来说，需要compAck，是为了确保一致性。 带DCT的Read Transaction ...

Posted by George Lin on January 20, 2026

Booksim2网络原理

Booksim2网络原理

NoC网络原理类问题（以Booksim2.0为例） 基础概念（Q2.1-Q2.6） Q2.1 什么是Flit？Flit和Packet的区别是什么？为什么NoC要使用Flit作为传输单位？ 答案： Flit（Flow Control Unit）定义： Flit是NoC中流控的基本单位，是网络传输的最小数据单元。在BookSim2.0中，Flit的定义如下： // src/fli...

Posted by George Lin on January 19, 2026

Booksim2架构设计

Booksim2架构设计

NoC架构设计类问题（以Booksim2.0为例） 基础架构理解（Q1.1-Q1.7） Q1.1 请描述BookSim2.0的整体架构层次，并说明各层之间的依赖关系。TrafficManager、Network、Router、Buffer这些组件是如何协作的？ 答案： BookSim2.0采用分层模块化架构，层次关系如下： TrafficManager (顶层控制) ↓...

Posted by George Lin on January 19, 2026

CHI-02-事务类型

欲速则不达，心淡则事圆

CHI事务类型 CHI事务类型繁多，可分为Read、Write、Dataless、Combined Write、Atomic、Other六类。其中，combined write事务是把write事务和缓存一致性的维护操作（CMO）合二为一，暂按下不表。 读事务（Read Transactions） 一句话搞清楚CHI不同读事务的语义 CHI 协议中复杂的读事务可以用以下的比喻快速理解...

Posted by George Lin on January 5, 2026

FEATURED TAGS
Synthesis cmodel Interconnect AMBA SoC Language blog NoC moe
ABOUT ME

物格而后知至，知至而后意诚

✉️ xuandalin@163.com