PagedAttention การถอดรหัสแบบคาดเดา MoE และ Blackwell

การนำ AI ไปใช้งานสมัยใหม่อาศัยเอนจินให้บริการที่ใช้หน่วยความจำเสมือน การกำหนดเส้นทางไปยังผู้เชี่ยวชาญแบบเบาบาง และความแม่นยำของฮาร์ดแวร์ระดับต่ำกว่าหนึ่งไบต์ เพื่อให้บริการโมเดลขนาดมหาศาลด้วยความเร็วสูงและต้นทุนต่ำ เทคโนโลยีทั้งสามนี้เป็นแนวหน้าของโครงสร้างพื้นฐาน LLM ในระบบใช้งานจริง
1. การเพิ่มประสิทธิภาพการให้บริการอนุมาน LLM: PagedAttention & การถอดรหัสแบบคาดเดา
ระหว่างสร้างข้อความ LLM จะเก็บเทนเซอร์ Key (K) และ Value (V) ของโทเคนก่อนหน้าทุกตัวไว้ในแคชบน VRAM เพื่อไม่ต้องคำนวณใหม่ทุกขั้น การจัดการ KV Cache นี้และการเอาชนะคอขวดแบบลำดับของการสร้างทีละโทเคนเป็นสองความท้าทายใหญ่ที่สุดของการให้บริการอนุมาน
- PagedAttention (vLLM) - หน่วยความจำเสมือนสำหรับ KV Cache
- ปัญหาการกระจัดกระจาย ในอดีต เอนจินอนุมานจะจัดสรรพื้นที่ VRAM ที่ต่อเนื่องกันล่วงหน้าสำหรับแต่ละคำขอ โดยอิงความยาวลำดับสูงสุดที่โมเดลรองรับได้ (เช่น 32,768 โทเคน) หากผู้ใช้สร้างเพียง 200 โทเคน พื้นที่ VRAM ที่จองไว้นั้นกว่า 99% จะว่าง ทำให้หน่วยความจำ GPU สูญเปล่า 60% ถึง 80% จากการกระจัดกระจายภายในและภายนอก
- การแบ่งเพจแบบระบบปฏิบัติการ PagedAttention ได้แรงบันดาลใจจากหน่วยความจำเสมือนของระบบปฏิบัติการ โดยแบ่ง KV cache ของแต่ละลำดับเป็นบล็อกขนาดเล็กคงที่ (เช่น บล็อกละ 16 โทเคน) ซึ่งวางแบบไม่ต่อเนื่องกันที่ใดก็ได้ใน VRAM จริง ตารางบล็อกขนาดเบาจับคู่บล็อกโทเคนเชิงตรรกะกับที่อยู่หน่วยความจำ GPU จริงขณะทำงานภายในเคอร์เนล attention
- การใช้หน่วยความจำร่วมกัน (Copy-on-Write) เนื่องจากบล็อกแยกจากกัน คำขอหลายรายการที่ใช้ system prompt เดียวกันหรือสร้างคำตอบแบบขนาน (เช่น beam search) จึงชี้ไปยังบล็อก KV จริงชุดเดียวกันใน VRAM ได้ ลดการใช้หน่วยความจำลงอย่างมากและทำให้ใช้แบตช์ขนาดใหญ่ขึ้นมากได้
- การถอดรหัสแบบคาดเดา - ทลายคอขวดแบบลำดับ
- เหตุใดการสร้างแบบออโตรีเกรสซีฟจึงช้า การสร้าง 100 โทเคนต้องผ่านการส่งต่อไปข้างหน้าแบบเรียงลำดับ 100 ครั้ง เนื่องจากแต่ละครั้งประมวลผลโทเคนใหม่เพียงตัวเดียว GPU จึงใช้เวลาส่วนใหญ่อ่านน้ำหนักโมเดลจาก VRAM ขณะที่ Tensor Cores แทบว่างงาน
- ไปป์ไลน์ร่างแล้วตรวจสอบ การถอดรหัสแบบคาดเดาจับคู่โมเดลเป้าหมายขนาดมหึมา (เช่น พารามิเตอร์ 70B ตัว) กับโมเดลร่างขนาดเล็กมากที่รวดเร็วเป็นพิเศษ (เช่น พารามิเตอร์ 1B–3B ตัว หรือหัวทำนายขนาดเบา เช่น Medusa / EAGLE)
- การตรวจสอบแบบขนาน โมเดลร่างขนาดเล็กเดา K โทเคนถัดไป (เช่น 5 โทเคน) อย่างรวดเร็วตามลำดับ จากนั้นโมเดลเป้าหมายขนาดมหึมาประมวลผลโทเคนที่เดาทั้ง 5 ตัวพร้อมกันในการส่งต่อไปข้างหน้าแบบขนานเพียงครั้งเดียว เพื่อตรวจสอบความน่าจะเป็น เนื่องจากการตรวจสอบ 5 โทเคนแบบขนานใช้เวลาแทบเท่ากับการสร้าง 1 โทเคน ระบบจึงยอมรับโทเคนที่ตรงกันทั้งหมดในคราวเดียว ทำให้สร้างได้เร็วขึ้น 2× ถึง 3× โดยคุณภาพเอาต์พุตเหมือนเดิมในเชิงคณิตศาสตร์
2. Mixture-of-Experts (MoE) & การประมวลผลผู้เชี่ยวชาญแบบขนาน
โมเดลหนาแน่นเปิดใช้พารามิเตอร์ 100% สำหรับทุกโทเคน ทำให้โมเดลขนาดมหาศาลมีค่าใช้งานสูงจนยากจะรับไหว สถาปัตยกรรม Mixture-of-Experts (MoE) แยกความรู้รวมของโมเดลออกจากต้นทุนคำนวณต่อโทเคน
- เลเยอร์ MoE ทำงานอย่างไร (Mixtral & DeepSeek)
- ในบล็อก MoE Transformer เครือข่ายฟีดฟอร์เวิร์ด (FFN) แบบหนาแน่นเพียงชุดเดียวจะถูกแทนด้วยกลุ่ม FFN อิสระที่เล็กกว่า เรียกว่าผู้เชี่ยวชาญ (เช่น ผู้เชี่ยวชาญ 8 ตัวใน Mixtral 8x7B หรือผู้เชี่ยวชาญแบบละเอียด 256 ตัวใน DeepSeek-V3)
- เราเตอร์ขนาดเบาที่ผ่านการเรียนรู้ (Gating Network) ตรวจสอบโทเคนขาเข้าแต่ละตัว แล้วส่งไปยังผู้เชี่ยวชาญ top-K ที่เกี่ยวข้องที่สุดเท่านั้น (โดยทั่วไป 2 ถึง 8 ตัว) โมเดลอาจเก็บพารามิเตอร์รวมมากกว่า 600B ตัวในหน่วยความจำ แต่เปิดใช้เพียง 37B ตัวต่อโทเคน จึงได้ความสามารถของโมเดลขนาดมหึมาด้วยต้นทุนคำนวณเพียงส่วนเล็กน้อย
- ผู้เชี่ยวชาญร่วม & การปรับสมดุลโดยไม่ใช้ auxiliary loss การออกแบบ MoE สมัยใหม่ เช่น DeepSeek กำหนดผู้เชี่ยวชาญร่วมไม่กี่ตัวให้ประมวลผลทุกโทเคนเพื่อเก็บความรู้พื้นฐานร่วมกัน ส่วนผู้เชี่ยวชาญที่รับการกำหนดเส้นทางจะเชี่ยวชาญด้านเฉพาะ การปรับค่าไบแอสแบบไดนามิกป้องกัน "การล่มของการกำหนดเส้นทาง" (เมื่อเราเตอร์ส่งงานมากเกินไปให้ผู้เชี่ยวชาญยอดนิยมเพียงไม่กี่ตัวและละเลยตัวอื่น)
- การประมวลผลผู้เชี่ยวชาญแบบขนาน (EP) บน GPU หลายตัว
- เนื่องจากโมเดล MoE มีผู้เชี่ยวชาญหลายร้อยตัว จึงใส่ทั้งหมดใน GPU เดียวไม่ได้ การประมวลผลผู้เชี่ยวชาญแบบขนานกระจายผู้เชี่ยวชาญต่างตัวไปยัง GPU ต่างตัว (เช่น ผู้เชี่ยวชาญ 1–4 บน GPU 0 และผู้เชี่ยวชาญ 5–8 บน GPU 1)
- การสื่อสาร All-to-All เมื่อ GPU 0 ประมวลผลโทเคนหนึ่งแบตช์ เราเตอร์ของมันอาจมอบหมายโทเคนบางตัวให้ผู้เชี่ยวชาญที่อยู่บน GPU 3 ดังนั้นทุกเลเยอร์ MoE จึงส่งงานแบบ All-to-All โดยส่งสถานะซ่อนของโทเคนผ่านการเชื่อมต่อ NVLink/InfiniBand ความเร็วสูงไปยัง GPU ที่มีผู้เชี่ยวชาญซึ่งได้รับมอบหมาย คำนวณ FFN ของผู้เชี่ยวชาญ แล้วทำขั้นรวมผลแบบ All-to-All ครั้งที่สองเพื่อส่งผลลัพธ์กลับ
3. NVIDIA Blackwell (B200) & Transformer Engine รุ่นที่สอง (FP4)
สถาปัตยกรรม NVIDIA Blackwell (B200) เปิดตัวเพื่อขยายขนาดโมเดลการให้เหตุผลและ MoE ที่มีพารามิเตอร์ระดับล้านล้าน โดยออกแบบทั้งการบรรจุหลายไดและความแม่นยำเชิงตัวเลขระดับต่ำกว่าหนึ่งไบต์ใหม่
- สถาปัตยกรรมรวมเป็นหนึ่งแบบสองได
- GPU B200 หนึ่งตัวบรรจุทรานซิสเตอร์ 208,000 ล้านตัวบนสองไดที่ถูกจำกัดขนาดด้วยเรติเคิล ซึ่งเชื่อมรวมกันด้วย NV-HBI (High-Bandwidth Interface) ความเร็ว 10 TB/s สำหรับเคอร์เนล CUDA และเฟรมเวิร์กซอฟต์แวร์ ไดทั้งสองทำงานเป็น GPU ที่รวมเป็นหนึ่งตัวเดียวโดยไม่มีผลเสียด้านความสอดคล้องของแคชเลย
- แบนด์วิดท์หน่วยความจำ HBM3e Blackwell ติดตั้ง VRAM HBM3e ขนาด 192 GB ที่ให้แบนด์วิดท์หน่วยความจำ 8 TB/s (มากกว่าสองเท่าของ H100 ที่ 3.35 TB/s) เพื่อมุ่งแก้คอขวดแบนด์วิดท์หน่วยความจำของ KV cache และการโหลดน้ำหนัก MoE โดยตรง
- Transformer Engine รุ่นที่สอง & NVFP4
- ขณะที่ Hopper เปิดตัวเลขทศนิยมลอยตัว 8 บิต (FP8) Transformer Engine รุ่นที่สองของ Blackwell ลดการคำนวณ Tensor Core ลงเป็นเลขทศนิยมลอยตัว 4 บิต (FP4) ทำให้ปริมาณงานคำนวณดิบเพิ่มอีกสองเท่า (การคำนวณ FP4 แบบหนาแน่นสูงสุด 20 petaFLOPS ต่อ GPU) และลดพื้นที่หน่วยความจำลงครึ่งหนึ่งเมื่อเทียบกับ FP8
- แก้ช่วงไดนามิกของ FP4 ด้วยการปรับสเกลไมโครเทนเซอร์ (NVFP4) ตัวเลข 4 บิตมาตรฐานมีค่าเป็นไปได้เพียง 16 ค่า ซึ่งโดยปกติจะทำลายความแม่นยำเมื่อมีตัวเลขผิดกลุ่มที่สูงหรือต่ำมากใน activation ของโครงข่ายประสาท Blackwell แก้ด้วยฮาร์ดแวร์ที่ใช้การปรับสเกลขนาดเล็กสองระดับ แทนที่จะใช้ตัวคูณสเกลเดียวกับเมทริกซ์ขนาดใหญ่ Blackwell จัดน้ำหนักและ activation เป็นบล็อกเล็กที่มี 16 องค์ประกอบ โดยให้แต่ละบล็อกมีตัวคูณสเกล FP8 ความแม่นยำสูงของตนเอง พร้อมสเกลเทนเซอร์ FP32 ส่วนกลาง
- การควอนไทซ์ที่เร่งด้วยฮาร์ดแวร์ Transformer Engine ตรวจสอบช่วงค่าของเทนเซอร์แบบไดนามิกทีละเลเยอร์ และแปลงค่าระหว่าง FP16/BF16, FP8 และ NVFP4 โดยตรงภายในไปป์ไลน์ Tensor Core โดยไม่ต้องถ่ายโอนหน่วยความจำไปกลับเพิ่มเติม