ข่าวไทย
ล่าสุด
อดีตรัฐมนตรี รจิธา เสนารัตเน เตือนศรีลังกากำลังเข้าสู่ภาวะล้มละลายอีกครั้งอดีตประธานาธิบดีให้ทุนสร้างบ้านให้ครอบครัวผู้ยากไร้ในเมืองธรรมบุตเตกามาเครื่องรักษามะเร็งมูลค่าหลายพันล้านรูปีไม่ได้ใช้งาน เนื่องจากผู้ป่วยต้องเผชิญกับความล่าช้ามากขึ้นสุริยาลุ้นสร้างสถิติภาพยนตร์สามเรื่องทำรายได้เรื่องละ 2 พันล้านรูปีอินเดียในปีเดียวมีรายงานว่ากำแพงกันดินพังถล่มที่โครงการไฟฟ้าพลังน้ำ Tarbela ในปากีสถานรัฐมนตรีกล่าวว่าสถานีโทรทัศน์ระหว่างประเทศให้การสนับสนุนการท่องเที่ยวศรีลังกาตร.จับกุมผู้ต้องสงสัยมีส่วนช่วยฆ่าโนฉิยากามะชาวจีน 4 คนถูกคุมขังระหว่างสอบสวนข้อกล่าวหาเก็บสัตว์ป่าในป่าสิงหราชา
AI และเทคโนโลยี

CUDA Graphs โมเดลการให้เหตุผล และการให้บริการแบบแยกส่วน

ภาพประกอบสายใยแก้วนำแสงโทรคมนาคมในกล่องใต้ดิน ไม่ใช่ฮาร์ดแวร์ GPU
ภาพประกอบสายใยแก้วนำแสงโทรคมนาคมในกล่องใต้ดิน ไม่ใช่ฮาร์ดแวร์ GPU

โครงสร้างพื้นฐาน AI สมัยใหม่ผลักดันประสิทธิภาพไปถึงขีดจำกัดทางกายภาพของซิลิคอนและคลัสเตอร์ ด้วยการกำจัดโอเวอร์เฮด CPU วงจรการให้เหตุผลระหว่างอนุมาน และการกำหนดเส้นทางคลัสเตอร์ GPU ที่แยกเฉพาะตามช่วงการทำงาน เทคนิคทั้งสามนี้ขับเคลื่อนระบบ AI ใช้งานจริงที่รวดเร็วและชาญฉลาดที่สุดในปัจจุบัน

1. CUDA Graphs และการรวมเคอร์เนล: กำจัดโอเวอร์เฮด CPU & หน่วยความจำ

เมื่อ GPU สมัยใหม่ (เช่น H100 และ B200) เร็วขึ้นแบบทวีคูณ การรันเคอร์เนล GPU ขนาดเบาหนึ่งตัวอาจใช้เวลาเพียง 2 ถึง 5 ไมโครวินาที อย่างไรก็ตาม CPU มักใช้เวลา 10 ถึง 20 ไมโครวินาทีเพียงเพื่อเตรียม ตรวจสอบ และสั่งรันเคอร์เนลนั้นผ่านไดรเวอร์ PCIe ทำให้ GPU มูลค่าหลายล้านดอลลาร์ว่างงานโดยสมบูรณ์เพื่อรอคำสั่งจาก CPU

  • การรวมเคอร์เนล (รวมการดำเนินการเพื่อลดการใช้หน่วยความจำ & จำนวนครั้งที่สั่งรัน)
  • คอขวดเมื่อไม่รวมเคอร์เนล เลเยอร์ Transformer มาตรฐานรันการดำเนินการเล็ก ๆ หลายสิบรายการตามลำดับ (เช่น LayerNorm → Linear → Add Residual → GeLU) หากไม่รวมเคอร์เนล GPU จะสั่งรันเคอร์เนลแยกสำหรับแต่ละขั้น เขียนเทนเซอร์ระหว่างทางลง HBM (VRAM) ที่ช้า แล้วอ่านกลับเข้ามาทันทีสำหรับขั้นถัดไป
  • การรันแบบรวม คอมไพเลอร์ เช่น torch.compile (TorchInductor) และ TensorRT-LLM รวมการดำเนินการแบบรายองค์ประกอบและการลดรูปหลายรายการเป็นเคอร์เนล CUDA/Triton เฉพาะตัวเดียว ค่าแต่ละค่าถูกโหลดจาก HBM ครั้งเดียว แปลงภายในรีจิสเตอร์/SRAM บนชิปที่เร็วเป็นพิเศษ แล้วเขียนกลับ HBM เฉพาะตอนท้ายสุด จึงลดทั้งทราฟฟิกแบนด์วิดท์หน่วยความจำและจำนวนครั้งที่สั่งรันเคอร์เนลลงอย่างมาก
  • CUDA Graphs (เล่นซ้ำไปป์ไลน์การรันทั้งหมดในครั้งเดียว)
  • บันทึกและเล่นซ้ำ แม้จะรวมเคอร์เนลแล้ว การส่งต่อไปข้างหน้าของ LLM ยังต้องสั่งรันเคอร์เนลหลายร้อยครั้งต่อโทเคนที่สร้าง CUDA Graphs แก้ปัญหานี้ด้วยการบันทึกลำดับการดำเนินการ GPU ทั้งหมด ทั้งเคอร์เนล การคัดลอกหน่วยความจำ และความสัมพันธ์การพึ่งพา ระหว่างการรันวอร์มอัป แล้วคอมไพล์เป็นกราฟการรันแบบคงที่ซึ่งเก็บไว้ในหน่วยความจำ GPU โดยตรง
  • ไม่ต้องมี CPU เข้ามาแทรก ระหว่างการอนุมานแบบเรียลไทม์ แทนที่ CPU จะสั่งรันเคอร์เนล 300 ตัวแยกกันทีละตัว CPU เรียก API เพียงครั้งเดียว (cudaGraphLaunch) เพื่อกระตุ้นให้ GPU รันการส่งต่อไปข้างหน้าทั้งหมดด้วยตนเอง
  • รองรับรูปทรงแบบไดนามิก เนื่องจาก CUDA Graphs ต้องใช้ที่อยู่หน่วยความจำและรูปทรงเทนเซอร์แบบคงที่ เอนจินอนุมานจึงเติมแพดให้แบตช์ขาเข้าตรงกับขนาดบักเก็ตคงที่ (เช่น ขนาดแบตช์ 1, 2, 4, 8, 16) และอัปเดตตัวชี้อินพุต ณ ตำแหน่งเดิมก่อนเล่นซ้ำกราฟที่บันทึกไว้ล่วงหน้า

2. การคำนวณขณะทดสอบ & โมเดลการให้เหตุผล (o1/o3 & DeepSeek-R1)

ในอดีต ห้องวิจัย AI ขยายความฉลาดด้วยการเพิ่มกำลังคำนวณให้การฝึกล่วงหน้าเพียงอย่างเดียว (ฝึกโมเดลที่ใหญ่ขึ้นด้วยข้อความจากอินเทอร์เน็ตมากขึ้น) โมเดลการให้เหตุผล เช่น o1/o3 ของ OpenAI และ DeepSeek-R1 เปิดแกนการขยายที่สอง คือการคำนวณขณะทดสอบ (การขยายขณะอนุมาน) ทำให้โมเดล "คิด" ได้นานขึ้นก่อนตอบ

  • การเรียนรู้แบบเสริมกำลังสำหรับสายโซ่ความคิด (CoT)
  • แทนที่จะอาศัยตัวอย่างการให้เหตุผลทีละขั้นที่มนุษย์เขียนเพียงอย่างเดียว โมเดลเหล่านี้ฝึกด้วยการเรียนรู้แบบเสริมกำลังขนาดใหญ่ (RL) (เช่น GRPO - Group Relative Policy Optimization ใน DeepSeek-R1) ในขอบเขตที่ตรวจสอบได้ เช่น คณิตศาสตร์ การเขียนโค้ด และตรรกศาสตร์เชิงรูปนัย
  • โมเดลสร้างเส้นทางการให้เหตุผลที่เป็นไปได้หลายเส้น ได้รับรางวัลที่เป็นกลางเฉพาะเมื่อคำตอบสุดท้ายผ่านการทดสอบหน่วยหรือการตรวจสอบทางคณิตศาสตร์ และค้นพบพฤติกรรมทางปัญญาที่เกิดขึ้นใหม่ด้วยตนเอง รวมถึงการตรวจสอบตนเอง การย้อนกลับเมื่อถึงทางตัน และการแบ่งปัญหาซับซ้อนเป็นเป้าหมายย่อย
  • การคำนวณอนุมานขยายขนาดอย่างไร
  • เมื่อได้รับพรอมป์ต์ยาก โมเดลจะสร้าง "โทเคนความคิด" ภายในหลายพันตัวในพื้นที่ทดภายในที่ซ่อนไว้ก่อนส่งคำตอบสุดท้าย ความแม่นยำเพิ่มขึ้นในลักษณะลอการิทึมเมื่อโมเดลใช้โทเคนอนุมานมากขึ้นสำรวจสมมติฐาน
  • การเปลี่ยนสมดุลแลกเปลี่ยนด้านการคำนวณ ใน LLM แบบดั้งเดิม การอนุมานมีราคาถูกและรวดเร็ว (สร้างเอาต์พุตประมาณ 50 โทเคน) ในโมเดลการให้เหตุผล คำถามเดียวอาจสร้างโทเคนความคิด 10,000 ถึง 50,000 ตัว เปลี่ยนการอนุมานให้เป็นงานสร้างแบบแบตช์ขนาดมหึมาอย่างต่อเนื่อง ซึ่งถูกกำหนดโดยการเติบโตของ KV-cache และประสิทธิภาพ attention สำหรับบริบทยาว

3. แยก Prefill และ Decode ออกจากกัน

การให้บริการ LLM ประกอบด้วยช่วงการคำนวณสองช่วงที่มีลักษณะตรงข้ามกันโดยพื้นฐาน การรันทั้งสองช่วงบน GPU ตัวเดียวกันทำให้เกิดความขัดแย้งด้านการจัดตารางอย่างรุนแรงและใช้ฮาร์ดแวร์ได้ไม่เต็มที่

ช่วงลักษณะภาระงานคอขวดฮาร์ดแวร์ตัวชี้วัดเวลาแฝง
Prefill (การประมวลผลพรอมป์ต์)ประมวลผลโทเคนพรอมป์ต์ทั้งหมด (เช่น 10,000 โทเคน) แบบขนานในการส่งต่อไปข้างหน้าครั้งเดียวจำกัดด้วยการคำนวณ (ทำให้ GPU Tensor Cores ทำงานเต็มด้วยการคูณเมทริกซ์ขนาดมหึมา)TTFT (เวลาจนถึงโทเคนแรก)
Decode (การสร้างโทเคน)สร้างโทเคนเอาต์พุตทีละตัวตามลำดับ โดยอ่าน KV cache ทั้งหมดทุกขั้นจำกัดด้วยแบนด์วิดท์หน่วยความจำ (Tensor Cores ว่างเป็นส่วนใหญ่เพื่อรออ่าน VRAM)TPOT (เวลาต่อโทเคนเอาต์พุต)
  • ปัญหาการรบกวนเมื่อวางงานร่วมกัน
  • ในการให้บริการแบบรวมดั้งเดิม หากผู้ใช้รายหนึ่งส่งเอกสารขนาดใหญ่ 32,000 โทเคนให้ Prefill ขณะที่ผู้ใช้อีก 50 รายกำลังสตรีมโทเคน Decode การคำนวณเมทริกซ์ Prefill ขนาดมหึมาจะยึด Tensor Cores ของ GPU ทำให้ผู้ใช้ที่กำลังสตรีมทั้ง 50 รายพบอาการค้างและเวลาแฝงพุ่งสูง ("กระตุก") อย่างเห็นได้ชัด
  • นอกจากนี้ Prefill ต้องการ FLOPs ในการคำนวณสูง ส่วน Decode ต้องการแบนด์วิดท์หน่วยความจำ HBM และความจุมหาศาลเพื่อเก็บ KV cache ของแบตช์ขนาดใหญ่
  • การแยกคลัสเตอร์ (สถาปัตยกรรมแยกส่วน)
  • ระบบอนุมานระดับไฮเปอร์สเกลสมัยใหม่ (เช่น Mooncake, DistServe และ NVIDIA Dynamo) แบ่งคลัสเตอร์ GPU เป็นพูลเฉพาะสองพูล:
  • 1. พูล Prefill: ปรับให้เหมาะกับปริมาณงานคำนวณดิบ (การใช้ Tensor Core สูง การประมวลผลเทนเซอร์แบบขนานขนาดเล็กกว่า) เพื่อประมวลผลพรอมป์ต์ยาวอย่างรวดเร็วและบรรลุเป้าหมายเวลาจนถึงโทเคนแรก (TTFT) ที่เข้มงวด
  • 2. พูล Decode: ปรับให้เหมาะกับแบนด์วิดท์หน่วยความจำสูงและความจุ KV-cache ขนาดใหญ่ (การประมวลผลเทนเซอร์/ผู้เชี่ยวชาญแบบขนานที่กว้างขึ้น ขนาดแบตช์ใหญ่) เพื่อสตรีมโทเคนอย่างราบรื่นด้วยจำนวนโทเคนต่อวินาทีสูงสุด
  • การถ่ายโอน KV Cache ความเร็วสูง เมื่อ GPU Prefill ประมวลผลพรอมป์ต์เสร็จและสร้าง KV Cache เริ่มต้นแล้ว มันจะสตรีม KV Cache นั้นผ่านการเชื่อมต่อ NVLink หรือ InfiniBand RDMA ที่เร็วเป็นพิเศษไปยัง VRAM ของ GPU Decode โดยตรง ซึ่งจะรับช่วงสร้างโทเคนทันทีโดยไม่มีการรบกวน

ข่าวเพิ่มเติม: AI และเทคโนโลยี