ข่าวไทย
ล่าสุด
อดีตรัฐมนตรี รจิธา เสนารัตเน เตือนศรีลังกากำลังเข้าสู่ภาวะล้มละลายอีกครั้งอดีตประธานาธิบดีให้ทุนสร้างบ้านให้ครอบครัวผู้ยากไร้ในเมืองธรรมบุตเตกามาเครื่องรักษามะเร็งมูลค่าหลายพันล้านรูปีไม่ได้ใช้งาน เนื่องจากผู้ป่วยต้องเผชิญกับความล่าช้ามากขึ้นสุริยาลุ้นสร้างสถิติภาพยนตร์สามเรื่องทำรายได้เรื่องละ 2 พันล้านรูปีอินเดียในปีเดียวมีรายงานว่ากำแพงกันดินพังถล่มที่โครงการไฟฟ้าพลังน้ำ Tarbela ในปากีสถานรัฐมนตรีกล่าวว่าสถานีโทรทัศน์ระหว่างประเทศให้การสนับสนุนการท่องเที่ยวศรีลังกาตร.จับกุมผู้ต้องสงสัยมีส่วนช่วยฆ่าโนฉิยากามะชาวจีน 4 คนถูกคุมขังระหว่างสอบสวนข้อกล่าวหาเก็บสัตว์ป่าในป่าสิงหราชา
AI และเทคโนโลยี

การขยายขนาด FlashAttention การฝึกด้วยหลาย GPU และการควอนไทซ์น้ำหนัก

ภาพประกอบเพดานระบบอาคารที่มีรางสายเคเบิลและท่อ ไม่ใช่ศูนย์ข้อมูล
ภาพประกอบเพดานระบบอาคารที่มีรางสายเคเบิลและท่อ ไม่ใช่ศูนย์ข้อมูล

โครงสร้างพื้นฐาน AI สมัยใหม่อาศัยเคอร์เนล attention ที่คำนึงถึงฮาร์ดแวร์ การประมวลผลแบบขนานกระจายบนหลาย GPU และการควอนไทซ์แบบบิตต่ำ เพื่อฝึกและให้บริการโมเดลขนาดมหาศาลอย่างมีประสิทธิภาพ เทคนิคทั้งสามนี้เชื่อมช่องว่างระหว่างขนาดโมเดลตามทฤษฎีกับขีดจำกัดทางกายภาพของ GPU

1. FlashAttention-2 และ FlashAttention-3 บน GPU Hopper (H100)

แม้ FlashAttention รุ่นแรกจะแก้ปัญหาคอขวดแบนด์วิดท์หน่วยความจำได้ แต่ก็ยังใช้สมรรถนะการคำนวณดิบของ GPU สมัยใหม่ได้ไม่เต็มที่อย่างมาก FlashAttention-2 (2023) และ FlashAttention-3 (2024) ปรับวิธีประสานงานระหว่างเธรด GPU กับเอนจินฮาร์ดแวร์ใหม่

  • FlashAttention-2 (การแบ่งงานที่ดีขึ้น)
  • ลดการดำเนินการที่ไม่ใช่การคูณเมทริกซ์ GPU Tensor Cores คูณเมทริกซ์ (matmul) ได้เร็วกว่าที่คอร์ CUDA มาตรฐานดำเนินการสเกลาร์ เช่น การปรับสเกล Softmax ประมาณ 16× FlashAttention-2 เขียนสมการออนไลน์ Softmax ใหม่เพื่อเลื่อนการปรับสเกลไปจนถึงท้ายสุดของลูปชั้นใน จึงลดคำสั่งที่ช้าซึ่งไม่ใช่ matmul
  • การประมวลผลแบบขนานตามความยาวลำดับ รุ่นแรกแบ่งงานแบบขนานตามขนาดแบตช์และหัว attention เป็นหลัก ทำให้คอร์ GPU ว่างเมื่อฝึกด้วยลำดับยาวและแบตช์ขนาดเล็ก FlashAttention-2 เพิ่มความขนานตามมิติความยาวลำดับและกลับลำดับลูป (ลูปชั้นนอกวนตามบล็อก Q ส่วนลูปชั้นในวนตาม K และ V) เพื่อลดการเขียนลงหน่วยความจำร่วมที่ช้าให้เหลือน้อยที่สุด
  • FlashAttention-3 (การใช้ประโยชน์จากฮาร์ดแวร์ Hopper H100)
  • การย้ายข้อมูลแบบอะซิงโครนัส (TMA) สถาปัตยกรรม Hopper ของ NVIDIA เปิดตัว Tensor Memory Accelerator (TMA) ซึ่งเป็นหน่วยฮาร์ดแวร์เฉพาะสำหรับคัดลอกข้อมูลระหว่าง HBM ส่วนกลางกับ SRAM บนชิป โดยไม่ยึดเธรดคำนวณไว้
  • การกำหนดบทบาทเฉพาะให้วาร์ป (โมเดลผู้ผลิต-ผู้บริโภค) FlashAttention-3 แบ่งวาร์ป GPU (กลุ่มละ 32 เธรด) ให้ทำหน้าที่เฉพาะ วาร์ปผู้ผลิตใช้ TMA ดึงไทล์ K และ V ที่จะใช้ในอนาคตเข้า SRAM ล่วงหน้า ส่วนวาร์ปผู้บริโภคป้อนไทล์ปัจจุบันเข้า Tensor Cores (คำสั่ง WGMMA) วิธีนี้ทำให้การถ่ายโอนหน่วยความจำ การคำนวณเมทริกซ์ และการคำนวณ Softmax เกิดซ้อนทับกันได้พร้อมกัน
  • รองรับความแม่นยำต่ำ FP8 FlashAttention-3 ปลดล็อก FP8 Tensor Cores ของ Hopper ทำให้ปริมาณงานดิบเพิ่มเป็นสองเท่าจาก FP16 เพื่อป้องกันการสูญเสียความแม่นยำจากค่า activation ที่เป็นค่าผิดกลุ่มใน FP8 จึงใช้การควอนไทซ์แบบบล็อก (ปรับสเกลไทล์ขนาดเล็กแยกกัน) และการประมวลผลแบบไม่สอดคล้อง (คูณ Q และ K ด้วยเมทริกซ์ตั้งฉากแบบสุ่มเพื่อลดความสุดโต่งของค่าก่อนควอนไทซ์)

2. กลยุทธ์ขยายขนาดด้วยหลาย GPU (ความขนาน 3 มิติ)

เมื่อโมเดลมีพารามิเตอร์หลายหมื่นล้านหรือหลายแสนล้านตัว น้ำหนัก เกรเดียนต์ และสถานะตัวปรับให้เหมาะสมจะเกินความจุ VRAM ของ GPU ตัวเดียว การฝึกขนาดใหญ่ผสานกลยุทธ์การประมวลผลแบบขนานที่แตกต่างกันสามแบบ ซึ่งมักเรียกว่าความขนาน 3 มิติ

กลยุทธ์วิธีแบ่งงานคอขวดการสื่อสารกรณีใช้งานที่เหมาะที่สุด
การประมวลผลข้อมูลแบบขนาน (DP / FSDP)ทำสำเนาโมเดลบน GPU หลายตัว โดยแต่ละ GPU ประมวลผลข้อมูลคนละแบตช์All-Reduce / All-Gather ของเกรเดียนต์และน้ำหนักที่แบ่งชาร์ดระหว่าง GPUเพิ่มปริมาณงานฝึกบน GPU หลายร้อยตัวเมื่อแต่ละเลเยอร์ใส่ในอุปกรณ์เดียวได้
การประมวลผลเทนเซอร์แบบขนาน (TP)แบ่งเมทริกซ์น้ำหนักแต่ละตัว (เลเยอร์) ในแนวตั้งหรือแนวนอนบน GPU หลายตัวAll-Reduce หลัง Transformer ทุกเลเยอร์ (ต้องใช้ NVLink ที่เร็วเป็นพิเศษ)เลเยอร์ขนาดใหญ่มากที่ใส่ใน GPU ตัวเดียวไม่ได้ โดยจำกัดให้อยู่ภายในโหนดเซิร์ฟเวอร์ 8-GPU เดียวอย่างเคร่งครัด
การประมวลผลไปป์ไลน์แบบขนาน (PP)แบ่งโมเดลตามความลึก โดยวางกลุ่มเลเยอร์ที่เรียงต่อกันไว้บน GPU ต่างตัวการถ่ายโอน activation แบบจุดต่อจุด (P2P) ระหว่างขั้นของไปป์ไลน์ขยายข้ามหลายโหนดเซิร์ฟเวอร์ที่เชื่อมต่อด้วยเครือข่าย InfiniBand/Ethernet ที่ช้ากว่า
  • การประมวลผลข้อมูลแบบขนาน & ZeRO / FSDP ในการประมวลผลข้อมูลแบบขนานมาตรฐาน GPU ทุกตัวเก็บสำเนาโมเดลครบชุด ทำให้เปลืองหน่วยความจำ เฟรมเวิร์กสมัยใหม่ใช้ ZeRO (Zero Redundancy Optimizer) หรือ PyTorch FSDP (Fully Sharded Data Parallel) ซึ่งแบ่งพารามิเตอร์ เกรเดียนต์ และสถานะตัวปรับให้เหมาะสมเป็นชาร์ดบน GPU ทั้งหมด แล้วรวบรวมน้ำหนักของแต่ละเลเยอร์ให้ทันเวลาคำนวณพอดี
  • การประมวลผลเทนเซอร์แบบขนาน (ภายในเลเยอร์) แทนที่จะคำนวณการคูณเมทริกซ์ฟีดฟอร์เวิร์ดขนาดใหญ่ Y = XW ซ้ำ การประมวลผลเทนเซอร์แบบขนานแบ่ง W ตามคอลัมน์บน GPU หลายตัว (W = [W_1, W_2]) แต่ละ GPU คำนวณเอาต์พุตครึ่งหนึ่งพร้อมกัน แล้วแลกเปลี่ยนผลลัพธ์บางส่วนผ่าน NVLink ความเร็วสูง (900 GB/s บน H100)
  • การประมวลผลไปป์ไลน์แบบขนาน (ระหว่างเลเยอร์) เลเยอร์ 1–8 อยู่บน GPU 1 เลเยอร์ 9–16 อยู่บน GPU 2 และต่อไปเช่นนี้ เพื่อป้องกัน GPU ปลายน้ำว่างขณะรอเลเยอร์ก่อนหน้าทำงานเสร็จ ("ฟองอากาศในไปป์ไลน์") เฟรมเวิร์กจะแบ่งแบตช์ฝึกแต่ละชุดเป็นไมโครแบตช์ที่เล็กลง เพื่อให้ GPU ทุกตัวทำงานต่อเนื่องในลักษณะสายการประกอบ

3. การควอนไทซ์ (GPTQ, AWQ) และเคอร์เนลคืนค่าจากการควอนไทซ์ขณะทำงาน

ระหว่างการอนุมาน (สร้างโทเคนทีละตัว) โมเดลภาษาขนาดใหญ่ถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ ไม่ใช่กำลังคำนวณ การโหลดพารามิเตอร์ 16 บิตจำนวน 70,000 ล้านตัว (140 GB) จาก VRAM เพียงเพื่อสร้างโทเคนเดียว ทำให้ Tensor Cores ต้องรอการถ่ายโอนหน่วยความจำ การควอนไทซ์บีบอัดน้ำหนักจากเลขทศนิยมลอยตัว 16 บิตเป็นจำนวนเต็ม 4 บิต (INT4) ลดขนาดหน่วยความจำและเวลาถ่ายโอนลงเกือบ 4 เท่า

  • GPTQ (การควอนไทซ์หลังฝึกด้วยการปรับเทียบ Hessian)
  • การปัดเศษน้ำหนัก 16 บิตเป็นจำนวนเต็ม 4 บิตแบบตรงไปตรงมาทำลายความแม่นยำของโมเดล GPTQ ป้อนชุดข้อมูลปรับเทียบขนาดเล็กผ่านโมเดล และใช้คณิตศาสตร์อันดับสอง (เมทริกซ์ผกผันของ Hessian) เพื่อวัดความไวของน้ำหนักแต่ละตัว
  • วิธีนี้ควอนไทซ์น้ำหนักทีละคอลัมน์ เมื่อการปัดเศษน้ำหนักตัวใดทำให้เกิดข้อผิดพลาด GPTQ จะปรับน้ำหนักที่ยังไม่ควอนไทซ์ตัวอื่นในแถวนั้นด้วยวิธีทางคณิตศาสตร์เพื่อหักล้างข้อผิดพลาด
  • AWQ (การควอนไทซ์น้ำหนักที่คำนึงถึง activation)
  • นักวิจัยพบว่าช่องน้ำหนักประมาณ 0.1% ถึง 1% สำคัญกว่าช่องอื่นอย่างมาก เพราะช่องเหล่านี้คูณกับค่า activation ขนาดใหญ่
  • แทนที่จะเก็บน้ำหนักสำคัญเหล่านั้นเป็น 16 บิต (ซึ่งทำให้เกิดการจัดวางหน่วยความจำความแม่นยำผสมที่ยุ่งยากและช้า) AWQ จะขยายสเกลช่องน้ำหนักที่สำคัญก่อนควอนไทซ์ และลดสเกล activation อินพุตที่สอดคล้องกันขณะรัน จึงรักษาความแม่นยำไว้ได้พร้อมกับเก็บน้ำหนัก 100% ในรูปแบบ 4 บิตที่สม่ำเสมอ
  • เคอร์เนล CUDA เฉพาะคืนค่าจากการควอนไทซ์ขณะทำงานได้อย่างไร (W4A16)
  • GPU ไม่สามารถคูณ activation 16 บิต (FP16) กับน้ำหนักจำนวนเต็ม 4 บิต (INT4) ได้โดยตรง เคอร์เนลอนุมานเฉพาะทาง (เช่น Marlin หรือ ExLlama) จึงดำเนินการแบบ W4A16 (น้ำหนัก 4 บิต, activation 16 บิต) แทนดังนี้:
  • 1. อ่าน HBM แบบบีบอัด: เคอร์เนลโหลดน้ำหนัก 4 บิตที่แพ็กไว้ (ค่า INT4 แปดค่าแพ็กอยู่ในจำนวนเต็ม 32 บิตหนึ่งตัว) จาก VRAM ส่วนกลางที่ช้า ลดการใช้แบนด์วิดท์หน่วยความจำลง 4 เท่า
  • 2. คลายแพ็กระดับรีจิสเตอร์: ภายในรีจิสเตอร์ที่เร็วเป็นพิเศษของ GPU เคอร์เนล CUDA ใช้การเลื่อนบิต (>>) และบิตมาสก์ (&) ที่รวดเร็วเพื่อคลายแพ็กจำนวนเต็ม INT4 และใช้ตัวคูณสเกล/จุดศูนย์ที่เก็บไว้เพื่อแปลงกลับเป็นค่า FP16 ขณะทำงาน
  • 3. คำนวณด้วย Tensor Core ทันที: น้ำหนัก FP16 ที่เพิ่งคลายแพ็กถูกส่งตรงเข้า Tensor Cores พร้อม activation FP16 โดยไม่เขียนน้ำหนัก 16 บิตที่ขยายแล้วกลับไปยัง VRAM เลย

ข่าวเพิ่มเติม: AI และเทคโนโลยี