การนำ CUDA มาใช้: จากการทดลอง GPU ยุคแรกสู่ความสำเร็จของ AlexNet

นักวิจัย AI เริ่มตระหนักถึงข้อได้เปรียบด้านประสิทธิภาพอันมหาศาลของ CUDA สำหรับโครงข่ายประสาทเทียมระหว่างปี 2006 ถึง 2009 โดยความสำเร็จที่ชัดเจนในระดับกระแสหลักเกิดขึ้นในปี 2012 ก่อนการเปลี่ยนแปลงนี้ โครงข่ายประสาทเทียมถูกมองอย่างกว้างขวางว่าช้าเกินไปและใช้ทรัพยากรการคำนวณมากเกินไปจนไม่เหมาะกับการใช้งานจริง

เหตุการณ์สำคัญในการนำ CUDA มาใช้

• 2006 (CUDA เปิดตัว): NVIDIA เปิดตัว CUDA ทำให้นักวิจัยสามารถเขียนโปรแกรม GPU ด้วย C/C++ มาตรฐานแทนที่จะใช้กราฟิกเชดเดอร์ที่ซับซ้อน (เช่น OpenGL)

• 2007–2008 (การทดลองโครงข่ายประสาทยุคแรก): ผู้นำรุ่นแรกเริ่มพอร์ตอัลกอริทึมโครงข่ายประสาทเทียมไปยัง CUDA ในปี 2008 นักวิจัย Rajat Raina และทีมของ Andrew Ng ที่ Stanford สาธิตว่า GPU ที่รัน CUDA สามารถฝึก deep belief network ได้เร็วกว่า CPU แบบหลายแกนถึง 70 เท่า

• 2009–2010 (เบนช์มาร์กทำลายสถิติ): ห้องปฏิบัติการของ Jürgen Schmidhuber (รวมถึง Dan Cireșan) ใช้ GPU ที่เร่งด้วย CUDA ฝึกโครงข่ายประสาทเทียมลึกจนทำลายสถิติการจดจำลายมือ (MNIST) พิสูจน์ว่าเครือข่ายที่ลึกกว่าสามารถฝึกได้โดยไม่ต้องใช้ซูเปอร์คอมพิวเตอร์เฉพาะทาง

• 2012 (จุดเปลี่ยนของ AlexNet): ช่วงเวลาแห่งการกำหนดอนาคตเกิดขึ้นที่การแข่งขัน ImageNet Alex Krizhevsky, Ilya Sutskever และ Geoffrey Hinton ใช้เคอร์เนล CUDA แบบกำหนดเองบน NVIDIA GTX 580 GPU สองตัวเพื่อฝึก AlexNet ลดอัตราความผิดพลาดในการจำแนกภาพลงเกือบครึ่งหนึ่งเมื่อเทียบกับวิธีดั้งเดิม ชัยชนะนี้จุดประกายการปฏิวัติการเรียนรู้เชิงลึกสมัยใหม่

• 2014 (cuDNN เปิดตัว): หลังกระแส AlexNet NVIDIA เปิดตัว cuDNN (ไลบรารี CUDA Deep Neural Network) มอบส่วนประกอบ GPU แบบ plug-and-play ที่ปรับแต่งแล้วให้นักวิจัย AI ทุกคนสำหรับเฟรมเวิร์กอย่าง Caffe, Theano, TensorFlow และ PyTorch

เหตุใจจึงเปลี่ยนทุกอย่าง

ก่อนมี CUDA การฝึกโครงข่ายประสาทเทียมขนาดปานกลางบน CPU ใช้เวลาหลายสัปดาห์หรือหลายเดือน ทำให้การวิจัยแบบลองผิดลองถูกแทบเป็นไปไม่ได้ CUDA ลดเวลาฝึกเหล่านั้นเหลือเพียงไม่กี่วันหรือไม่กี่ชั่วโมง ช่วยให้นักวิจัยขยายชุดข้อมูลให้ใหญ่ขึ้น ซ้อนเลเยอร์เพิ่มขึ้น และคิดค้นสถาปัตยกรรมสมัยใหม่อย่าง Transformer และโมเดลภาษาขนาดใหญ่