แอนดรzej คารปาธี ผู้ร่วมก่อตั้ง OpenAI และอดีตหัวหน้าเจ้าหน้าที่ฝ่าย AI ของเทสลา ประกาศบน X เมื่อวันที่ 19 พฤษภาคมว่าได้เข้าร่วม Anthropic โดยในสัปดาห์นี้จะเริ่มนำทีมเพื่อทำวิจัยการฝึกก่อน (pre-training) สำหรับ Claude แอนโทรปิกยืนยันว่า การฝึกก่อนคือช่วงการฝึกพื้นฐานที่ใช้มอบความสามารถด้านภาษาหลักให้กับ Claude และยังเป็นส่วนที่มีต้นทุนการคำนวณสูงที่สุดในกระบวนการสร้างโมเดล AI ทั้งหมด
ยืนยันบทบาทการฝึกก่อน: ขั้นตอนที่แพงที่สุดในการมอบความสามารถหลักให้กับ Claude
คำแถลงอย่างเป็นทางการของ Anthropic ยืนยันว่า คารปาธี รับผิดชอบงานวิจัยการฝึกก่อนของ Claude โดยเป็นการฝึกพื้นฐานด้วยข้อมูลขนาดใหญ่ (ข้อมูลองค์ประกอบจำนวนมาก) เพื่อกำหนดความสามารถหลักด้านความเข้าใจภาษาและการให้เหตุผลของโมเดล คารปาธีเคยนำแนวคิดเอเจนต์โค้ดดิ้งด้าน AI มาผสานกับโมเดลภาษาขนาดเล็กในปี 2024 และทำการทดลอง 700 ครั้งภายใน 2 วัน จนสามารถลดเวลาการฝึกโมเดลขนาดใหญ่ลง 11% วิธีวิจัยอัตโนมัติดังกล่าวในวงการเรียกว่า “Karpathy Loop”
เส้นทางอาชีพของ Karpathy: จาก OpenAI สู่ Anthropic
คารปาธีเป็นหนึ่งในผู้ร่วมก่อตั้ง OpenAI ในปี 2015 ในปี 2017 อีลอน มัสก์ ซึ่งดำรงตำแหน่งทั้งในเทสลาและบอร์ดของ OpenAI ได้ดึงตัวเขาไปอยู่เทสลาเพื่อทำหน้าที่หัวหน้าเจ้าหน้าที่ด้าน AI โดยเป็นผู้นำทีมวิศวกรรมคอมพิวเตอร์วิทชันสำหรับระบบขับขี่อัตโนมัติ เอกสารของศาลระบุว่าในเวลานั้น มัสก์ประเมินคารปาธีว่าเป็น “รองเก้าอี้ด้านคอมพิวเตอร์วิทชันอันดับสองของโลก” และกล่าวว่า “คนของ OpenAI คงอยากฆ่าเขา แต่เรื่องนี้คือสิ่งที่ต้องทำ”
คารปาธีออกจากเทสลาในปี 2022 กลับมายัง OpenAI ชั่วคราว ก่อนจะก่อตั้งสตาร์ทอัพด้านการศึกษา AI ชื่อ Eureka Labs เขายังเป็นผู้เสนอแนวคิด “Vibe Coding” ด้วย ซึ่งผู้ใช้สั่งการผู้ช่วยเขียนโค้ดด้วยพรอมพ์ไปยัง AI โดยไม่จำเป็นต้องเขียนโค้ดเอง แนวคิดนี้กลายเป็นศัพท์ที่ใช้กันทั่วไปอย่างรวดเร็วในชุมชนการพัฒนา AI
ความเคลื่อนไหวด้านบุคลากรที่ Anthropic ยืนยันในเดือนนี้
เวลาที่ Ross Nordeen (สมาชิกผู้ก่อตั้ง xAI) เข้าร่วม Anthropic เกิดขึ้นเร็วกว่าประกาศของคารปาธีในเดือนนี้ ในขณะเดียวกัน Anthropic ก็ยืนยันว่า Chris Rohlf ซึ่งเคยทำงานที่ Yahoo และ Meta และมีประสบการณ์ด้านความปลอดภัยทางไซเบอร์ 20 ปี เข้าร่วมทีมเรดทีมแนวหน้าเพื่อร่วมงานทดสอบแรงกดดัน (pressure testing) ในวันเดียวกับที่ Nordeen ประกาศเข้าร่วม Anthropic ยังได้บรรลุข้อตกลงกับ SpaceX เพื่อเช่ากำลังการประมวลผลของ xAI Anthropic ก่อตั้งขึ้นในปี 2021 โดยอดีตพนักงาน OpenAI จำนวน 7 คน ได้แก่ Dario Amodei ผู้ดำรงตำแหน่ง CEO และ Daniela Amodei ผู้ดำรงตำแหน่งประธานบริษัท
คำถามที่พบบ่อย
การฝึกก่อน (pre-training) ในการพัฒนาโมเดล AI มีบทบาทอย่างไร และเหตุใดจึงมีค่าใช้จ่ายสูงมาก?
การฝึกก่อนคือกระบวนการฝึกพื้นฐานของโมเดล AI ด้วยข้อมูลขนาดใหญ่ ซึ่งกำหนดความสามารถด้านความเข้าใจภาษา การให้เหตุผล และการสะสมความรู้ของโมเดล ในระหว่างการฝึกจำเป็นต้องใช้พลังประมวลผล GPU จำนวนมากเพื่อรันอย่างต่อเนื่องเป็นเวลาหลายสัปดาห์ไปจนถึงหลายเดือน จึงเป็นขั้นตอนที่ใช้พลังคำนวณมากที่สุดและมีค่าใช้จ่ายสูงที่สุดในกระบวนการพัฒนาโมเดล AI ทั้งหมด และยังเป็นพื้นฐานตั้งต้นสำหรับการฝึกปรับแต่งภายหลัง (Fine-tuning) และการฝึกเพื่อความสอดคล้องด้านความปลอดภัย (Alignment)
แนวคิดเฉพาะของ Vibe Coding คืออะไร และ Karpathy ให้คำนิยามอย่างไร?
Vibe Coding (การเขียนโค้ดตามบรรยากาศ/โฟกัสที่ความรู้สึก) คือรูปแบบการพัฒนาแบบช่วยเหลือด้วย AI ที่ Karpathy เสนอ โดยผู้ใช้เป็นหลักในการคิดไอเดียและตรรกะ แล้วสั่งผู้ช่วยเขียนโค้ดด้วยคำสั่งพรอมพ์ภาษาธรรมชาติให้ AI สร้างโค้ดโดยที่ผู้ใช้ไม่ต้องเขียนโค้ดเอง แนวคิดนี้ถูกหยิบยืมอย่างแพร่หลายในชุมชนพัฒนา AI อย่างรวดเร็วหลังจากถูกเสนอขึ้น และสะท้อนถึงรูปแบบการออกแบบโปรแกรมที่เน้นการทำงานร่วมกันระหว่างมนุษย์กับ AI
Anthropic มีความเชื่อมโยงด้านการก่อตั้งกับ OpenAI อย่างไรบ้าง?
Anthropic ก่อตั้งขึ้นในปี 2021 โดยอดีตพนักงาน OpenAI จำนวน 7 คนร่วมกัน รวมถึง Dario Amodei (CEO ในปัจจุบัน) และ Daniela Amodei (ประธานบริษัทในปัจจุบัน) หลังจากนั้นมีอดีตพนักงาน OpenAIทยอยเข้าร่วมเพิ่มเติม รวมถึง John Schulman ที่ย้ายไปอยู่ Anthropic ในปี 2024 และการเข้าร่วมของ Karpathy ในครั้งนี้
