อเมริกาองค์กรเริ่มนำการกำหนดเส้นทางโมเดลมาใช้เพื่อควบคุมค่าใช้จ่ายด้านปัญญาประดิษฐ์ โดยที่ฝ่าย CFO และคณะบอร์ดเข้มงวดกับต้นทุน AI ที่ไม่มีประสิทธิภาพ การเปลี่ยนแปลงนี้ตอบโจทย์ปัญหาที่เกิดขึ้นหลังจาก 2 ปีที่ผ่านมากับการปักหมุดให้ใช้โมเดล AI ที่ทรงพลังที่สุดกับทุกคำถามโดยไม่คำนึงถึงความซับซ้อน บิล AI ตอนนี้พุ่งนำงบประมาณอย่างมาก ทำให้บริษัทเริ่มตั้งคำถามว่างานทุกอย่างจำเป็นต้องใช้โมเดลระดับแนวหน้า (frontier models) หรือไม่ การกำหนดเส้นทางโมเดลจะจับคู่งานกับโมเดลที่เหมาะสม โดยส่งปัญหาที่ซับซ้อนไปยังระบบแนวหน้าที่มีราคาแพง และส่งงานประจำไปยังทางเลือกที่ถูกกว่า โมเดลนี้มีศักยภาพในการเปลี่ยนพลวัตด้านการกำหนดราคาในอุตสาหกรรม AI
Model Routing Matches Tasks to Cost-Appropriate AI Systems
Model routing คือเครื่องมือที่ส่งปัญหาที่ยากไปยังโมเดลแนวหน้าที่มีราคาแพง และส่งงานที่ง่ายไปยังทางเลือกที่ถูกกว่าและเร็วกว่า Scott Wu ซีอีโอของ Cognition ซึ่งสร้างเอเจนต์โค้ดดิ้ง Devin กล่าวว่า บริษัทสามารถทำให้ประสิทธิภาพด้านต้นทุนดีขึ้น 5 ถึง 10 เท่าในงานประจำโดยใช้โมเดลที่ยังเพียงพอต่อโจทย์ Wu ยกตัวอย่างการให้โมเดลตั้งชื่อประธานาธิบดีสหรัฐคนที่ 3 — ไม่ว่าค่าใช้จ่ายของแต่ละโมเดลจะเป็นเท่าใด ทุกโมเดลจะตอบ Thomas Jefferson
Arvind Jain ซีอีโอของ Glean ประเมินว่าการใช้งาน AI ในองค์กรราว 95% ในปัจจุบันยังคงรันบนโมเดลแนวหน้าที่แพงที่สุด แม้แต่สำหรับงานที่ทางเลือกที่ถูกกว่าจะจัดการได้อย่างง่ายดาย ผู้บริหารที่ถูกสัมภาษณ์ในสัปดาห์นี้ระบุว่า บริษัทส่วนใหญ่ไม่ได้ทำการกำหนดเส้นทางเลย
Cisco Reports $900 Million Annual AI Cost for 90,000 Employees
Jeetu Patel หัวหน้าฝ่ายผลิตภัณฑ์ (chief product officer) ของ Cisco ให้ตัวเลขต้นทุนที่เฉพาะเจาะจง โดยอิงจากการใช้โทเคนประมาณ $200 ต่อพนักงานต่อสัปดาห์ ทำให้รายจ่ายต่อปีอยู่ที่ราว $10,000 ต่อคน สำหรับพนักงาน 90,000 คนของ Cisco นั้นคิดเป็น $900 ล้านต่อปี
Patel กล่าวว่า Cisco ใช้งบสูงกว่าที่ตั้งไว้มาก และต้องปรับตัว ปัจจุบันบริษัทมีวิศวกร 30,000 คนที่สร้างผลิตภัณฑ์โดยอาศัยโค้ดที่เขียนด้วย AI เป็นหลัก Cisco ได้จัดสรรทรัพยากรใหม่ โดยให้ความสำคัญกับโทเคนมากกว่าการใช้จ่ายประเภทอื่น
Cognition Introduces $10 Million AI Productivity Guarantee
Cognition ประกาศการรับประกันประสิทธิผลของ AI หลังได้รับความกังวลจากลูกค้าเกี่ยวกับผลตอบแทนจากการลงทุน (ROI) หาก Devin ส่งมอบคุณค่างานวิศวกรรมได้น้อยกว่าที่ลูกค้าจ่าย Cognition จะสนับสนุนการใช้งานจนถึง $10 ล้าน จนกว่าประสิทธิภาพจะเป็นไปตามความคาดหวัง Wu มองว่าการรับประกันนี้เป็นวิธีที่จะโฟกัสที่ผลลัพธ์ มากกว่าตัวชี้วัดด้านกิจกรรมอย่างจำนวนโทเคนที่ใช้ไปหรือจำนวนบรรทัดโค้ด
การหันไปสู่การกำหนดเส้นทางโมเดลสร้างแรงกดดันต่อ OpenAI และ Anthropic ซึ่งรูปแบบธุรกิจและความคาดหวังจากการเข้าจดทะเบียน IPO ตั้งอยู่บนสมมติฐานว่าความต้องการจะมหาศาลในราคาพรีเมียม หากบริษัทหันงานประจำปริมาณสูงไปให้โมเดลโอเพนซอร์สที่ถูกกว่า แล็บระดับแนวหน้าจะได้รับเงินเฉพาะสำหรับงานที่ซับซ้อน Patel ระบุว่าเทคโนโลยีล้ำสมัยยังคงมีคุณค่า แต่คาดว่ารูปแบบการกำหนดราคาจะเปลี่ยน โดยแล็บต้องเพิ่มประสิทธิภาพมากกว่าการคิดค่าใช้จ่ายที่สูงขึ้นเพียงอย่างเดียว
FAQ
Model routing ในระบบ AI คืออะไร?
Model routing คือเครื่องมือที่จับคู่งานกับโมเดล AI ที่เหมาะสมตามระดับความซับซ้อน โดยจะส่งปัญหาที่ยากไปยังโมเดลแนวหน้าที่มีราคาแพง และส่งงานประจำไปยังทางเลือกที่ถูกกว่าและเร็วกว่า Scott Wu จาก Cognition ระบุว่าบริษัทสามารถทำให้ประสิทธิภาพด้านต้นทุนดีขึ้น 5 ถึง 10 เท่าในงานประจำด้วยแนวทางนี้
Cisco ใช้งบประมาณด้าน AI สำหรับพนักงานปีละเท่าไร?
Cisco ใช้เงินราว $900 ล้านต่อปีสำหรับ AI ของพนักงาน 90,000 คน Jeetu Patel หัวหน้าฝ่ายผลิตภัณฑ์ของ Cisco คำนวณตัวเลขนี้จากการใช้โทเคนประมาณ $200 ต่อพนักงานต่อสัปดาห์ ซึ่งเท่ากับราว $10,000 ต่อคนต่อปี
