Đồng sáng lập OpenAI, cựu giám đốc AI tại Tesla Andrej Karpathy đã công bố việc gia nhập Anthropic trên X vào ngày 19 tháng 5. Từ tuần này, ông bắt đầu dẫn dắt nhóm chủ trì nghiên cứu giai đoạn tiền huấn luyện cho Claude. Anthropic xác nhận, tiền huấn luyện là giai đoạn huấn luyện nền tảng nhằm trang bị cho Claude năng lực ngôn ngữ cốt lõi, đồng thời cũng là khâu có chi phí tính toán cao nhất trong toàn bộ quy trình xây dựng mô hình AI.
Xác nhận nhiệm vụ tiền huấn luyện: giai đoạn đắt đỏ nhất để tạo nên năng lực cốt lõi cho Claude
Thông báo chính thức của Anthropic xác nhận, Karpathy chịu trách nhiệm nghiên cứu tiền huấn luyện của Claude, tức là huấn luyện nền tảng cho mô hình bằng dữ liệu văn bản quy mô lớn, qua đó quyết định năng lực cốt lõi về hiểu ngôn ngữ và suy luận của mô hình. Karpathy từng kết hợp tác nhân mã hóa AI với mô hình ngôn ngữ nhỏ vào năm 2024, thực hiện 700 thí nghiệm trong 2 ngày và thành công rút ngắn 11% thời gian huấn luyện mô hình lớn. Phương pháp nghiên cứu tự động này trong ngành được gọi là “Karpathy Loop”.
Dấu mốc sự nghiệp của Karpathy: từ OpenAI đến Anthropic
Karpathy là một trong những đồng sáng lập OpenAI năm 2015. Năm 2017, Elon Musk trong thời gian vừa kiêm nhiệm vị trí ở Tesla vừa kiêm nhiệm ở hội đồng OpenAI đã “chiêu mộ” ông về Tesla làm giám đốc AI, dẫn dắt đội hình ảnh máy tính cho hệ thống lái xe tự động. Tài liệu tòa án cho thấy, lúc đó Musk đánh giá Karpathy là “người ngồi ghế số hai về thị giác máy tính trên toàn cầu”, đồng thời nói: “Người của OpenAI sẽ muốn giết ông ấy, nhưng đây là việc bắt buộc phải làm.”
Karpathy rời Tesla vào năm 2022, quay lại OpenAI trong thời gian ngắn, sau đó thành lập công ty khởi nghiệp giáo dục AI Eureka Labs. Ông cũng là người đề xuất “Vibe Coding” — người dùng ra lệnh cho trợ lý viết mã AI thông qua prompt, không cần tự viết mã trực tiếp; khái niệm này nhanh chóng trở thành thuật ngữ phổ biến trong cộng đồng phát triển AI.
Diễn biến nhân sự Anthropic được xác nhận trong tháng này
Ross Nordeen (thành viên sáng lập xAI) gia nhập Anthropic sớm hơn thời điểm Karpathy công bố trong tháng này. Anthropic cũng xác nhận, Chris Rohlf — từng làm việc tại Yahoo và Meta, có 20 năm kinh nghiệm về an ninh mạng — gia nhập đội red team tiên phong, tham gia công việc thử nghiệm áp lực (stress test). Cùng ngày Nordeen thông báo gia nhập, Anthropic và SpaceX đạt thỏa thuận thuê năng lực tính toán của xAI. Anthropic được đồng sáng lập bởi 7 cựu nhân viên OpenAI vào năm 2021, gồm CEO hiện tại Dario Amodei và tổng giám đốc hiện tại Daniela Amodei.
Câu hỏi thường gặp
Tiền huấn luyện trong phát triển mô hình AI đóng vai trò gì, và vì sao chi phí lại cao đến vậy?
Tiền huấn luyện là quá trình huấn luyện nền tảng cho mô hình AI bằng dữ liệu văn bản quy mô lớn, quyết định khả năng hiểu ngôn ngôn, suy luận và tích lũy kiến thức của mô hình. Trong quá trình huấn luyện, cần khối lượng lớn năng lực tính toán GPU chạy liên tục trong nhiều tuần đến nhiều tháng; đây là khâu tiêu tốn năng lực tính toán nhiều nhất và chi phí cao nhất trong toàn bộ quy trình phát triển mô hình AI. Đồng thời, đây cũng là tiền đề cho các bước sau như tinh chỉnh (Fine-tuning) và huấn luyện căn chỉnh an toàn (Alignment).
Khái niệm cụ thể của Vibe Coding là gì, Karpathy định nghĩa nó như thế nào?
Vibe Coding (lập trình theo “khí chất”) là phương thức phát triển có hỗ trợ AI do Karpathy đề xuất — người dùng chủ yếu chịu trách nhiệm cho việc hình thành ý tưởng và logic, sau đó thông qua các chỉ dẫn prompt ngôn ngữ tự nhiên để AI tạo ra mã lệnh cho trợ lý viết mã, mà không cần tự viết. Sau khi khái niệm này được đưa ra, nó nhanh chóng trở thành thuật ngữ được cộng đồng phát triển AI áp dụng rộng rãi, phản ánh mô hình thiết kế lập trình cộng tác giữa người và máy trong đó AI là trung tâm.
Anthropic có mối liên hệ cụ thể nào với OpenAI trong việc thành lập không?
Anthropic được đồng sáng lập vào năm 2021 bởi bảy cựu nhân viên OpenAI, gồm Dario Amodei (CEO hiện tại) và Daniela Amodei (tổng giám đốc hiện tại). Sau đó, lần lượt có các cựu nhân viên OpenAI gia nhập, bao gồm John Schulman chuyển sang Anthropic vào năm 2024 và lần này là Karpathy.
