NVIDIA hiện đang quảng cáo số tiền mà các công ty muốn đào tạo các mô hình LLM AI có thể tiết kiệm được khi sử dụng GPU của công ty. Theo ước tính của họ, giá đào tạo LLM của họ sẽ giảm từ 10 triệu đô la xuống chỉ còn 400.000 đô la.

Giám đốc điều hành NVIDIA JEnsen chia sẻ cách GPU có thể tăng tốc gấp 10 lần chỉ trong 5 năm với cùng chi phí

Điều này xảy ra khi NVIDIA công bố một số điều mới trong sự kiện Computex 2023, nhắm vào ngành công nghiệp CPU. Jensen Huang, Giám đốc điều hành của NVIDIA, đã dành thời gian trong bài phát biểu của mình để nêu bật AI tổng quát và điện toán tăng tốc, gọi đó là “tương lai của điện toán”.

Theo một câu chuyện của WCCF Tech, sau đó anh ấy gợi ý rằng những người sử dụng GPU của họ sẽ nhận được tốc độ tăng gấp 10 lần chỉ sau 5 năm trong khi vẫn duy trì sức mạnh và chi phí như cũ. Về tương lai, anh ấy tuyên bố rằng phần lớn khả năng tăng tốc sẽ đến từ các phương pháp tiếp cận dựa trên AI tổng quát và điện toán tăng tốc.

Có bao nhiêu máy chủ CPU và máy chủ GPU 10 triệu đô la sẽ đạt được

Sau đó, ông giải thích rằng cần có một máy chủ trị giá 10 triệu USD với 960 CPU để đào tạo một mô hình ngôn ngữ lớn (LLM). NVIDIA ước tính điều này bằng cách tính toán chi phí của một cụm máy chủ hoàn chỉnh, bao gồm vỏ bọc, kết nối mạng, v.v.

Công ty ước tính rằng công ty sẽ mất 10 triệu đô la để đào tạo một LLM. Chi phí cũng tăng lên khi mô hình yêu cầu tổng cộng 11 GWh để đào tạo.

Jensen sau đó nói rằng nếu bạn quyết định đầu tư 10 triệu đô la đó vào một cụm GPU, thì công ty điện lực sẽ có đủ để đào tạo 44 LLM với cùng chi phí. Giám đốc điều hành của NVIDIA cũng nhấn mạnh khả năng tiết kiệm điện có thể đạt được từ quyết định này, cho biết công ty sẽ tiết kiệm được 3,2 GWh trong kịch bản này.

Chuyển sang ISO có thể thấy các công ty tăng tốc đào tạo của họ lên 150 lần

Kịch bản này được gọi là chi phí ISO trong phân tích TCO và bằng cách chuyển sang ISO, các công ty có thể tăng tốc độ đào tạo của họ lên 150 lần. Điều này đủ để đào tạo 150 LLM với cùng mức tiêu thụ điện năng 11 GWh.

Tuy nhiên, cũng lưu ý rằng để đào tạo 150 LLM, công ty sẽ phải đầu tư 34 triệu USD. Báo cáo nêu bật sự khác biệt giữa các mô hình CPU và GPU trong đào tạo LLM AI. Gần đây, NVIDIA đã xuất bản một bài đăng trên blog có tiêu đề “Giám đốc điều hành NVIDIA tiết lộ nền tảng AI thế hệ mới cho mọi ngành”, trong đó nêu chi tiết hơn về DGX GH200, một công cụ mới dành cho AI doanh nghiệp.

Đọc thêm: Công nghệ AI mới của NVIDIA giúp tương tác với NPC trở nên tự nhiên hơn! Đây là những điều bạn cần biết về Avatar Cloud Engine

Đào tạo LLM đơn lẻ với GPU Chi phí chỉ 400.000 đô la với mức tiêu thụ điện năng chỉ 0,13 GWh

Sau đó, người ta tiết lộ rằng đối với một LLM duy nhất, giá sẽ thấp hơn đáng kể chỉ với 400.000 đô la chi phí máy chủ GPU. Đối với mức tiêu thụ điện, người ta thấy rằng công ty chỉ cần một phần nhỏ so với số GWh thông thường để vận hành nó.

Cụ thể, công ty chỉ cần 0,13 GWh để đào tạo một mẫu GPU trị giá 400.000 USD. NVIDIA quảng bá cách các công ty có thể chỉ tốn 4% chi phí thông thường để đào tạo các mô hình LLM với mức tiêu thụ điện năng chỉ 1,2% so với con số thông thường.

Những bài viết liên quan: Thông tin về bệnh ung thư ChatGPT có thể tin cậy được không? Nghiên cứu mới cho biết chính xác 97% — nhưng, đây là điểm mấu chốt