Elon Musk và Cuộc Chinh Phục 100.000 GPU Nvidia H100 cho Dự Án AI Grok

Vì sao Elon Musk nhất quyết 'đòi' mua 100.000 GPU Nvidia H100 để huấn luyện mô hình AI Grok thế hệ mới?
Elon Musk đang tìm cách mua 100.000 GPU Nvidia H100 để đẩy mạnh dự án AI Grok, đối mặt với thách thức về nguồn cung và nhu cầu điện năng cao.

Elon Musk và Cuộc Chinh Phục 100.000 GPU Nvidia H100 cho Dự Án AI Grok

Elon Musk, CEO của Tesla và người đứng sau dự án xAI, đã đặt ra mục tiêu đầy tham vọng trong việc phát triển trí tuệ nhân tạo tổng quát (AGI). Ông tin rằng AGI sẽ sớm vượt qua trí tuệ của con người, dự kiến vào năm sau hoặc năm 2026. Tuy nhiên, để đạt được điều này, một lượng lớn bộ xử lý hiệu suất cao và điện năng đáng kể là cần thiết.

Nhu Cầu Tăng Cao cho GPU Nvidia H100

Dự án xAI của Musk đang trong quá trình huấn luyện phiên bản thứ hai của mô hình ngôn ngữ lớn Grok. Giai đoạn huấn luyện tiếp theo dự kiến sẽ hoàn thành vào tháng Năm, với việc sử dụng tới 20,000 GPU Nvidia H100. Tuy nhiên, Musk dự đoán rằng các phiên bản tương lai của Grok sẽ cần đến 100,000 chip Nvidia H100 để hoàn thành quá trình huấn luyện. "Sự tiến bộ của công nghệ AI hiện nay đang bị cản trở bởi hai yếu tố chính: thiếu hụt nguồn cung cấp các bộ xử lý tiên tiến - như Nvidia H100, vì không dễ để nhanh chóng có được 100,000 chiếc - và nguồn cung điện," Musk nhấn mạnh.

Thách Thức về Nguồn Cung Điện

Mỗi GPU Nvidia H100 tiêu thụ khoảng 700W khi hoạt động hết công suất, đồng nghĩa với việc 100,000 GPU sẽ tiêu thụ tới 70 megawatt điện. Điều này chưa tính đến nhu cầu điện của máy chủ và hệ thống làm mát, khiến tổng mức tiêu thụ điện có thể lên tới 100 megawatt, tương đương với một thành phố nhỏ. Musk cho biết, nguồn cung điện sẽ trở thành một yếu tố quan trọng trong việc mở rộng công nghệ AI trong tương lai gần.

Tiến Bộ trong Kiến Trúc Tính Toán và Bộ Nhớ

Mặc dù đối mặt với những thách thức, sự tiến bộ trong kiến trúc tính toán và bộ nhớ mở ra cánh cửa cho việc huấn luyện các mô hình ngôn ngữ lớn (LLMs) với quy mô lớn hơn. Nvidia đã giới thiệu Blackwell B200 tại GTC 2024, một kiến trúc GPU và nền tảng mới được thiết kế để hỗ trợ LLMs với hàng nghìn tỷ tham số. Điều này sẽ đóng một vai trò quan trọng trong việc phát triển AGI.

Musk tin tưởng vào sự xuất hiện của một trí tuệ nhân tạo vượt trội so với trí tuệ của con người thông minh nhất trong một hoặc hai năm tới. "Nếu bạn định nghĩa AGI là thông minh hơn con người thông minh nhất, tôi nghĩ đó là năm sau, trong vòng hai năm," Musk đã chia sẻ trong một cuộc phỏng vấn trên X Spaces.

Những nỗ lực của Musk trong việc mua 100,000 GPU Nvidia H100 cho dự án AI Grok không chỉ thể hiện sự quyết tâm của ông trong việc đẩy mạnh sự phát triển của trí tuệ nhân tạo mà còn làm nổi bật những thách thức về nguồn cung và nhu cầu điện năng mà ngành công nghiệp này đang phải đối mặt.

Nguồn: Báo CafeF

[question] Elon Musk dự đoán AGI sẽ vượt qua trí tuệ con người vào năm nào?,Mô hình ngôn ngữ lớn Grok phiên bản thứ hai cần bao nhiêu GPU Nvidia H100 để huấn luyện?
2 Lượt thích