Siêu máy tính “nhà làm” của Tesla đứng hạng 7 toàn cầu về số lượng GPU

[nguoiduatinabc]

Tesla có 1 hệ thống siêu máy tính (supercomputer) tự xây dựng nội bộ, có sức mạnh đến từ hàng nghìn card đồ họa.

Năm 2021, siêu máy tính của Tesla được trang bị 5760 GPU NVIDIA A100, và vừa được bổ sung thêm 1600 GPU tương tự (tăng thêm 28%), nâng tổng số lên 7360 GPU A100.

Điều này cũng giúp siêu máy tính nắm giữ vị trí thứ 7 trên toàn cầu xét về số lượng GPU bên trong.



NVIDIA A100 là mẫu GPU được sản xuất dựa trên nền kiến trúc Ampere, cũng chính là kiến trúc của GeForce RTX 3000 Series hiện tại, nhưng nhắm đến sử dụng trong các trung tâm dữ liệu. NVIDIA A100 có bộ nhớ đồ họa HBM2e dung lượng 80 GB, cung cấp băng thông đến 2 TBps và cần được cấp nguồn năng lượng 400 W. Dĩ nhiên, để phù hợp cho môi trường đặc thù, kiến trúc của A100 được tinh chỉnh để có thể tăng tốc cho các tác vụ tính toán trong AI, phân tích dữ liệu và ứng dụng HPC (High Performance Computing).

Khi ra mắt hồi tháng 6/2020, NVIDIA lúc đó đã trình diễn hệ thống ứng dụng A100 GPU - NVIDIA DGX A100 - với 8 card đồ họa được kết nối với nhau thông qua NVSwitch, cho băng thông 2 chiều đến 4.8 TBps. Hiệu năng INT8 của 1 node NVIDIA DGX A100 lên tới 10 PetaOPS, FP16 là 5 PFLOPS, TF32 là 2.5 TFLOPS và FP64 và 156 TFLOPS. Đó là sức mạnh tổng hợp của 8 card NVIDIA A100, trong khi siêu máy tính mà Tesla đang sở hữu có chứa đến 7360 GPU này, tức gấp 920 lần.

Tesla không công bố cụ thể về sức mạnh thật sự của siêu máy tính này, tuy nhiên dựa trên siêu máy tính Perlmutter tại NERSC (National Energy Research Scientific Computing Center) của Bộ Năng lượng Hoa Kỳ, chúng ta có thể hình dung được phần nào. Perlmutter trang bị 6144 GPU NVIDIA A100, đạt được 70.87 PetaFLOPS khi benchmark bằng Linpack, do đó siêu máy tính của Tesla có khả năng đạt được khoảng đâu đó 100 PetaFLOPS Linpack. Đứng đầu bảng Top500 hiện tại là siêu máy tính Frontier của Oak Ridge National Laboratory, sức mạnh đo được là 1102 PetaFLOPS Linpack.

Dù nâng cấp thêm cho supercomputer nội bộ nhưng Tesla không có ý định tiếp tục về lâu dài. Năm 2020, Elon Musk lần đầu tiên công bố về siêu máy tính Dojo, và supercomputer hiện tại đơn thuần chỉ là tiền thân cho Dojo mà thôi.

Năm 2021, Tesla cũng đã cho biết về con chip D1 Dojo, được thiết kế để thay thế NVIDIA GPU và mang lại băng thông cũng như hiệu năng tối đa. D1 Dojo là 1 ASIC (Application Specific Integrated Circuit) được thiết kế riêng, nhắm đến huấn luyện AI, sản xuất trên node N7 của TSMC, có khoảng 50 tỉ transistor.