Intel và startup nghiên cứu chip Habana Labs vừa công bố kết quả benchmark MLPerf của chip Intel Gaudi2, một con chip nghiên cứu machine learning. Trong lĩnh vực chip nghiên cứu AI, hiện tại Intel và Habana Labs Gaudi2 là đối thủ duy nhất của Nvidia ( và H100) trên thị trường.
Theo gã khổng lồ mảng CPU tiêu dùng, Gaudi2 có hiệu năng/giá thành tốt hơn so với chip A100 thế hệ trước của Nvidia, đặc biệt trong tác vụ tính toán FP16. Trong tháng 9, Habana Labs đặt mục tiêu vượt qua hiệu năng FP8 của H100 mới nhất của Nvidia. Giá bán của A100 hiện tại khoảng 10 nghìn USD mỗi chip, trong khi một chip H100 có giá lên tới 40 nghìn USD. Các kết quả benchmark của Gaudi2 được Intel chia sẻ như sau: Sử dụng 384 chip tăng tốc xử lý, thời gian huấn luyện mô hình GPT-31 là 311 phút.
Khả năng scale quy mô hệ thống: Khi sử dụng 384 chip, hiệu năng huấn luyện mô hình GPT-3 tăng đến 95% so với việc sử dụng 256 chip xử lý đồng thời. Phần mềm đã được cải thiện hơn, khi sử dụng chip Gaudi2 để xử lý mô hình BERT và ResNet, hiệu năng tăng lần lượt là 10% và 4% so với số liệu benchmark tháng 11/2022.
Các con số trên đạt được mà không cần ép xung hoặc tùy chỉnh đặc biệt cho chip Gaudi2, điều này có nghĩa là khách hàng doanh nghiệp và tổ chức nghiên cứu sẽ có được sức mạnh tương tự ngay sau khi mua chip về trang bị cho hệ thống train AI.
Việc so sánh trực tiếp giữa Intel Gaudi2 và Nvidia A100 không thể thực hiện một cách cụ thể và chính xác, vì Nvidia quảng cáo rằng A100 có thể huấn luyện mô hình GPT-31 trong 45 phút, nhưng cần sử dụng nhiều GPU hơn, điều này tương đương với việc tăng chi phí đầu tư vào phần cứng.
Để so sánh Gaudi2 và A100, không chỉ cần xem xét kết quả benchmark của từng chip đơn lẻ như các sản phẩm tiêu dùng, mà còn phải tính đến tổng chi phí vận hành, bao gồm tiền mua chip, tiền xây dựng hệ thống, chi phí vận hành hệ thống và điện năng tiêu thụ cho cả chip và hệ thống làm mát.
Tuy nhiên, hiện tại các phép so sánh không có nhiều giá trị vì Nvidia không cung cấp đủ số lượng chip, trong khi nhu cầu nghiên cứu AI do sự phát triển mạnh mẽ của cơn sốt ChatGPT vẫn tiếp tục tăng. Do đó, có những đơn vị sẵn sàng chọn AMD Instinct MI300X hoặc Intel Gaudi2, bởi vì họ không thể mua được Nvidia A100 hoặc H100.
Nguồn: WCCFTech
