NVIDIA JetPack 7.2 hỗ trợ trực tiếp việc triển khai NVIDIA NemoClaw chỉ bằng một lệnh duy nhất , một bộ công nghệ mã nguồn mở bổ sung các biện pháp kiểm soát quyền riêng tư và bảo mật cho OpenClaw. Nó giới thiệu NVIDIA Agent Skills (bộ kỹ năng dành cho AI Agent) cho Jetson — Jetson Device-side Skills (bộ kỹ năng chạy trực tiếp trên thiết bị Jetson) và Jetson BSP skills — và mở rộng bộ công nghệ tính toán và khả năng tác nhân mới nhất cho NVIDIA Jetson Orin . Nền tảng phần mềm định nghĩa Jetson giúp điều này trở nên khả thi: cùng một phần cứng tiếp tục mang lại nhiều giá trị hơn với mỗi bản phát hành phần mềm.

Bài viết này giới thiệu các tính năng và khả năng mới của JetPack 7.2, bao gồm:

• Hỗ trợ tính năng Multi-Instance GPU (MIG) trên NVIDIA Jetson Thor giúp thực thi đa tác vụ một cách xác định.
• Hỗ trợ chính thức từ Yocto Project cho các bản phân phối Linux tùy chỉnh, giúp cải thiện hơn nữa hiệu quả hệ thống.
• Chế độ Siêu cấp dành cho Jetson AGX Orin 32 GB giúp tăng hiệu năng AI và tiết kiệm chi phí hơn tại biên.

Nhìn chung, những bản cập nhật này giúp các nhà phát triển khai thác tối đa phần cứng Jetson hiện có, đẩy nhanh thời gian đưa sản phẩm ra thị trường và giảm tổng chi phí sở hữu.

NVIDIA JetPack 7.2 đã sẵn sàng cho việc tích hợp tác nhân phần mềm như thế nào?

Với JetPack 7.2, Jetson đã sẵn sàng sử dụng NemoClaw ngay từ khi cài đặt. JetPack 7.2 được cấu hình sẵn với các phụ thuộc và ngăn xếp phần mềm cần thiết, vì vậy bạn có thể triển khai và chạy các quy trình làm việc dựa trên NemoClaw trên Jetson mà không cần thiết lập môi trường thủ công. Điều này cho phép bạn dễ dàng xây dựng các ứng dụng Physical AI dựa trên tác nhân trong lĩnh vực robot, tự động hóa công nghiệp, tác nhân thị giác và hệ thống Edge AI.

Để cài đặt NemoClaw trên thiết bị Jetson chạy JetPack 7.2, hãy chạy lệnh duy nhất sau:

Các kỹ năng của tác nhân NVIDIA dành cho Jetson trong JetPack 7.2

JetPack 7.2 cũng cung cấp cho các nhà phát triển các kỹ năng tác nhân Jetson để xây dựng và tối ưu hóa các ngăn xếp phần mềm Jetson bằng cách sử dụng các tác nhân AI. Các kỹ năng tác nhân là một tập hợp các hướng dẫn có thể lặp lại và có thể thực thi bởi tác nhân, xác định công cụ nào cần gọi, đầu ra nào cần tạo ra và cách xác thực kết quả. Thay vì cấu hình thủ công từng bước của quy trình phát triển, các nhà phát triển có thể tận dụng các kỹ năng tác nhân thông qua một tác nhân để xử lý các tác vụ này một cách tự động.

Các kỹ năng của tác nhân Jetson áp dụng mô hình này cụ thể vào quy trình phát triển phần mềm Jetson. Các quy trình do tác nhân điều khiển này giúp tự động hóa các tác vụ phát triển phổ biến như tùy chỉnh Jetson Linux, tối ưu hóa bộ nhớ, đánh giá hiệu năng mô hình và cấu hình triển khai. Với cả triển khai phía thiết bị và phía BSP, các nhà phát triển có thể sử dụng các kỹ năng của tác nhân để giảm độ phức tạp trong phát triển và tăng tốc quá trình từ tạo mẫu đến triển khai sản phẩm trên nền tảng Jetson.

JetPack 7.2 cung cấp ba loại kỹ năng:

• Kỹ năng tùy chỉnh Jetson Linux: Hướng dẫn một Agent xây dựng và tùy chỉnh BSP từ đầu cho các bo mạch chủ tùy chỉnh. Điều này bao gồm cấu hình I/O, cài đặt xung nhịp, điều khiển quạt, cấu hình nguồn hoặc bất kỳ mô-đun nào khác cho một thiết kế phần cứng cụ thể. Các tác vụ trước đây cần nhiều tuần thực hiện thủ công giờ đây có thể được xử lý bởi một Agent, giúp giảm thời gian đưa sản phẩm ra thị trường cho các thiết kế Jetson tùy chỉnh.
• Kỹ năng tối ưu hóa bộ nhớ (Memory Optimization Skills): Giúp tối ưu việc sử dụng bộ nhớ trên toàn bộ ngăn xếp phần mềm. Các kỹ năng này có thể phân tích và tối ưu từ khâu phân bổ bộ nhớ cho bootloader, tinh chỉnh vùng bộ nhớ dành riêng cho nhân Linux, loại bỏ các tiến trình không cần thiết ở không gian người dùng (user space), cho đến xây dựng cấu hình phần mềm có mức sử dụng bộ nhớ tối ưu nhất cho từng workload cụ thể. Nhờ đó, các ứng dụng AI và workload phức tạp hơn có thể vận hành trên những cấu hình bộ nhớ thấp hơn, góp phần giảm trực tiếp Tổng Chi Phí Sở Hữu (Total Cost of Ownership – TCO).
• Kỹ năng đánh giá hiệu năng mô hình: Giúp bạn xác định cấu hình mô hình tốt nhất cho trường hợp sử dụng của mình. Các kỹ năng này bao gồm đánh giá hiệu năng mô hình, tối ưu hóa suy luận và chẩn đoán Jetson. Ví dụ, một nhà phát triển xây dựng ứng dụng dựa trên NemoClaw có thể sử dụng các kỹ năng này để xác định mô hình nào chạy hiệu quả nhất trên thiết bị mục tiêu của họ cho nhiệm vụ cụ thể.

Cùng với ba loại kỹ năng này, NVIDIA cũng giới thiệu các kỹ năng giúp các tác nhân xây dựng quy trình xử lý hình ảnh bằng cách sử dụng NVIDIA DeepStream và NVIDIA Metropolis Blueprint cho Tìm kiếm và Tóm tắt Video (VSS).

Để tìm hiểu thêm và bắt đầu, hãy xem các kỹ năng phía thiết bị Jetson và các kỹ năng BSP của Jetson trên GitHub.

Công nghệ MIG trên Jetson Thor cho phép phân vùng GPU cho các workloads có mức độ quan trọng khác nhau.

JetPack 7.2 trên Jetson Thor giới thiệu hỗ trợ MIG , cho phép phân vùng GPU NVIDIA Blackwell tích hợp thành hai phiên bản GPU riêng biệt với băng thông tính toán, bộ nhớ đệm và bộ nhớ đệm chuyên dụng. Điều này cho phép nhiều workloads AI chạy đồng thời với hiệu suất ổn định và hạn chế ảnh hưởng lẫn nhau giữa các tác vụ.

Kết hợp với nhân Preemptible RT trong JetPack 7, MIG giúp tạo ra môi trường thực thi ổn định hơn cho các hệ thống có mức độ quan trọng khác nhau. Tính ổn định của workloads rất quan trọng đối với các hệ thống AI vật lý như robot hình người , máy tự hành , tự động hóa công nghiệp và thiết bị y tế . Điều này là do các workloads nhận thức, lập kế hoạch, điều khiển, AI tạo sinh và an toàn thường chia sẻ một SoC duy nhất, nơi sự tranh chấp tài nguyên có thể gây ra độ trễ không ổn định trong các quy trình xử lý nhạy cảm về thời gian.

Với MIG trên Jetson Thor, các nhà phát triển có thể dành riêng tài nguyên GPU cho các tác vụ robot nhạy cảm với độ trễ trong khi vẫn chạy các mô hình suy luận AI hoặc AI tạo sinh trên một phân vùng riêng biệt. Điều này giúp duy trì độ trễ và chất lượng dịch vụ có thể dự đoán được cho các tác vụ như nhận thức, hợp nhất cảm biến, lập kế hoạch chuyển động và giám sát an toàn. JetPack 7.2 hỗ trợ hai phân vùng MIG trên Jetson Thor:

1. Phân vùng AI và đồ họa lớn hơn dành cho suy luận, kết xuất, trực quan hóa và các tác vụ NVIDIA CUDA nói chung (12 SM, 1536 lõi CUDA)
2. Phân vùng tính toán riêng biệt thứ hai dành cho robot, điều khiển, nhận thức hoặc các tác vụ quan trọng về an toàn (8 SM, 1024 lõi CUDA)

Các ứng dụng, vùng chứa và dịch vụ có thể được gán cho các phân vùng MIG cụ thể bằng cách sử dụng các điều khiển CUDA Runtime tiêu chuẩn và tích hợp NVIDIA Container Toolkit . Điều này đặc biệt quan trọng đối với robot hình người thế hệ tiếp theo chạy nhiều quy trình AI trên các miền thời gian khác nhau, nơi các vòng điều khiển, nhận thức AI và suy luận AI tạo sinh phải cùng tồn tại một cách đáng tin cậy trên một nền tảng nhúng duy nhất.

Bằng cách mang khả năng phân vùng GPU cấp trung tâm dữ liệu đến điện toán AI nhúng, JetPack 7.2 cho phép các hệ thống Edge AI mạnh mẽ hơn với khả năng dự đoán và độ tin cậy được cải thiện cho việc triển khai thực tế. Tìm hiểu thêm về MIG trên Jetson Thor .

Giới thiệu tính năng hỗ trợ Yocto Project trên NVIDIA Jetson.

Bắt đầu từ JetPack 7.2, NVIDIA cung cấp hỗ trợ chính thức cho Dự án Yocto trên Jetson , bao gồm các công thức đã được kiểm chứng và hình ảnh tham chiếu cho bộ công cụ phát triển Jetson. Dự án Yocto là một dự án mã nguồn mở của Linux Foundation cung cấp các công cụ để xây dựng các bản phân phối Linux tùy chỉnh cho các kiến ​​trúc phần cứng nhúng.

NVIDIA hiện đang dẫn đầu các đóng góp về lộ trình phát triển với chu kỳ phát hành thường xuyên cho lớp OE4T. NVIDIA sở hữu đường dẫn CI/CD, SQA và phát hành các ảnh tham chiếu đã được xác thực cho bộ công cụ phát triển Jetson. Và các nhà phát triển có quyền truy cập vào tài liệu kỹ thuật và hỗ trợ diễn đàn chuyên dụng.

Dự án Yocto mang lại ba lợi ích cốt lõi cho các nhà phát triển Jetson:

• Khả năng tùy chỉnh: Cho phép bạn xây dựng các ảnh hệ thống được tùy chỉnh chặt chẽ, chỉ bao gồm các dịch vụ, trình điều khiển và thư viện cần thiết, thay vì điều chỉnh ảnh NVIDIA Ubuntu L4T. Điều này giúp giảm lượng bộ nhớ sử dụng và tối ưu hóa hiệu năng hệ thống cho ứng dụng mục tiêu.
• Khả năng tái tạo: Yocto Project tạo ra các bản dựng hình ảnh giống hệt nhau giữa các lần chạy, đơn giản hóa quy trình gỡ lỗi, kiểm thử và chứng nhận. Điều này đặc biệt có giá trị trong các lĩnh vực được quản lý chặt chẽ như y tế và công nghiệp.
• Hệ sinh thái mở. Truy cập hàng ngàn công thức và lớp cộng đồng dành cho các khung AI, giao thức công nghiệp và phần mềm trung gian tùy chỉnh.

Để giúp bạn quyết định khi nào nên sử dụng L4T/JetPack so với OE4T/Yocto Project, hãy tham khảo Hướng dẫn Quyết định dành cho Nhà phát triển trong Hình 3.

Với sự hỗ trợ chính thức của Yocto Project trên Jetson, NVIDIA cũng đã xây dựng một hệ sinh thái mạnh mẽ gồm các đối tác phân phối, nhà cung cấp phần mềm độc lập (ISV) và nhà sản xuất thiết bị gốc (ODM) để đẩy nhanh và đơn giản hóa quá trình phát triển Yocto Project trên nền tảng Jetson. Các đối tác này cung cấp nhiều dịch vụ bao gồm các bản phân phối Linux sẵn sàng cho sản xuất, tùy chỉnh BSP, hỗ trợ dài hạn, giải pháp quản lý hệ thống, chuyên môn về đa phương tiện và ISP, cũng như các tích hợp tập trung vào bảo mật.

Các công ty như Konsulko Group và Peridio cung cấp các giải pháp hệ điều hành hoàn chỉnh như Konsulko Orca OS và Avocado OS , trong khi Balena tập trung vào quản lý và triển khai hệ thống dựa trên container ở quy mô lớn. Các đối tác khác của NVIDIA bao gồm Neurealm , RidgeRun và Wind River , những đơn vị cung cấp các dịch vụ kỹ thuật và nghiên cứu phát triển mới (NRE) toàn diện với chuyên môn sâu rộng về Linux nhúng, tùy chỉnh BSP, đường dẫn đa phương tiện và hỗ trợ nền tảng dài hạn. Cùng nhau, hệ sinh thái này cho phép các nhà phát triển nhanh chóng triển khai, tùy chỉnh và mở rộng quy mô các giải pháp dựa trên Yocto trên Jetson.

Ngoài các đối tác phân phối và nhà cung cấp phần mềm độc lập (ISV), NVIDIA cũng hợp tác chặt chẽ với một hệ sinh thái đối tác mạnh mẽ nhằm giúp khách hàng đẩy nhanh quá trình phát triển và triển khai sản phẩm trên nền tảng Jetson. Các đối tác như AAEON, Advantech, Antmicro, ASUS, AVerMedia, Connect Tech, EDOM và YUAN cung cấp nhiều giải pháp phần cứng đa dạng, bao gồm carrier board (bo mạch mở rộng cho Jetson), hệ thống AI biên (Edge AI System), nền tảng nhúng công nghiệp, giải pháp thu nhận video (video capture) và các thiết kế tham chiếu (reference design) được tối ưu hóa cho Jetson. Hệ sinh thái đối tác này cho phép các nhà phát triển nhanh chóng tạo mẫu (prototype) và mở rộng quy mô các giải pháp AI và điện toán biên (Edge Computing) sẵn sàng cho triển khai thực tế. Các nền tảng phần cứng được thiết kế chuyên biệt cho nhiều lĩnh vực như robot, tự động hóa công nghiệp, thành phố thông minh, chăm sóc sức khỏe, bán lẻ và các ứng dụng AI nhúng khác.

Thống nhất hệ sinh thái Jetson và khai thác tối đa hiệu năng.

JetPack 7.2 mở rộng nền tảng tính toán dựa trên Ubuntu 24.04, nhân 6.8 và CUDA Toolkit 13.0 (được giới thiệu cùng với Jetson Thor) cho dòng sản phẩm Jetson Orin, đưa cả hai nền tảng lên một nền tảng phần mềm thống nhất duy nhất. Với một nền tảng chung giữa Orin và Thor, bạn có thể triển khai liền mạch các ứng dụng AI mới nhất trên toàn bộ danh mục sản phẩm Jetson đồng thời tận dụng các khả năng, thư viện và tối ưu hóa hiệu năng CUDA mới nhất.

Cách tiếp cận thống nhất này giúp giảm đáng kể nỗ lực kỹ thuật cần thiết để hỗ trợ nhiều nền tảng phần cứng, đơn giản hóa việc phát triển ứng dụng, xác thực, triển khai và bảo trì hệ thống lâu dài.

JetPack 7.2 cũng giới thiệu Chế độ Siêu cấp mới cho Jetson AGX Orin 32 GB, mở khóa cấu hình GPU và nguồn điện cao hơn, giúp hiệu năng của nó gần hơn với Jetson AGX Orin 64 GB. Bằng cách tăng tần số GPU từ 930 MHz lên 1,3 GHz và cho phép mức công suất cao hơn lên đến 60W, Chế độ Siêu cấp giúp tăng hiệu năng AI từ 200 TOPS lên 241 TOPS, tăng hơn 20% so với cấu hình AGX Orin 32 GB tiêu chuẩn.

Sự cải tiến này cho phép khách hàng đạt được hiệu năng gần như tương đương với AGX Orin 64 GB cao cấp nhất bằng cách sử dụng Jetson AGX Orin 32 GB, đồng thời giảm chi phí mô-đun xuống 45%. Chế độ Siêu cấp mới giúp mô-đun 32 GB trở thành lựa chọn tiết kiệm chi phí cho các ứng dụng trí tuệ nhân tạo tạo sinh, robot và AI tại biên.

Hãy bắt đầu sử dụng NVIDIA JetPack 7.2 ngay thôi!

JetPack 7.2 mang lại nhiều giá trị hơn từ cùng một phần cứng Jetson thông qua phần mềm. Khi trí tuệ nhân tạo dựa trên tác nhân (agent-AI) chuyển sang điện toán biên và chi phí bộ nhớ vẫn là một hạn chế thực sự trong các triển khai sản xuất, phiên bản này giải quyết trực tiếp cả hai vấn đề đó.

Các tính năng bao gồm triển khai NVIDIA NemoClaw chỉ bằng một lệnh duy nhất, khả năng tối ưu hóa bộ nhớ và quy trình làm việc cho Jetson, hỗ trợ chính thức của Dự án Yocto cho các bản dựng sản xuất gọn nhẹ và có thể tái tạo, và MIG trên Jetson Thor để thực thi đa nhiệm có tính xác định. Với JetPack 7.2, bạn có thể làm được nhiều hơn trên phần cứng hiện có trong khi xây dựng hướng tới các workloads dựa trên tác nhân ngày càng mạnh mẽ hơn ở tại biên.

Tải xuống JetPack 7.2 để bắt đầu triển khai trí tuệ nhân tạo tại biên. Để được hỗ trợ và giải đáp thắc mắc, hãy truy cập Diễn đàn Nhà phát triển NVIDIA .

Những thách thức lớn trong phân tích video truyền thống

Hiện nay, việc xử lý hàng tỷ giờ video đang gặp phải ba rào cản chính:

1. Độ chính xác tìm kiếm thấp: Các hệ thống cũ thường bị giới hạn bởi các thuộc tính đã được huấn luyện sẵn, dẫn đến kết quả tìm kiếm không được xác minh và thiếu linh hoạt.
2. Mệt mỏi vì cảnh báo (Alert Fatigue): Các cảm biến kích hoạt quá nhiều cảnh báo giả mà không có ngữ cảnh, khiến con người không thể xử lý xuể.
3. Báo cáo thủ công tẻ nhạt: Việc xem lại video để trích xuất thông tin và lập báo cáo tiêu tốn rất nhiều thời gian và công sức.

Giải pháp: NVIDIA VSS Blueprint

NVIDIA VSS Blueprint là một nền tảng phát triển để xây dựng các tác nhân AI phân tích video (Video Analytics AI Agents) mạnh mẽ. Giải pháp này mang lại ba năng lực cốt lõi:

1. Tìm kiếm có tính tác nhân (Agentic Search)

Thay vì chỉ truy xuất dữ liệu đơn thuần, tác nhân AI có khả năng:

• Phân rã các truy vấn ngôn ngữ tự nhiên phức tạp.
• Lập kế hoạch tìm kiếm thông minh.
• Tự phê bình và xác minh kết quả thông qua mô hình ngôn ngữ thị giác (VLM) để đưa ra kết quả chính xác nhất cho người dùng.

2. Tóm tắt video và Lập báo cáo

Hệ thống có thể tự động chuyển đổi hàng giờ video thành các thông tin chi tiết có thể hành động. Tốc độ tóm tắt được cải thiện từ 60 lần đến 100 lần. AI có thể tạo ra các báo cáo PDF chuyên nghiệp kèm theo bằng chứng hình ảnh và mốc thời gian cụ thể (ví dụ: các sự kiện xảy ra trong một kho hàng).

3. Cảnh báo ngữ cảnh được xác minh

Bằng cách sử dụng VLM, các cảnh báo từ cảm biến được cung cấp ngữ cảnh đầy đủ và xác minh trong thời gian dưới 1 giây. Điều này giúp loại bỏ các cảnh báo sai và chỉ tập trung vào các sự kiện thực sự quan trọng.

Kiến trúc hệ thống và Quy trình làm việc

Hệ thống được xây dựng trên một kiến trúc 3 lớp tối ưu:

• Real-time Video Intelligence: Các vi dịch vụ (microservices) tăng tốc bằng GPU để trích xuất đặc trưng từ luồng video trực tiếp hoặc video lưu trữ.
• Downstream Analytics: Xử lý liên tục các đặc trưng thị giác để tạo ra các thông tin chi tiết tự động.
• Vision-based Agent Tools: Các công cụ như Deep Search, Video Summarization và Report Generation được điều phối bởi tác nhân AI theo quy trình Lập kế hoạch (Plan) – Thực hiện (Act) – Phản hồi (Reflect).

Công cụ hỗ trợ nhà phát triển

NVIDIA cũng giới thiệu DeepStream Coding Agents, một công cụ giúp nhà phát triển xây dựng các pipeline xử lý video đa camera phức tạp chỉ bằng ngôn ngữ tự nhiên. Thay vì phải viết hàng ngàn dòng mã thủ công, nhà phát triển chỉ cần định nghĩa yêu cầu qua các câu lệnh (prompt), AI sẽ tự động tạo ra pipeline có thể triển khai ngay lập tức.

Giá trị thực tế từ các đối tác

Nhiều doanh nghiệp đã đạt được kết quả ấn tượng khi ứng dụng công nghệ này:

• DeepHow: Tăng tốc độ đào tạo công nhân lên 80%.
• Linker Vision: Giảm 80% thời gian phản ứng với các sự cố đô thị.
• Kaltura: Phân tích video nhanh hơn 30 lần với chi phí giảm 95%.
• Pegatron: Giảm 67% lỗi trong quy trình sản xuất nhờ sự giám sát của AI.

Cách thức bắt đầu với VSS Blueprint

Để bắt đầu hành trình xây dựng các tác nhân AI thị giác, NVIDIA đề xuất 4 bước:

1. Khám phá: Tìm hiểu về VSS Blueprint trên trang web NVIDIA.
2. Dùng thử: Trải nghiệm VSS trên đám mây thông qua NVIDIA Launchpad.
3. Xây dựng: Tải mã nguồn từ GitHub để tùy chỉnh theo nhu cầu kinh doanh.
4. Triển khai: Sử dụng NVIDIA NIMs để vận hành các dịch vụ và ứng dụng ở quy mô lớn.

Khi hàng triệu truy vấn xảy ra mỗi giây, kiến trúc đám mây tập trung bắt đầu bộc lộ rõ những rạn nứt chí mạng. Từ những giới hạn vật lý về độ trễ, băng thông cho đến hóa đơn chi phí vận hành phình to chóng mặt, các doanh nghiệp đang nhận ra rằng: tương lai của dữ liệu không chỉ nằm trên những đám mây xa xôi, mà còn nằm ở ngay tại “biên” (Edge) – nơi dữ liệu được sinh ra. Báo cáo phân tích chuyên sâu này sẽ bóc tách sự dịch chuyển từ Cloud sang Edge, và cách hệ sinh thái Trí tuệ Vật lý (Physical AI) đang tái định hình lại toàn bộ nền kinh tế toàn cầu.

Điều này dẫn đến một thực tế khó chấp nhận: với AI thời gian thực, đám mây không còn là lựa chọn mặc định, mà đang trở thành điểm nghẽn nghiêm trọng về chi phí và hiệu năng. Doanh nghiệp tiếp tục phụ thuộc hoàn toàn vào đám mây cho quá trình suy luận sẽ phải trả một khoản “thuế độ trễ” ngày càng đắt đỏ. Khoản ‘thuế độ trễ’ này không chỉ là chi phí hạ tầng, mà còn là mất doanh thu trong các hệ thống yêu cầu phản hồi tức thì như bán lẻ, logistics hoặc tài chính thời gian thực. Trong bán lẻ, độ trễ vài trăm mili-giây có thể làm giảm tỷ lệ phát hiện gian lận theo thời gian thực, dẫn đến thất thoát doanh thu trực tiếp.

3 áp lực bẻ cong mô hình điện toán đám mây truyền thống

Cảnh quan hạ tầng công nghệ thông tin toàn cầu đang trải qua một cuộc tái cấu trúc sâu rộng. Sự chuyển dịch này không phải là một “cuộc tháo chạy”, mà là sự tái cân bằng bắt buộc, được thúc đẩy bởi ba nhóm áp lực cốt lõi:

Giới hạn vật lý (Độ trễ và Băng thông):

• Các ứng dụng AI hiện đại đòi hỏi khả năng phản hồi theo thời gian thực và băng thông khổng lồ, làm bộc lộ những hạn chế cố hữu của các trung tâm dữ liệu tập trung. Việc dịch chuyển sang Điện toán Biên nhằm đưa năng lực xử lý đến sát nơi dữ liệu được sinh ra, mang lại thời gian phản hồi siêu tốc thường được tính bằng mili-giây. Trong sản xuất, độ trễ vài trăm mili-giây có thể khiến hệ thống kiểm tra lỗi không kịp phản ứng. 5 năm trước, các hệ thống cloud vẫn đủ đáp ứng phần lớn workload. Tuy nhiên, với AI thời gian thực, các giới hạn này đã chuyển từ ‘có thể chấp nhận’ sang ‘không thể vận hành ở quy mô lớn’.

Kinh tế học (Chi phí và Vendor Lock-in):

• Sự thay đổi chính sách cấp phép từ các nhà cung cấp ảo hóa truyền thống đã buộc nhiều tổ chức phải đánh giá lại toàn diện chiến lược hạ tầng cốt lõi. Các tổ chức muốn tránh tình trạng bị khóa chặt vào một hệ sinh thái duy nhất. Thay vì theo đuổi “AI Everything” mù quáng trên đám mây, các tổ chức đang áp dụng FinOps: giữ các tác vụ huấn luyện nặng nề trên đám mây, đồng thời đẩy các tác vụ suy luận (inference) nhạy cảm với thời gian xuống biên để tối ưu hóa hiệu quả đầu tư (ROI). Một hệ thống video AI có thể tiêu tốn chi phí cloud tăng gấp nhiều lần chỉ trong vài tháng.

Sự bùng nổ cơ hội tại nguồn (AI, 5G, IoT):

• Mạng 5G/6G đang dân chủ hóa AI. Tiềm năng thị trường bao phủ một hệ sinh thái khổng lồ với 10 triệu nhà máy, 570 triệu trang trại, 12.000 thành phố lớn, 2 tỷ camera thương mại, 40 tỷ thiết bị IoT và 4 triệu robot công nghiệp. Hơn nữa, việc xử lý dữ liệu tại chỗ giải quyết bài toán bảo vệ quyền riêng tư và đáp ứng các tiêu chuẩn tuân thủ nghiêm ngặt như chứng nhận CMMC. Dự báo từ IDC cho thấy thế giới sẽ chứng kiến khoản đầu tư 378 tỷ USD vào điện toán biên tính đến năm 2028.

Ba áp lực này hội tụ tại một điểm: dữ liệu đang được tạo ra nhanh hơn khả năng Cloud có thể xử lý hiệu quả về mặt kinh tế và độ trễ. Trong ba áp lực này, chi phí và độ trễ thường là hai yếu tố buộc doanh nghiệp phải hành động ngay lập tức, trong khi yếu tố hệ sinh thái là lực đẩy chiến lược trong dài hạn.

Cấu trúc 4 phân khúc của điện toán biên trong thế giới thực

Sự phân mảnh của các trường hợp sử dụng AI trong không gian vật lý đã định hình thị trường Điện toán Biên thành bốn phân khúc riêng biệt.

Biên nhà cung cấp (Provider edge):

• Các nhà mạng viễn thông đang chuyển mình thành các công ty hạ tầng trí tuệ nhân tạo (AICO), hoạt động sát với người dùng hơn bất kỳ nhà cung cấp đám mây nào. Ví dụ, sự hợp tác triển khai hạ tầng AI-RAN cho phép trạm thu phát sóng xử lý AI phân tán mà không cần truyền dữ liệu về đám mây.

Biên doanh nghiệp (Enterprise edge):

• Một chuỗi bán lẻ có thể triển khai cụm Kubernetes tại hàng trăm chi nhánh mà không cần kỹ sư tại chỗ. Điều này giúp chạy các mô hình ngôn ngữ lớn (LLM) nội bộ mà không cần gửi dữ liệu nhạy cảm lên cloud, đồng thời giảm độ trễ từ vài trăm mili-giây xuống dưới 50ms.

Biên công nghiệp (Industrial edge):

• Phân khúc này yêu cầu độ bền bỉ trong môi trường khắc nghiệt và độ trễ bằng không. Trong y tế, robot phẫu thuật thu nhỏ MIRA của Virtual Incision đã sử dụng các hệ thống xử lý biên để cắt giảm độ trễ xuống gấp 3 lần, đảm bảo an toàn tuyệt đối cho bệnh nhân.

Biên nhúng (Embedded edge):

• Tập trung nhồi nhét năng lực AI vào thiết bị có giới hạn khắt khe về kích thước, trọng lượng và công suất (SWaP). Mô hình thị giác YOLOv3-tiny trên các thiết bị nhúng đã chứng minh khả năng phân tích giao thông độ trễ siêu thấp ngay tại các ngã tư thông minh.

Trong thực tế, phần lớn doanh nghiệp sẽ bắt đầu hành trình từ Enterprise Edge (như tại các chi nhánh, cửa hàng, nhà máy), trước khi mở rộng độ phủ sang Industrial hoặc Embedded tùy theo mức độ trưởng thành của hệ thống tự động hóa. Để giúp các nhà lãnh đạo ra quyết định nhanh chóng, đây là lộ trình lựa chọn:

• Nếu bạn vận hành nhiều chi nhánh -> bắt đầu với Enterprise Edge.
• Nếu bạn có dây chuyền sản xuất -> Industrial Edge.
• Nếu bạn phát triển thiết bị độc lập -> Embedded Edge.

Điểm chung của cả bốn phân khúc là: càng gần nguồn dữ liệu, giá trị kinh doanh càng tăng, nhưng độ phức tạp vận hành cũng tăng theo.

Trí tuệ vật lý (Physical AI): Đỉnh cao của sự tiến hóa

Sự bùng nổ của thị trường điện toán biên được song hành cùng quỹ đạo tiến hóa của AI. Sau các kỷ nguyên của Trí tuệ nhận thức (Perception AI), Trí tuệ tạo sinh (Generative AI), và Trí tuệ đại lý (Agentic AI), chúng ta đang bước vào kỷ nguyên của Trí tuệ vật lý. Trí tuệ vật lý là đỉnh cao đưa AI thoát khỏi màn hình kỹ thuật số để tương tác với thế giới thực ba chiều hỗn loạn. Sự hội tụ của phần cứng mạnh hơn, dữ liệu phong phú hơn và mô hình AI linh hoạt hơn đã khiến Physical AI trở nên khả thi về mặt thương mại lần đầu tiên.

Điểm cốt lõi là kiến trúc Vision-Language-Action (VLA), kết hợp bộ mã hóa thị giác-ngôn ngữ với bộ giải mã hành động. Hiểu đơn giản, VLA cho phép robot “nhìn – hiểu – hành động” giống con người, thay vì chỉ thực hiện lệnh lập trình sẵn. Hành động vật lý được mã hóa dưới dạng các “chuỗi mã thông báo” rời rạc, cho phép robot học kỹ năng mới với lượng dữ liệu tinh chỉnh rất nhỏ. Đối với doanh nghiệp, điều này mở ra khả năng tự động hóa các quy trình vật lý phức tạp—từ kho vận, sản xuất đến dịch vụ hiện trường—mà trước đây không thể lập trình bằng các hệ thống dựa trên quy tắc (rule-based systems).

Trong ngắn hạn, Trí tuệ Vật lý sẽ xuất hiện dưới dạng các hệ thống bán tự động hỗ trợ con người trong logistics và sản xuất. Tuy nhiên, trong trung hạn (từ 3 đến 5 năm tới), nó sẽ vươn lên trở thành nền tảng cốt lõi cho việc tự động hóa hoàn toàn các quy trình vật lý kinh doanh. Doanh nghiệp nên bắt đầu đầu tư vào Physical AI khi chi phí lao động, sai sót vận hành hoặc độ trễ bắt đầu ảnh hưởng trực tiếp đến lợi nhuận.

Hệ sinh thái 3 lớp: Xóa nhòa khoảng cách giữa mô phỏng và thực tại

Để đưa Trí tuệ Vật lý vào đời sống và giải quyết khoảng trống từ mô phỏng đến thực tế, một hệ sinh thái ba lớp máy tính chuyên biệt đã được thiết lập.

Lớp 1: Mô phỏng và sinh dữ liệu tổng hợp

• Vấn đề: Dữ liệu vật lý thực tế đắt đỏ và nguy hiểm.
• Giải pháp: Sử dụng các nền tảng mô phỏng (như Omniverse hay các công cụ tương tự) để xây dựng môi trường kỹ thuật số song sinh với độ chính xác vật lý tuyệt đối. Robot sử dụng Học tăng cường (Reinforcement Learning) để thử nghiệm hàng triệu lần mà không gây thiệt hại.
• Kết quả: Giảm chi phí thu thập dữ liệu và tăng tốc huấn luyện lên hàng chục lần.

Lớp 2: Siêu máy tính huấn luyện mô hình nền tảng

• Vấn đề: Các thuật toán phức tạp đòi hỏi khả năng xử lý khổng lồ.
• Giải pháp: Dữ liệu sau khi tinh chỉnh được đưa vào cụm siêu máy tính chuyên dụng.
• Kết quả: Rút ngắn thời gian phát triển và triển khai mô hình, giúp doanh nghiệp đưa sản phẩm AI ra thị trường nhanh hơn đáng kể. Các thuật toán xử lý hàng chục đến hàng trăm tỷ tham số để đúc kết ra trọng số mô hình VLA mạnh mẽ.

Lớp 3: Triển khai thực tế tại biên

• Vấn đề: Triển khai mô hình lớn trên các thiết bị giới hạn.
• Giải pháp: Mô hình VLA được đẩy xuống hệ thống máy tính biên tích hợp vào robot để ra quyết định trong vài mili-giây.
• Kết quả: Kỹ thuật lượng tử hóa và định dạng dữ liệu siêu nén giúp các cỗ máy nhỏ gọn gánh vác bài toán lý luận đa bước phức tạp. Về mặt kinh doanh, điều này giúp giảm chi phí dữ liệu và rút ngắn thời gian triển khai mô hình từ vài tháng xuống vài tuần.

Mặc dù việc xây dựng đường ống (pipeline) 3 lớp này đòi hỏi khoản đầu tư ban đầu lớn, nhưng nó giúp giảm đáng kể chi phí vận hành dài hạn so với việc phụ thuộc hoàn toàn vào đám mây cho cả tác vụ huấn luyện lẫn suy luận.

Phần mềm trung gian: Lớp điều phối bị đánh giá thấp

Trong hầu hết các kiến trúc Điện toán Biên thất bại, điểm yếu cốt tử không nằm ở phần cứng, mà nằm ở lớp phần mềm trung gian (middleware) không đủ khả năng điều phối dữ liệu và khối lượng công việc phân tán. Một kiến trúc edge chỉ thực sự hiệu quả khi middleware có thể trừu tượng hóa toàn bộ sự phức tạp của hạ tầng bên dưới. Sức mạnh của điện toán biên không chỉ nằm ở phần cứng mà còn ở phần mềm trung gian.

• Phân tích dữ liệu hiệu quả: Trong 7 nghìn tỷ giờ video sinh ra hàng ngày, chưa tới 1% được con người khai thác. Các nền tảng phần mềm tiên tiến tích hợp Truy xuất Thông tin Đại lý, cho phép tìm kiếm sự kiện mục tiêu trong chưa đầy 5 giây bằng ngôn ngữ tự nhiên, giúp các thành phố tối ưu hóa giao thông hoặc dùng drone tự động kiểm tra đường dây điện nhanh hơn gấp nhiều lần.
• Đồng bộ hóa cảm biến: Việc đồng bộ hóa dữ liệu từ radar, LiDAR và camera 3D là một bài toán hóc búa. Các bộ thu phát hiện đại sử dụng vi mạch để chuyển đổi giao thức độc quyền thành mạng Ethernet tiêu chuẩn, đẩy dữ liệu thẳng vào bộ xử lý, loại bỏ điểm nghẽn.

Trong thực tế, middleware chính là yếu tố chiến lược quyết định liệu một kiến trúc edge có thể mở rộng hay sẽ sụp đổ khi hệ thống của bạn tăng quy mô.

An toàn: Rào cản lớn nhất của trí tuệ vật lý

Không có kiến trúc an toàn phù hợp, bất kỳ hệ thống Trí tuệ Vật lý nào cũng có thể nhanh chóng trở thành một rủi ro pháp lý và vận hành nghiêm trọng đe dọa trực tiếp đến sự sống còn của doanh nghiệp. Ví dụ, trong môi trường nhà máy, một quyết định sai của robot có thể gây gián đoạn toàn bộ dây chuyền sản xuất hoặc thậm chí gây tai nạn lao động nghiêm trọng. Khi AI tự trị bước ra thực tế, bảo đảm an toàn chức năng là rào cản lớn nhất.

Phương pháp thử nghiệm hộp đen không thể đáp ứng tiêu chuẩn an toàn công nghiệp. Kiến trúc hệ điều hành và phần cứng an toàn (như hệ thống HALOS) cung cấp sự an toàn đa chiều:

• An toàn Từ trong ra ngoài: Dùng cảm biến gắn trực tiếp để quét môi trường hàng nghìn lần mỗi giây.
• An toàn Từ ngoài vào trong: Sử dụng mạng lưới camera ngoại vi để thiết lập “hàng rào ảo” bảo vệ điểm mù cho robot.

Khả năng giải thích nguồn gốc quyết định (Interpretability) của các mô hình VLA cũng giúp giải trình lý do robot hành động (ví dụ: đánh lái hay phanh gấp) trong các tình huống khẩn cấp. Các cơ chế an toàn này thường làm tăng chi phí và độ phức tạp hệ thống, nhưng là điều kiện bắt buộc để triển khai trong môi trường sản xuất thực tế.

Sự dịch chuyển từ điện toán đám mây sang điện toán biên phân tán không chỉ là bài toán tối ưu hóa chi phí. Đó là một sự tái cấu trúc hoàn toàn nền tảng điện toán toàn cầu để đón đầu kỷ nguyên của Trí tuệ Vật lý (Physical AI). Đây không chỉ là tối ưu chi phí, mà là thay đổi cách doanh nghiệp xử lý và khai thác dữ liệu trong thời gian thực.

Trong 3 năm tới, kiến trúc hybrid (kết hợp Cloud và Edge) sẽ không còn là một lựa chọn thêm thắt, mà sẽ trở thành tiêu chuẩn mặc định của toàn ngành. Câu hỏi chiến lược lúc này không còn là “có nên chuyển sang Edge hay không”, mà là “doanh nghiệp của bạn có thể trì hoãn việc này trong bao lâu trước khi bị tụt hậu hoàn toàn phía sau”. Những doanh nghiệp làm chủ được kiến trúc hybrid sẽ tối ưu chi phí và tốc độ đổi mới. Những doanh nghiệp chậm chuyển dịch sẽ bị mắc kẹt trong chi phí đám mây ngày càng tăng và đánh mất lợi thế cạnh tranh. Trong kỷ nguyên AI thời gian thực, năng lực xử lý dữ liệu tại nguồn sẽ trở thành lợi thế cạnh tranh cốt lõi, không khác gì dữ liệu và thuật toán.

Nếu bạn đang vận hành hệ thống AI và chi phí cloud tăng nhanh, đây là thời điểm cần đánh giá lại toàn diện kiến trúc hạ tầng. Dành cho CTO, CIO và lãnh đạo công nghệ đang vận hành hệ thống AI quy mô lớn: Đăng ký nhận bản đánh giá Edge Readiness Assessment miễn phí ngay hôm nay (đã áp dụng thành công cho các hệ thống AI quy mô lớn, giới hạn 20 doanh nghiệp mỗi tháng), bao gồm: phân tích chi phí đám mây hiện tại, xác định khối lượng công việc (workload) nào nên được chuyển xuống biên, và lộ trình triển khai chi tiết trong 90 ngày.

Máy xúc mini Cat 306 CR nặng chưa đến tám tấn và có thể chứa vừa trong một container vận chuyển tiêu chuẩn. Đây là loại máy mà các nhà thầu thuê khi công trường có không gian chật hẹp: đào rãnh tiện ích gần móng nhà, đào hầm trong khu dân cư đông đúc.

Khoang lái có kích thước xấp xỉ một bốt điện thoại. Người điều khiển ngồi gần bảng điều khiển, hai cần điều khiển, mỗi tay thực hiện nhiều chức năng khác nhau. Cần thời gian để làm quen. Và cần nhiều thời gian hơn nữa để lái nhanh.

Tại CES hồi đầu năm nay, cỗ máy đó đã trả lời các câu hỏi . Trong bản demo, Trợ lý AI Mèo chạy trên NVIDIA Jetson Thor , một nền tảng AI biên được xây dựng cho suy luận thời gian thực trong các hệ thống công nghiệp và robot. Mô hình giọng nói NVIDIA Nemotron được sử dụng để tương tác giọng nói tự nhiên nhanh chóng và chính xác. Qwen3 4B, được phục vụ cục bộ thông qua vLLM, diễn giải các yêu cầu và tạo ra phản hồi với độ trễ thấp, không cần kết nối đám mây.

Ngoài việc thúc đẩy đổi mới doanh nghiệp, các mô hình mở mở ra những khả năng mới cho các nhà phát triển để xây dựng và thử nghiệm một cách tự do. Việc chạy OpenClaw trên NVIDIA Jetson cho phép các nhà phát triển tạo ra các trợ lý AI riêng tư, luôn hoạt động ở biên mạng — với chi phí giao diện lập trình ứng dụng bằng không và bảo mật dữ liệu tuyệt đối.

Tất cả các bộ công cụ phát triển Jetson đều hỗ trợ OpenClaw, mang lại sự linh hoạt để chuyển đổi giữa các mô hình mở từ 2 tỷ tham số đến 30 tỷ tham số. Với trợ lý AI tiên tiến chạy cục bộ, người dùng có thể hỗ trợ các bản tin buổi sáng, tự động hóa các tác vụ hàng ngày, thực hiện đánh giá mã và điều khiển các hệ thống nhà thông minh — tất cả đều trong thời gian thực.

Từ đám mây đến thiết bị đầu cuối

Trong phần lớn lịch sử gần đây, các mô hình mở thường tồn tại ở những nơi dễ hỗ trợ chúng nhất. 

Chúng hoạt động trên các trung tâm dữ liệu, được hỗ trợ bởi khả năng tính toán linh hoạt và mạng lưới liên tục. Việc triển khai trên nền tảng đám mây có những nhược điểm về độ trễ và chi phí tính toán liên tục, tỷ lệ thuận với mỗi truy vấn.

Các hệ thống vật lý được tối ưu hóa cho những mục đích khác. Độ trễ thấp vì máy móc tương tác với con người và môi trường. Công suất hạn chế vì các thiết bị có giới hạn nhất định. Và hành vi nhất quán vì sự biến đổi tiềm ẩn rủi ro.

Vấn đề nguồn cung cũng là một mối quan ngại. Tình trạng thiếu hụt bộ nhớ đã đẩy giá thành lên cao trên toàn ngành. Jetson tích hợp khả năng tính toán và bộ nhớ vào một hệ thống trên module, giúp tăng tốc quá trình thiết kế phần cứng của khách hàng và đơn giản hóa việc tìm nguồn cung ứng và kiểm định so với các phương pháp sử dụng linh kiện rời rạc.

Và khi các mô hình trở nên hiệu quả hơn, các nhà phát triển cũng bắt đầu đặt ra một câu hỏi khác. Không phải là mô hình nào hoạt động tốt nhất khi đứng riêng lẻ, mà là nên chạy mô hình đó ở đâu thì hợp lý. 

Thông thường, câu trả lời nằm ở thiết bị, bắt đầu từ Jetson Orin Nano 8GB dành cho các mô hình AI tạo sinh cấp thấp.  

Xây dựng hệ thống trí tuệ nhân tạo vật lý tự động quy mô lớn

Đối với các hệ thống AI vật lý , các mô hình AI tạo sinh đang mở rộng những khả năng hiện có. 

Trợ lý AI Cat trong cabin của Caterpillar, hiện đang trong quá trình phát triển, chạy các mô hình ngôn ngữ và giọng nói cục bộ cùng với ngữ cảnh máy móc đáng tin cậy, hỗ trợ hướng dẫn người vận hành và các tính năng an toàn.

Tại CES, Franka Robotics đã trình diễn điều đó trong lĩnh vực robot. Hệ thống hai cánh tay FR3 Duo của công ty đã chạy mô hình NVIDIA GR00T N1.6 từ đầu đến cuối, từ nhận thức đến chuyển động, không cần kịch bản tác vụ. Chính sách được thực thi cục bộ.

Trong nghiên cứu robot, dự án SONIC của phòng thí nghiệm GEAR thuộc NVIDIA huấn luyện bộ điều khiển hình người dựa trên hơn 100 triệu khung hình dữ liệu ghi lại chuyển động, sau đó triển khai chính sách thu được lên một robot vật lý, nơi bộ lập kế hoạch động học chạy trên Jetson Orin với tốc độ khoảng 12 mili giây mỗi lần chạy. Vòng lặp chính sách chạy ở tần số 50 Hz. Mọi thứ đều được thực thi trên bo mạch.

Xu hướng này lan rộng đến cộng đồng các nhà phát triển. Một nhóm từ câu lạc bộ SIGRobotics của UIUC đã chế tạo một robot pha trà matcha hai tay trên hệ điều hành Jetson Thor chạy mô hình GR00T N1.5. Robot này đã giành giải nhất tại cuộc thi hackathon về trí tuệ nhân tạo tích hợp của NVIDIA.

Đà nghiên cứu này tiếp tục được thúc đẩy tại Trung tâm Robot và Trí tuệ Hiện thân của Đại học NYU. Nhóm nghiên cứu gần đây đã chạy robot YOR trên hệ điều hành Jetson Thor, sử dụng bộ xử lý NVIDIA Blackwell để xử lý các tác vụ nặng cần thiết cho chuyển động được điều khiển bởi trí tuệ nhân tạo. Kết quả ban đầu cho thấy YOR thực hiện các nhiệm vụ nhặt và đặt phức tạp với khả năng khái quát hóa tốt hơn đối với các vật thể mới và khả năng thích ứng với sự thay đổi của môi trường xung quanh, đẩy nhanh quá trình sẵn sàng cho nhiều công việc gia đình như nấu ăn và giặt giũ.

Các nhà nghiên cứu độc lập cũng đang phát hiện ra điều tương tự. Andrés Marafioti, trưởng nhóm nghiên cứu đa phương thức tại Hugging Face , đã xây dựng một hệ thống AI tác nhân trên Jetson AGX Orin có khả năng phân bổ nhiệm vụ giữa các mô hình và lên lịch công việc của chính nó. Vào một đêm khuya, tác nhân này đã gửi cho anh một tin nhắn: “Đi ngủ đi. Mọi thứ sẽ sẵn sàng vào sáng mai.”

Lập trình viên Ajeet Singh Raina từ cộng đồng Collabnix đã trình bày cách chạy OpenClaw trên NVIDIA Jetson Thor để tạo ra một trợ lý AI cá nhân hoạt động 24/7. Cấu hình này cho phép suy luận mô hình ngôn ngữ quy mô lớn riêng tư cho dữ liệu của người dùng trong khi hệ thống quản lý email và lịch thông qua một cổng cục bộ.

Jetson là tiêu chuẩn mới

NVIDIA Jetson đã trở thành một nền tảng phổ biến để chạy các mô hình mã nguồn mở ở biên mạng.

Nó hỗ trợ nhiều mô hình mở và khung AI, mang lại cho các nhà phát triển sự linh hoạt cho hầu hết mọi khối lượng công việc AI tạo sinh ở biên. 

Các kết quả kiểm định mô hình có sẵn tại Jetson AI Lab , cùng với các hướng dẫn từ cộng đồng mô hình mở. Jetson Thor mang lại hiệu suất suy luận hàng đầu trên tất cả các mô hình AI tạo sinh chính.

Gemma: Được xây dựng dựa trên nghiên cứu Gemini của Google, Gemma 3 là một “cỗ máy” đa năng dành cho Jetson. Nó hỗ trợ đa phương thức ngay từ khi xuất xưởng, nghĩa là có thể nhìn và nói hơn 140 ngôn ngữ. Trên Jetson Thor, nó xử lý cửa sổ ngữ cảnh khổng lồ lên đến 128K. Điều này làm cho nó hoàn hảo cho các robot cần ghi nhớ một danh sách dài các hướng dẫn phức tạp hoặc nhiều bước.

gpt-oss-20B: Mô hình này từ OpenAI giúp giảm bớt rào cản trong việc triển khai AI tiên tiến bằng cách cung cấp hiệu năng suy luận gần như hàng đầu trong một mô hình có thể chạy cục bộ trên Jetson Thor và Orin để suy luận tiết kiệm chi phí. 

Trí tuệ nhân tạo Mistral: Dòng mô hình mở Mistral 3 mới mang đến độ chính xác, hiệu quả và khả năng tùy chỉnh hàng đầu trong ngành cho các nhà phát triển và doanh nghiệp. Dòng sản phẩm này bao gồm các mô hình nhỏ gọn, có kích thước từ 3 tỷ đến 14 tỷ, hoạt động nhanh và cực kỳ thông minh so với kích thước của chúng. Các nhà phát triển Jetson có thể sử dụng vùng chứa vLLM trên NVIDIA Jetson Thor để đạt được 52 token mỗi giây cho xử lý đồng thời đơn lẻ, và có thể mở rộng lên đến 273 token mỗi giây với xử lý đồng thời tám luồng.

NVIDIA Cosmos : Mô hình ngôn ngữ thị giác suy luận mở, hàng đầu này cho phép robot và các tác nhân AI nhìn, hiểu và hành động trong thế giới vật lý giống như con người. Cả hai mô hình 8B và 2B đều chạy trên Jetson để cung cấp khả năng nhận thức và suy luận không gian-thời gian tiên tiến. 

NVIDIA Isaac GR00T N1.6 là một mô hình hành động ngôn ngữ thị giác (VLA) mở dành cho các kỹ năng robot đa năng. Các nhà phát triển có thể sử dụng nó để xây dựng robot có khả năng nhận biết môi trường xung quanh, suy luận về các lệnh và thực hiện các hành động trong nhiều nhiệm vụ, môi trường và hình dạng khác nhau. Trên Jetson Thor, toàn bộ quy trình GR00T N1.6 được thực thi trên thiết bị, cung cấp khả năng nhận thức thời gian thực, nhận biết không gian và hành động phản hồi nhanh chóng.

NVIDIA Nemotron : Một tập hợp các mô hình, bộ dữ liệu và công nghệ mở cho phép người dùng xây dựng các hệ thống trí tuệ nhân tạo (AI) hiệu quả, chính xác và chuyên biệt. Nó được thiết kế cho khả năng suy luận nâng cao, lập trình, hiểu biết hình ảnh, các tác vụ tự động, an toàn, giọng nói và thông tin. Mô hình Nemotron 3 Nano 9B hoạt động hiệu quả trên Jetson Orin Nano Super với llama.cpp với hiệu suất 9 token mỗi giây. 

PI 0.5: Một mô hình VLA từ Trí tuệ Vật lý cho phép robot hiểu các hướng dẫn và tự động thực hiện các nhiệm vụ phức tạp trong thế giới thực với khả năng khái quát hóa mạnh mẽ và khả năng thích ứng theo thời gian thực, trong khi NVIDIA Jetson Thor cung cấp 120 token hành động mỗi giây để hỗ trợ triển khai AI vật lý phản hồi nhanh, độ trễ thấp. Qwen 3.5: Dòng mô hình này từ Alibaba, bao gồm các bản phát hành Qwen 3.5 mới nhất, cung cấp sự kết hợp giữa các mô hình chuyên sâu và mô hình hỗn hợp chuyên gia, mang lại khả năng suy luận mạnh mẽ, mã hóa hiểu biết đa phương thức và hiệu suất ngữ cảnh dài. Jetson Thor mang lại hiệu suất tối ưu trên các mô hình Qwen như mô hình Qwen 3.5-35B-A3B , có khả năng suy luận ở tốc độ 35 token mỗi giây, giúp tương tác theo thời gian thực trở nên khả thi. 

Bất kỳ nhà phát triển nào cũng có thể tinh chỉnh các mô hình này để tạo ra các tác nhân AI vật lý chuyên biệt và triển khai chúng một cách liền mạch vào các hệ thống AI vật lý. Nền tảng NVIDIA Jetson hỗ trợ các khung AI phổ biến từ NVIDIA TRT, Llama.cpp, Ollama, vLLM, SGLang và nhiều hơn nữa.

Áp dụng mô hình mở trên Jetson

Các nhà phát triển có thể tìm hiểu sâu hơn về các hướng dẫn của Hugging Face — bao gồm cả việc triển khai các mô hình ngôn ngữ thị giác mã nguồn mở trên Jetson — và xem livestream mới nhất . Hãy học hỏi từ hướng dẫn này và chạy OpenClaw trên NVIDIA Jetson.

Hãy tham gia GTC 2026 vào tháng tới để tận mắt chứng kiến ​​tất cả. NVIDIA sẽ trình bày cách các mô hình mở đang được chuyển từ trung tâm dữ liệu sang các máy móc hoạt động trong thế giới vật lý, bao gồm cả trong một phiên thảo luận về Tương lai của Tự động hóa Công nghiệp .

Hãy theo dõi bài phát biểu quan trọng tại GTC của nhà sáng lập kiêm CEO NVIDIA, Jensen Huang, và khám phá các phiên thảo luận về trí tuệ nhân tạo vật lý , robot và trí tuệ nhân tạo thị giác .

Các hướng dẫn bên dưới sẽ chỉ cho bạn cách đưa các mô hình AI mã nguồn mở mới nhất vào hoạt động trên NVIDIA Jetson, chạy hoàn toàn độc lập và sẵn sàng triển khai ở bất cứ đâu. Sau khi nắm vững những kiến ​​thức cơ bản, bạn có thể nhanh chóng chuyển từ các bản demo đơn giản sang xây dựng bất cứ thứ gì, từ trợ lý lập trình cá nhân đến robot tự hành hoàn toàn.

Tutorial 1: Trợ lý AI cá nhân của bạn – Mô hình LLM cục bộ và Mô hình Thị giác

Một cách tuyệt vời để làm quen với AI biên là chạy mô hình LLM hoặc VLM cục bộ. Việc chạy mô hình trên các phần cứng của riêng bạn như máy tính AI cá nhân DGX Spark hoặc máy tính biên chuyên dụng từ Lanner, C&T, mang lại hai lợi thế chính: bảo mật hoàn toàn và độ trễ mạng bằng không.

Khi bạn dựa vào các API bên ngoài, dữ liệu của bạn sẽ nằm ngoài tầm kiểm soát. Trên Jetson, các yêu cầu của bạn — cho dù đó là ghi chú cá nhân, mã nguồn độc quyền hay nguồn cấp dữ liệu camera — không bao giờ rời khỏi thiết bị, đảm bảo bạn giữ quyền sở hữu hoàn toàn thông tin của mình. Việc thực thi cục bộ này cũng loại bỏ các tắc nghẽn mạng, giúp các tương tác diễn ra tức thì.

Cộng đồng mã nguồn mở đã làm cho việc này trở nên vô cùng dễ dàng, và loại Jetson bạn chọn sẽ quyết định kích cỡ của trợ lý ảo mà bạn có thể chạy:

• Bộ công cụ phát triển NVIDIA Jetson Orin Nano Super (8GB): Tuyệt vời cho việc hỗ trợ AI chuyên biệt, tốc độ cao. Bạn có thể triển khai các mô hình SLM tốc độ cao như Llama 3.2 3B hoặc Phi-3. Các mô hình này cực kỳ hiệu quả, và cộng đồng thường xuyên phát hành các bản tinh chỉnh mới trên Hugging Face được tối ưu hóa cho các tác vụ cụ thể — từ lập trình đến viết sáng tạo — chạy cực nhanh trong giới hạn bộ nhớ 8GB.
• NVIDIA Jetson AGX Orin (64GB): Cung cấp dung lượng bộ nhớ cao và khả năng tính toán AI tiên tiến cần thiết để chạy các mô hình lớn hơn, phức tạp hơn như gpt-oss-20b hoặc lượng tử hóa Llama 3.1 70B cho suy luận sâu.
• NVIDIA Jetson AGX Thor (128GB): Mang đến hiệu năng vượt trội, cho phép bạn chạy các mô hình khổng lồ với hơn 100 tỷ tham số và đưa trí thông minh cấp trung tâm dữ liệu đến vùng biên.

Nếu bạn có AGX Orin, bạn có thể khởi tạo ngay một phiên bản gpt-oss-20b bằng cách sử dụng vLLM làm công cụ suy luận và Open WebUI làm giao diện người dùng đẹp mắt và thân thiện.
[code]
docker run –rm -it \

–network host \

–shm-size=16g \

–ulimit memlock=-1 \

–ulimit stack=67108864 \

–runtime=nvidia \

–name=vllm \

-v $HOME/data/models/huggingface:/root/.cache/huggingface \

-v $HOME/data/vllm_cache:/root/.cache/vllm \

ghcr.io/nvidia-ai-iot/vllm:latest-jetson-orin

vllm serve openai/gpt-oss-20b
[/code]
Chạy Open WebUI trong một cửa sổ terminal riêng biệt:
[code]
docker run -d \

–network=host \

-v ${HOME}/open-webui:/app/backend/data \

-e OPENAI_API_BASE_URL=http://0.0.0.0:8000/v1 \

–name open-webui \

ghcr.io/open-webui/open-webui:main
[/code]
Sau đó, hãy truy cập địa chỉ http://localhost:8080 trên trình duyệt của bạn.

Từ đây, bạn có thể tương tác với LLM và thêm các công cụ cung cấp khả năng tác nhân, chẳng hạn như tìm kiếm, phân tích dữ liệu và xuất giọng nói (TTS).

Hình 1. Minh họa quá trình suy luận gpt-oss-20b trên NVIDIA Jetson AGX Orin sử dụng vLLM, đạt tốc độ tạo 40 token/giây thông qua giao diện WebUI mở.

Tuy nhiên, chỉ văn bản thôi là chưa đủ để xây dựng các tác nhân tương tác với thế giới vật lý; chúng cũng cần khả năng nhận thức đa phương thức. Các mô hình học máy ảo (VLM) như VILA và Qwen2.5-VL đang trở nên phổ biến để bổ sung khả năng này vì chúng có thể suy luận về toàn bộ khung cảnh chứ không chỉ phát hiện các đối tượng. Ví dụ, với nguồn cấp dữ liệu video trực tiếp, chúng có thể trả lời các câu hỏi như “Bản in 3D có bị lỗi không?” hoặc “Hãy mô tả mô hình giao thông bên ngoài.”

Trên Jetson Orin Nano Super, bạn có thể chạy các VLM hiệu quả như VILA-2.7B để giám sát cơ bản và thực hiện các truy vấn trực quan đơn giản. Đối với phân tích độ phân giải cao hơn, nhiều luồng camera hoặc các kịch bản với nhiều tác nhân chạy đồng thời, Jetson AGX Orin cung cấp bộ nhớ và khả năng tính toán bổ sung cần thiết để mở rộng quy mô các khối lượng công việc này.

Để thử nghiệm điều này, bạn có thể khởi chạy giao diện web Live VLM từ Jetson AI Lab . Nó kết nối với camera của máy tính xách tay thông qua WebRTC và cung cấp một môi trường thử nghiệm để truyền phát video trực tiếp đến các mô hình AI để phân tích và mô tả ngay lập tức.

Giao diện web Live VLM hỗ trợ Ollama, vLLM và hầu hết các công cụ suy luận có máy chủ tương thích với OpenAI.

Để bắt đầu sử dụng VLM WebUI với Ollama, hãy làm theo các bước dưới đây:
[code]
# Install ollama (skip if already installed)

curl -fsSL https://ollama.com/install.sh | sh

# Pull a small VLM-compatible model

ollama pull gemma3:4b

# Clone and start Live VLM WebUI

git clone https://github.com/nvidia-ai-iot/live-vlm-webui.git

cd live-vlm-webui

./scripts/start_container.sh
[/code]
Tiếp theo, hãy mở https://localhost:8090 trong trình duyệt của bạn để thử.

Cấu hình này cung cấp một nền tảng vững chắc để xây dựng các hệ thống an ninh thông minh, hệ thống giám sát động vật hoang dã hoặc trợ lý ảo.

Hình 2. Suy luận VLM tương tác sử dụng giao diện web Live VLM trên NVIDIA Jetson.

Bạn có thể chạy những mô hình VLM nào?

Jetson Orin Nano 8GB phù hợp với các mô hình VLM và LLM có số tham số lên đến gần 4B, chẳng hạn như Qwen2.5-VL-3B, VILA 1.5–3B hoặc Gemma-3/4B. Jetson AGX Orin 64GB nhắm đến các mô hình tầm trung trong phạm vi 4B–20B và có thể chạy các mô hình VLM như LLaVA-13B, Qwen2.5-VL-7B hoặc Phi-3.5-Vision. Jetson AGX Thor 128GB được thiết kế cho các khối lượng công việc lớn nhất, hỗ trợ nhiều mô hình đồng thời hoặc các mô hình đơn lẻ từ khoảng 20B đến khoảng 120B tham số—ví dụ: các mô hình Llama 3.2 Vision 70B hoặc 120B.

Bạn muốn tìm hiểu sâu hơn? Tìm kiếm và Tóm tắt Hình ảnh (Vision Search and Summarization – VSS) cho phép bạn xây dựng các hệ thống lưu trữ thông minh. Bạn có thể tìm kiếm video theo nội dung thay vì tên tệp và tự động tạo tóm tắt cho các bản ghi dài. Đây là một sự mở rộng tự nhiên của quy trình làm việc VLM dành cho bất kỳ ai muốn tổ chức và diễn giải khối lượng lớn dữ liệu hình ảnh.

Tutorial 2: Lập trình robot với các mô hình nền tảng

Ngành robot đang trải qua một sự thay đổi kiến ​​trúc cơ bản. Trong nhiều thập kỷ, việc điều khiển robot dựa trên logic cứng nhắc, được mã hóa cứng và các quy trình nhận thức riêng biệt: phát hiện vật thể, tính toán quỹ đạo, thực hiện chuyển động. Cách tiếp cận này đòi hỏi phải tinh chỉnh thủ công rộng rãi và lập trình rõ ràng cho mọi trường hợp ngoại lệ, khiến việc tự động hóa ở quy mô lớn trở nên khó khăn.

Ngành công nghiệp hiện đang hướng tới học tập mô phỏng từ đầu đến cuối . Thay vì lập trình các quy tắc rõ ràng, chúng ta đang sử dụng các mô hình nền tảng như NVIDIA Isaac GR00T N1 để học các chính sách trực tiếp từ việc trình diễn. Đây là các mô hình Thị giác-Ngôn ngữ-Hành động (VLA) làm thay đổi căn bản mối quan hệ đầu vào-đầu ra của việc điều khiển robot. Trong kiến ​​trúc này, mô hình tiếp nhận luồng dữ liệu hình ảnh liên tục từ camera của robot cùng với các lệnh ngôn ngữ tự nhiên của bạn (ví dụ: “Mở ngăn kéo”). Nó xử lý ngữ cảnh đa phương thức này để trực tiếp dự đoán các vị trí khớp hoặc vận tốc động cơ cần thiết cho bước thời gian tiếp theo.

Tuy nhiên, việc huấn luyện các mô hình này đặt ra một thách thức đáng kể: nút thắt cổ chai về dữ liệu. Không giống như các mô hình ngôn ngữ được huấn luyện trên văn bản từ internet, robot yêu cầu dữ liệu tương tác vật lý, vốn rất tốn kém và mất nhiều thời gian để thu thập. Giải pháp nằm ở mô phỏng. Bằng cách sử dụng NVIDIA Isaac Sim , bạn có thể tạo dữ liệu huấn luyện tổng hợp và xác thực các chính sách trong môi trường ảo chính xác về vật lý. Bạn thậm chí có thể thực hiện kiểm thử phần cứng trong vòng lặp (HIL), trong đó Jetson chạy chính sách điều khiển trong khi được kết nối với trình mô phỏng được hỗ trợ bởi GPU NVIDIA RTX . Điều này cho phép bạn xác thực toàn bộ hệ thống đầu cuối của mình, từ nhận thức đến điều khiển, trước khi bạn đầu tư vào phần cứng vật lý hoặc cố gắng triển khai.

Sau khi được xác thực, quy trình làm việc sẽ chuyển đổi liền mạch sang môi trường thực tế. Bạn có thể triển khai chính sách được tối ưu hóa đến thiết bị biên, nơi các tối ưu hóa như TensorRT cho phép các chính sách dựa trên Transformer phức tạp chạy với độ trễ thấp (dưới 30 ms) cần thiết cho các vòng điều khiển thời gian thực. Cho dù bạn đang xây dựng một bộ phận thao tác đơn giản hay khám phá các hình dạng robot hình người, mô hình này—học các hành vi trong mô phỏng và triển khai chúng đến thiết bị biên vật lý—hiện là tiêu chuẩn cho sự phát triển robot hiện đại.

Bạn có thể bắt đầu thử nghiệm các quy trình làm việc này ngay hôm nay. Kho lưu trữ Isaac Lab Evaluation Tasks trên GitHub cung cấp các bài kiểm tra chuẩn về thao tác công nghiệp được xây dựng sẵn, chẳng hạn như đổ đai ốc và phân loại ống xả, mà bạn có thể sử dụng để kiểm tra các chính sách trong mô phỏng trước khi triển khai lên phần cứng. Sau khi được xác thực, hướng dẫn triển khai GR00T Jetson sẽ hướng dẫn bạn quy trình chuyển đổi và chạy các chính sách này trên Jetson với suy luận TensorRT được tối ưu hóa. Đối với những người muốn huấn luyện lại hoặc tinh chỉnh các mô hình GR00T trên các tác vụ tùy chỉnh, tích hợp LeRobot cho phép bạn tận dụng các tập dữ liệu và công cụ cộng đồng để học bắt chước, thu hẹp khoảng cách giữa thu thập dữ liệu và triển khai.

Tham gia cộng đồng: Hệ sinh thái robot rất sôi động và đang phát triển. Từ các thiết kế robot mã nguồn mở đến các nguồn tài liệu học tập được chia sẻ, bạn không hề đơn độc trên hành trình này. Các diễn đàn, kho lưu trữ GitHub và các buổi giới thiệu sản phẩm của cộng đồng cung cấp cả nguồn cảm hứng và hướng dẫn thực tiễn. Tham gia cộng đồng Discord của LeRobot để kết nối với những người khác đang xây dựng tương lai của ngành robot.

Đúng vậy, việc chế tạo một robot vật lý cần nhiều công sức: thiết kế cơ khí, lắp ráp và tích hợp với các nền tảng hiện có. Nhưng lớp trí tuệ nhân tạo thì khác. Đó là điều mà Jetson mang lại: thời gian thực, mạnh mẽ và sẵn sàng triển khai.

Thiết bị Jetson nào phù hợp với bạn?

Hãy sử dụng Jetson Orin Nano Super (8GB) nếu bạn mới bắt đầu với AI cục bộ, chạy các mô hình LLM hoặc VLM nhỏ, hoặc xây dựng các nguyên mẫu robot và thiết bị biên ở giai đoạn đầu. Nó đặc biệt phù hợp cho các dự án robot nghiệp dư và các dự án nhúng, nơi chi phí, sự đơn giản và kích thước nhỏ gọn quan trọng hơn dung lượng mô hình tối đa.

Hãy chọn Jetson AGX Orin (64GB) nếu bạn là người đam mê công nghệ hoặc nhà phát triển độc lập muốn chạy một trợ lý ảo cục bộ mạnh mẽ, thử nghiệm các quy trình làm việc kiểu tác nhân hoặc xây dựng các hệ thống quản lý dự án cá nhân có thể triển khai. Bộ nhớ 64GB giúp việc kết hợp các mô hình nhận dạng hình ảnh, ngôn ngữ và giọng nói (ASR và TTS) trên một thiết bị duy nhất trở nên dễ dàng hơn mà không gặp phải giới hạn bộ nhớ thường xuyên.

Hãy chọn Jetson AGX Thor (128GB) nếu trường hợp sử dụng của bạn liên quan đến các mô hình rất lớn, nhiều mô hình chạy đồng thời hoặc các yêu cầu thời gian thực nghiêm ngặt ở vùng biên.

Bước tiếp theo: Bắt đầu làm quen

Bạn đã sẵn sàng để bắt đầu chưa? Dưới đây là một số gợi ý để bạn bắt đầu lập trình với Jetson:

1. Chọn thiết bị Jetson của bạn: Dựa trên mong muốn và ngân sách của bạn, hãy chọn bộ công cụ phát triển phù hợp nhất với nhu cầu.
2. Cài đặt và thiết lập: Các Hướng dẫn Bắt đầu bên dưới giúp việc thiết lập trở nên đơn giản và bạn sẽ có thể sử dụng được trong vòng chưa đầy một giờ.
   • Bộ công cụ phát triển Jetson Orin Nano: Hướng dẫn bắt đầu
   • Bộ công cụ phát triển Jetson AGX Orin: Hướng dẫn bắt đầu
   • Bộ công cụ phát triển Jetson AGX Thor: Hướng dẫn bắt đầu
3. Tìm hiểu thêm các nguồn tài liệu:
   • Jetson AI Lab: Hướng dẫn toàn diện với các liên kết đến các container được xây dựng sẵn ( Open WebUI, Live VLM WebUI, và nhiều hơn nữa). Thử nghiệm các mô hình đầu tiên của bạn.
   • Diễn đàn cộng đồng: Kết nối với các nhà phát triển khác, chia sẻ dự án, nhận hỗ trợ.
4. Bắt đầu xây dựng: Chọn một dự án, tìm hiểu một dự án mẫu dạng tutorial trên GitHub, xem những gì có thể thực hiện được và sau đó tiếp tục phát triển lên.

Dòng sản phẩm NVIDIA Jetson được tạo ra để cung cấp cho các nhà phát triển những công cụ nhằm thiết kế, xây dựng và triển khai các thế hệ máy móc thông minh thế hệ mới.