HardFlow: để AI tự do thử sai mà đầu ra vẫn đúng giới hạn

Một đường đi có thể gần như đúng nhưng vẫn khiến robot va vào công nhân trên sàn nhà máy. Với những nhiệm vụ như vậy, “gần đúng” không đủ: kết quả cuối phải tuân thủ các giới hạn an toàn không thể thương lượng. HardFlow, thuật toán do nhóm nghiên cứu tại MIT phát triển, giải quyết bài toán bằng một lựa chọn có vẻ ngược đời: cho mô hình tạo sinh nhiều tự do hơn trong quá trình tìm kiếm, nhưng buộc đầu ra cuối cùng phải hợp lệ. [1]

Điểm quan trọng nằm ở việc tách hai yêu cầu thường bị trộn lẫn: một lời giải phải khả thi, đồng thời cũng nên có chất lượng tốt. Trong ví dụ lập đường đi, tránh va chạm là ràng buộc cứng; quãng đường ngắn hoặc thời gian di chuyển ít hơn là mục tiêu cần tối ưu. HardFlow được thiết kế để xử lý cả hai thay vì chỉ đẩy lời giải vào vùng an toàn rồi dừng lại. [1]

Vì sao ép mọi bước đều hợp lệ có thể phản tác dụng?

Các mô hình khuếch tán và mô hình flow-matching thường bắt đầu từ nhiễu ngẫu nhiên, sau đó biến đổi dần thành dữ liệu có cấu trúc. Những trạng thái ở giữa chỉ là mẫu trung gian, không phải sản phẩm được đem sử dụng. Tuy nhiên, phương pháp lấy mẫu dựa trên phép chiếu thường liên tục kéo từng mẫu trung gian về vùng thỏa mãn ràng buộc. Cách làm này giữ quá trình trong phạm vi cho phép, nhưng cũng có thể chặn những lộ trình tìm kiếm dẫn tới đáp án tốt hơn. [1]

Có thể hình dung một người đang tìm đường trong mê cung. Nếu mỗi bước thử đều bắt buộc phải nằm trên tuyến đường cuối cùng, người đó khó vòng qua một ngõ cụt để khám phá lối khác. Trong không gian tính toán, mẫu trung gian có thể tạm thời chưa hợp lệ mà không gây ra va chạm thật, bởi nó chưa được gửi tới robot. Điều cần kiểm soát nghiêm ngặt là phương án được chọn để thi hành. [1]

HardFlow điều khiển quá trình tìm lời giải ra sao?

HardFlow chuyển việc lấy mẫu có ràng buộc thành một bài toán tối ưu quỹ đạo, sử dụng công cụ của lý thuyết điều khiển tối ưu. Thay vì sửa mạnh từng trạng thái để nó lập tức hợp lệ, thuật toán thực hiện những điều chỉnh nhỏ dọc theo quỹ đạo tạo mẫu, hướng toàn bộ quá trình tới một kết quả vừa đạt mục tiêu vừa thỏa mãn ràng buộc ở điểm cuối. [1]

Ở đây, “quỹ đạo” không nhất thiết là đường chuyển động trong không gian thật. Nó còn có thể là chuỗi trạng thái toán học mà mô hình đi qua khi biến nhiễu thành một đường đi, tín hiệu điều khiển hoặc hình ảnh. Cách diễn đạt bằng bài toán điều khiển giúp xác định nên can thiệp vào giai đoạn nào và ở mức nào, thay vì liên tục đặt lại mọi trạng thái theo một quy tắc cứng. [1]

Làm thế nào xử lý một mạng nơ-ron rất lớn?

Tối ưu trực tiếp toàn bộ quá trình quanh một mạng nơ-ron có hàng trăm lớp liên kết sẽ đòi hỏi bài toán tính toán rất lớn. Nhóm phát triển HardFlow khai thác cấu trúc của mô hình flow-matching để chia bài toán quỹ đạo thành một chuỗi bài toán con, mỗi bài toán chỉ xét một bước. Các phép biến đổi và xấp xỉ tiếp theo giúp thuật toán có thể chạy hiệu quả khi mô hình được triển khai. [1]

Cách chia nhỏ này vẫn giữ mục tiêu chung của cả quỹ đạo: điểm cuối phải thuộc tập hợp lời giải hợp lệ. Đồng thời, hàm tối ưu có thể chứa thêm tiêu chí về chất lượng. Với robot, hệ thống không chỉ tìm một đường không va chạm mà còn có thể ưu tiên đường nhanh hơn tới vật cần lấy. Ràng buộc trả lời câu hỏi “có được phép hay không”, còn mục tiêu chất lượng phân biệt các lời giải đều đã được phép. [1]

Tự do hơn có đem lại kết quả tốt hơn không?

Nhóm MIT thử nghiệm HardFlow trong thao tác robot, điều hướng mê cung và chỉnh sửa ảnh theo văn bản. Trong phạm vi các thử nghiệm này, thuật toán đáp ứng toàn bộ ràng buộc đã đặt ra và đạt chất lượng lời giải tốt hơn các phương pháp đối chứng. Một cánh tay robot, chẳng hạn, có thể tránh chướng ngại vật trong khi vẫn tìm đường nhanh tới vật thể mục tiêu; phần lớn phương pháp khác hoặc gây va chạm, hoặc tìm ra đường đi mất nhiều thời gian hơn đáng kể. [1]

Kết quả “đáp ứng toàn bộ” chỉ mô tả các bài kiểm tra đã thực hiện, không phải cam kết rằng thuật toán sẽ tuyệt đối an toàn trong mọi môi trường. Hiệu quả thực tế còn phụ thuộc vào việc ràng buộc có mô tả đúng nguy cơ hay không. Nếu vùng có người đứng không được biểu diễn trong bài toán, một bộ tối ưu không thể tự suy ra đầy đủ giới hạn còn thiếu. HardFlow cải thiện cách tuân thủ các quy tắc đã xác định, chứ không tự quyết định mọi quy tắc cần có. [1]

Vì sao không cần huấn luyện lại mô hình?

HardFlow hoạt động ở giai đoạn triển khai và có thể gắn với mô hình tạo sinh đã được huấn luyện trước. Nó điều khiển quá trình lấy mẫu thay vì thay đổi trọng số của mạng nơ-ron, nên không đòi hỏi xây dựng lại mô hình cho từng bộ ràng buộc. Thời gian tính toán trong các thử nghiệm cũng tương đương hoặc thấp hơn phần lớn phương pháp được đem ra so sánh. [1]

Đặc điểm này mở ra một cách phân công rõ ràng: mô hình tạo sinh cung cấp khả năng khám phá nhiều phương án, còn lớp tối ưu chịu trách nhiệm hướng đầu ra vào miền chấp nhận được. Nhóm nghiên cứu cho biết một hướng phát triển tiếp theo là cho phép cập nhật cả mô hình, nhằm cải thiện thích ứng đồng thời về chất lượng mẫu và khả năng thỏa mãn ràng buộc. Hiện tại, đóng góp đáng chú ý của HardFlow là cho thấy an toàn ở đầu ra không nhất thiết đòi hỏi bó hẹp mọi bước suy luận nội bộ. [1]