Từ hoạt động não chuột, các nhà khoa học dựng lại đoạn phim đã chiếu như thế nào?

Một con chuột xem đoạn phim chưa từng xuất hiện trong dữ liệu huấn luyện. Từ hoạt động của các tế bào ở vỏ não thị giác, nhóm nghiên cứu tại University College London đã tái dựng một đoạn phim dài 10 giây có nét tương đồng với cảnh vừa chiếu. Cách làm không phải là lấy hình ảnh hoàn chỉnh ra khỏi não: mô hình dự đoán phản ứng thần kinh, rồi thuật toán liên tục sửa các điểm ảnh cho đến khi tín hiệu dự đoán phù hợp hơn với tín hiệu đã đo. [1]

Điểm đáng chú ý nằm ở bài toán ngược phía sau kết quả ấy. Khi xem phim, não biến ánh sáng thành hoạt động thần kinh; nhóm nghiên cứu thử đi theo chiều ngược lại, từ hoạt động thần kinh suy ra kích thích thị giác có khả năng tạo nên nó. Vì thế, thành quả này là sự tái dựng một bộ phim đã được chiếu trong điều kiện thí nghiệm, không phải công cụ nhìn thấy mọi hình ảnh, ký ức hay ý nghĩ của con vật. [1]

Nhóm nghiên cứu đã ghi lại tín hiệu nào?

Dữ liệu đến từ các tế bào riêng lẻ trong vỏ não thị giác, vùng tham gia xử lý thông tin từ mắt. Một phương pháp chụp hiển vi phát hiện những mức tăng canxi cục bộ, qua đó xác định tế bào nào đang hoạt động khi chuột xem phim. So với tín hiệu tổng hợp trên một vùng não rộng, phép đo ở cấp tế bào cho thấy chi tiết hơn cách các nhóm tế bào phản ứng trước cảnh chuyển động. [1]

Có thể hình dung mỗi tế bào như một đầu dò chỉ phản ứng mạnh với một số đặc điểm nhất định, nhưng không đầu dò nào tự mang cả khung hình. Một tế bào hoạt động cũng không đồng nghĩa với một điểm ảnh sáng lên ở vị trí tương ứng. Hình ảnh chỉ có thể được suy ra từ mẫu hoạt động phối hợp của nhiều tế bào theo thời gian, khiến đây trở thành bài toán ghép rất nhiều tín hiệu rời rạc. [1]

Mô hình học điều gì trước khi dựng phim?

Nhóm UCL sử dụng một mô hình mã hóa thần kinh động từng được phát triển cho Sensorium Competition năm 2023. Vai trò của nó là dự đoán từng tế bào sẽ phản ứng thế nào khi chuột xem phim. Mô hình còn tính đến chuyển động của con vật và sự thay đổi đường kính đồng tử, bởi tín hiệu đo được không chỉ biến đổi theo nội dung trên màn hình. [1]

“Mã hóa” ở đây là chiều từ hình ảnh đến phản ứng thần kinh: đưa một bộ phim vào, mô hình ước tính hoạt động của các tế bào. Muốn tái dựng phim, các nhà nghiên cứu phải dùng khả năng dự đoán ấy theo chiều ngược. Họ không yêu cầu mô hình trực tiếp vẽ ra đáp án, mà tìm một chuỗi điểm ảnh có thể giải thích hợp lý mẫu hoạt động đã quan sát. [1]

Từ màn hình trống đến đoạn phim diễn ra ra sao?

Quá trình bắt đầu bằng một bộ phim trống. Nhóm nghiên cứu tính phản ứng mà mô hình dự đoán nếu chuột nhìn màn hình trống, rồi đối chiếu với hoạt động thực tế được ghi khi nó xem phim. Sai khác giữa dự đoán và phép đo cung cấp hướng để thuật toán điều chỉnh các điểm ảnh. Quy trình được lặp lại, khiến bộ phim ứng viên dần giống hơn với đoạn đã chiếu. [1]

Một ví dụ đơn giản: nếu một bức tranh ghép đang thiếu vùng sáng chuyển động, dự đoán tạo ra từ nó sẽ không khớp với những tế bào nhạy với đặc điểm ấy. Thuật toán có thể thử thay đổi vùng ảnh, kiểm tra phản ứng dự đoán mới và giữ những thay đổi làm độ lệch giảm xuống. Ví dụ này chỉ minh họa nguyên tắc tối ưu; tế bào thần kinh và hình ảnh thực tế có quan hệ phức tạp hơn nhiều.

Cách làm này cũng giải thích vì sao kết quả là bản tái dựng chứ không phải bản sao được lưu trong não. Nhiều bộ phim ứng viên có thể tạo ra những mẫu phản ứng gần nhau, nhất là khi số tế bào được ghi còn hạn chế. Thuật toán tìm một lời giải phù hợp với dữ liệu và mô hình, chứ không mở được một “tệp video” nằm sẵn trong hệ thần kinh. [1]

Làm sao biết mô hình không chỉ nhớ phim cũ?

Sau khi huấn luyện, nhóm nghiên cứu cho chuột xem một đoạn phim chưa từng được đưa vào dữ liệu huấn luyện của mô hình. Chỉ dựa trên hoạt động thần kinh ghi trong lần xem đó, hệ thống tạo được đoạn tái dựng dài 10 giây giống bộ phim mới. Thử nghiệm này nhằm cho thấy phương pháp có thể suy ra thông tin thị giác ngoài những cảnh đã gặp, thay vì đơn thuần chọn lại một phim cũ. [1]

Độ giống được đánh giá bằng tương quan điểm ảnh, tức so sánh các điểm ảnh tương ứng giữa phim gốc và phim tái dựng. Kết quả cho thấy khác biệt nhỏ về thời điểm xuất hiện nội dung, nhưng độ phân giải và phần cảnh có thể khôi phục vẫn còn chỗ để cải thiện. Chất lượng cũng tăng khi dữ liệu từ nhiều tế bào riêng lẻ hơn được đưa vào. [1]

Tương quan điểm ảnh trả lời một câu hỏi hẹp: hai chuỗi hình có thay đổi giống nhau tại các vị trí tương ứng hay không. Chỉ số ấy không tự chứng minh rằng con chuột trải nghiệm chủ quan đúng như bản dựng, cũng không cho biết mọi đặc điểm trong cảnh có ý nghĩa thế nào với nó. Đây là phép kiểm tra mức độ khớp của sản phẩm tái dựng với kích thích đã biết. [1]

Vì sao đây chưa phải công nghệ đọc tâm trí?

Thí nghiệm có một điểm tựa rất cụ thể: chuột đang xem phim, hoạt động ở vỏ não thị giác được ghi lại và mô hình đã học mối liên hệ giữa phim với phản ứng tế bào. Kết quả vì thế chỉ cho thấy khả năng suy ra thông tin thị giác trong khuôn khổ ấy. Nguồn nghiên cứu không cho thấy hệ thống có thể lấy tùy ý một ký ức, giấc mơ hay hình ảnh tưởng tượng rồi biến nó thành video. [1]

Ngay cả với phim được chiếu, bản dựng còn phụ thuộc vào số tế bào quan sát được, khả năng dự đoán của mô hình và phần trường nhìn mà dữ liệu bao phủ. Nếu thiếu tín hiệu, thuật toán phải làm việc với nhiều lời giải khả dĩ hơn. Do đó, cụm từ “từ hoạt động não” mô tả đầu vào của phép tái dựng, không có nghĩa mọi nội dung tinh thần đều đã trở nên trực tiếp quan sát được. [1]

So sánh cảnh thật với biểu diễn trong não để làm gì?

Mục tiêu sâu hơn của nhóm nghiên cứu là so sánh những gì hiện diện trước mắt con vật với cách não biểu diễn chúng. Thị giác không vận hành như máy quay chỉ chép lại mọi điểm sáng. Trong quá trình xử lý, não có thể nhấn mạnh, biến đổi hoặc lọc bớt một số đặc điểm; sự chênh lệch ấy có thể phản ánh cách hệ thần kinh tổ chức thông tin hữu ích cho nhận thức. [1]

Nếu kỹ thuật tái dựng sắc nét hơn và bao phủ phần cảnh lớn hơn, các nhà nghiên cứu có thể xem loại thông tin nào được giữ lại tốt, loại nào bị thay đổi và các loài biểu diễn cùng một môi trường khác nhau ra sao. Đoạn phim 10 giây vì vậy đáng chú ý không phải vì nó biến não thành màn hình, mà vì nó cung cấp một cách đối chiếu có thể đo lường giữa cảnh được chiếu và dấu vết thần kinh do cảnh ấy tạo ra. [1]