Quay lại danh sách dự án
Tái dựng 3D / Thực tế ảo / Đồ họa máy tính2026Dự án nghiên cứu

Tái dựng môi trường nhập vai bằng Gaussian Splatting

Quy trình mô-đun biến ảnh chụp thực tế thành môi trường 3D tối ưu cho VR bằng Gaussian Splatting.

3DGSCOLMAPLichtFeld StudioUnityOpenXRVR
Hình xem trước của Tái dựng môi trường nhập vai bằng Gaussian Splatting

Kết quả

Các chỉ số chính

Tốc độ khung hình mục tiêu

60 FPS

Mức tối thiểu để trải nghiệm nhập vai ổn định

Ngân sách cảnh đã thử nghiệm

~250K splats

Đạt được khi các splat phân bố tương đối đều

Khuyến nghị của Meta

<150K splats

Mốc tham khảo cho kính VR độc lập

Tỷ lệ kết xuất

0.7-0.8

Khoảng cân bằng giữa chất lượng và hiệu năng

Tổng quan kỹ thuật

Thông tin nhanh

Mục tiêu

Quy trình số hóa môi trường nhập vai

Vai trò

Nghiên cứu 3DGS và tích hợp XR

Thời gian

Dự án Master GIG, 2026

Công nghệ

COLMAP, LichtFeld Studio, Unity, OpenXR

Dữ liệu

Bộ dữ liệu tham khảo và cảnh tự chụp

Kết quả

Cảnh VR/MR tương tác đã tối ưu

Trạng thái

Dự án nghiên cứu

Giới thiệu dự án

Tổng quan

Bài toán

Cảnh 3DGS chất lượng cao có thể chứa quá nhiều phần tử, không có bề mặt rõ ràng cho va chạm và dễ bị ảnh hưởng bởi dữ liệu thiếu, vật thể chuyển động hoặc bề mặt phản chiếu.

Mục tiêu

Xây dựng quy trình từ hình ảnh đến XR có thể lặp lại, giữ chất lượng hình ảnh và phù hợp với giới hạn phần cứng của kính VR độc lập.

Phương pháp

Chụp ảnh rõ và đủ góc, tái dựng camera bằng COLMAP, huấn luyện và làm sạch cảnh trong LichtFeld Studio, sau đó tích hợp vào Unity với OpenXR và lưới đơn giản dành cho va chạm.

Kết quả

Quy trình đạt khả năng hiển thị nhập vai ổn định ở 60 FPS khi kiểm soát tốt số lượng và mật độ splat. Thử nghiệm đạt khoảng 250.000 splat.

Nền tảng kỹ thuật

Công nghệ sử dụng

Tái dựng

COLMAPStructure-from-Motion3DGS

Tối ưu

LichtFeld StudioPostShotLumaAI

Môi trường XR

UnityOpenXRURPgsplatUnity

Hình học

CloudCompareBlenderSplat2Mesh

Quá trình phát triển

Tiến trình dự án

  1. 2026

    Đánh giá công cụ và dữ liệu

    So sánh COLMAP, LichtFeld Studio, PostShot và LumaAI.

  2. 2026

    Quy trình ảnh sang 3DGS

    Thiết lập các bước tái dựng, huấn luyện, làm sạch và tối ưu.

  3. 2026

    Triển khai XR

    Tích hợp vào Unity và đánh giá kết xuất cùng tương tác trong VR.

So sánh

Trước / Sau

Before
Before
After
After

Quy trình

Các bước thực hiện

01

Thu thập hình ảnh

Chụp ảnh HD rõ nét của cảnh tĩnh từ nhiều góc khác nhau.

Đầu vào

02

Tái dựng camera

Dùng COLMAP để ước lượng vị trí camera và tạo đám mây điểm ban đầu.

SfM

03

Huấn luyện 3DGS

Tạo cảnh trong LichtFeld Studio và điều chỉnh chất lượng cùng số lượng splat.

Huấn luyện

04

Làm sạch và tối ưu

Cắt vùng thừa, loại bỏ nhiễu và điều chỉnh mật độ phù hợp với VR.

Tối ưu

05

Tích hợp Unity XR

Cấu hình OpenXR, kết xuất single-pass, FFR và hậu kỳ.

Thời gian thực

06

Tương tác và triển khai

Căn chỉnh lưới va chạm vô hình rồi triển khai trải nghiệm lên kính VR.

Đầu ra

Tư liệu dự án

Thư viện hình ảnh

image

Căn phòng tái dựng trong VR

01
Căn phòng tái dựng trong VR

Toàn cảnh môi trường Gaussian Splatting đã tối ưu khi chạy trong ứng dụng VR.

image

Điều hướng và bộ điều khiển VR

02
Điều hướng và bộ điều khiển VR

Góc nhìn khi chạy ứng dụng với bộ điều khiển được theo dõi và tia tương tác trong cảnh tái dựng.

image

Kiểm thử tương tác thời gian thực

03
Kiểm thử tương tác thời gian thực

Bài kiểm thử thực tế để xác nhận khả năng điều hướng, trỏ và va chạm trong Unity VR.

image

Chi tiết cảnh tái dựng

04
Chi tiết cảnh tái dựng

Góc nhìn gần cho thấy đồ nội thất, tường và các chi tiết kiến trúc được giữ lại trong môi trường nhập vai.

Chi tiết triển khai

Ghi chú kỹ thuật

  • Chất lượng ảnh đầu vào mang tính quyết định: ảnh phải rõ, không có vật thể chuyển động và bao phủ đủ góc nhìn.
  • Cấu hình Unity thử nghiệm dùng SH Order 0, Opacity Scale 0,7, Splat Scale 1 và sắp xếp mỗi bốn khung hình.
  • Kết xuất stereo single-pass rất quan trọng vì multi-pass phải xử lý riêng cho từng mắt.
  • Bề mặt phản chiếu, cảnh động và mật độ splat không đều vẫn là nguồn lỗi chính.
  • Lưới đơn giản chỉ phục vụ va chạm, còn splat đảm nhiệm phần hình ảnh.
  • Global Volume cho phép chỉnh màu mà không làm thay đổi dữ liệu Gaussian.

Tài liệu

Tài liệu tham khảo

paper

3D Gaussian Splatting

Bài báo nền tảng về kết xuất trường bức xạ theo thời gian thực.

documentation

COLMAP

Phần mềm Structure-from-Motion dùng để ước lượng camera và tái dựng đám mây điểm ban đầu.

github

LichtFeld Studio

Ứng dụng mã nguồn mở dùng để huấn luyện, tối ưu, cắt và làm sạch cảnh Gaussian.

github

UnityGaussianSplatting

Bản triển khai Unity dùng để hiển thị và xử lý tài nguyên 3D Gaussian Splatting.

Tài liệu tham khảo

Tài nguyên

Demo