Co GaSp/3DGS oznacza dla Ciebie?

Zanim wejdziemy w szczegóły - co Gaussian Splatting może dać Tobie i Twojemu biznesowi?

• Wspaniałą wizualizację hali produkcyjnej, z opcją wirtualnej wycieczki

• Wizualizację Twojego produktu z zachowaniem rzeczywistych odbić i warunków oświetleniowych

• Wizualizację mieszkania na sprzedaż bądź wynajem

• Przedstawienie perełek architektury i historycznego dorobku regionu

Skontaktuj się już dziś, żeby dowiedzieć się jak wykorzystać tę nową technologię!

Fotogrametria - dotychczasowy standard

3 lata temu przygotowywałem fotoskan zabytkowego kościoła w Trzęsówce, w parafii Św. Anny. Niemal 900 zdjęć wykonanych Canonem 90D z użyciem obiektywu 10-18mm, kalibracja kolorów, rekonstrukcja, model 3D o wielu milionach wierzchołków. Nie tak dokładnie jak laser, ale dla potrzeb wizualizacji i do wglądu konserwatora zabytków? Doskonałe.

Co się zmieniło przez ten czas?

Wszystko. Mniej więcej 3 lata temu coraz głośniej zaczęło robić się o technologii NeRF, tj. Neural Radiance Fields. Tam gdzie fotogrametria zawodziła: odbicia, odblaski, biele, czernie, etc. tam NeRF radził sobie doskonale. Problem? wytrenowanie modelu NeRF było niesamowicie zasobożerne i wymagało potężnego procesora graficznego. Użycie tej technologii na żywo, a tym bardziej na biznesowym laptopie w przeglądarce? Odpada.

Potem jednak pojawiła się technologia pochodna - GaSp (lub 3DGS), czyli Gaussian Splatting. Choć wychodząca z podobnych założeń, robiła niemal wszystko inaczej.

NeRF uczył sieć neuronową funkcji f(x,y,z,θ,ϕ)→(RGB,σ) - czyli pozycja w przestrzeni, kierunek patrzenia, gęstość, kolor. Efektem jest bardzo wysoka jakość wizualizacji, ale jak już wspomniałem - ceną są wymagania sprzętowe (sieć neuronowa jest odpytywana dla setek punktów dla każdego wysyłanego przez kamerę promienia [raytracing - nie wchodźmy w szczegóły, bo przepadniemy]), w wyniku czego zastosowanie w czasie rzeczywistym odpada.

Z kolei w GaSp scena jest reprezentowana przez setki tysięcy lub miliony elipsoid Gaussa.

Każdy Gaussian posiada:

• pozycję XYZ,

• skalę,

• rotację,

• kolor,

• przezroczystość,

• parametry opisujące zależność od kierunku patrzenia (np. spherical harmonics).

Czyli - nie ma tutaj kosztownego odpytywania sieci neuronowej dla każdego punktu promienia.

Sukces?

Jeszcze nie - bo choć rozwiązuje to część problemów NeRF, to pojawiają się nowe, jak np. zwiększone zapotrzebowanie na VRAM (pamięć układu graficznego), większa podatność na występowanie tzw. floaters (czyli zawieszone w przestrzeni błędy reprezentacji obiektów), czy większa trudność w reprezentacji cienkich, drobnych konstrukcji.

Nie można też zapomnieć o wspólnym mianowniku NeRF i GaSp - reprezentacja przestrzenna nie jest bryłą / "meshem" - to wizualizacja wolumetryczna. Pewne przybliżenie rzeczywistości, które w metrologii - w przeciwieństwie do fotogrametrii - nie znajduje zastosowania. A przynajmniej na razie. Ale dla potrzeb wizualizacji? Doskonałe rozwiązanie, które bije na głowę wiele dotychczasowych rozwiązań.

GaSp / 3DGS wciąż się rozwija!

Na tym nie koniec - coraz więcej badaczy i firm widzi potencjał Gaussian Splattingu i jest on dynamicznie rozwijającą się technologią. Już w tej chwili istnieją metody tworzenia tzw. LoD (Level of Detail), które umożliwiają zamieszczenie na stronie modelu 3DGS, który choć składa się z wielu milionów elipsoid, zachowa płynność prezentacji nawet na najzwyklejszym laptopie biznesowym, czy na telefonie.

Dodajmy do tego rozwijającą się dziedzinę tzw. re-lightingu, a więc kontroli oświetlenia sceny stworzonej w technologii GaSp / 3DGS i mamy w zanadrzu rewolucję w kwestii wizualizacji.