Ver o código fonte de «NeRF»

Un '''campo de radiación neural''' ('''NeRF,''' siglas en inglés de ''Neural Radiance Field'') é un método baseado na [[Deep learning|aprendizaxe profunda]] ou ''deep-learning'' para formar unha [[Reconstrución 3D|representación tridimensional]] dunha escena a partir de imaxes bidimensionais. O modelo NeRF permite aprender a síntese de novas vistas (''view synthesis''), a [[xeometría]] da escena e as propiedades de [[reflectancia]] da mesma, facendo posible [[Renderización|renderizar]] vistas [[Fotografía|fotorrealistas]] desde puntos de vista novos. 

Introducido por primeira vez en [[2020]] por [[Google]],<ref name=":0">{{Cita publicación periódica|título=NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis|url=https://link.springer.com/chapter/10.1007/978-3-030-58452-8_24|editorial=Springer International Publishing|revista=Computer Vision – ECCV 2020|data=2020|lugar=Cham|ISBN=978-3-030-58452-8|páxina=405–421|serie=Lecture Notes in Computer Science|doi=10.1007/978-3-030-58452-8_24|lingua=en|nome=Ben|apelidos=Mildenhall|nome2=Pratul P.|apelidos2=Srinivasan|nome3=Matthew|apelidos3=Tancik|nome4=Jonathan T.|apelidos4=Barron|nome5=Ravi|apelidos5=Ramamoorthi|nome6=Ren|apelidos6=Ng|nome-editor=Andrea|apelidos-editor=Vedaldi|nome-editor2=Horst|apelidos-editor2=Bischof|nome-editor3=Thomas|apelidos-editor3=Brox|nome-editor4=Jan-Michael|apelidos-editor4=Frahm}}</ref> desde entón gañou unha atención significativa polas súas potenciais aplicacións en [[Imaxes xeradas por ordenador|gráficos por ordenador]] e creación de contidos.<ref>{{Cita web|título=What is a Neural Radiance Field (NeRF)?|url=https://www.techtarget.com/searchenterpriseai/definition/neural-radiance-fields-NeRF|páxina-web=Definition from TechTarget; Enterprise AI|data-acceso=2024-02-16|lingua=en}}</ref> Aínda que o concepto foi creado en 2020, un feixe de ''paper''s popularizaron o método especialmente desde o 2022.<ref>{{Cita web|título=NeRF at CVPR 2022|url=https://dellaert.github.io/NeRF22/|páxina-web=Frank Dellaert|data=2022-06-21|data-acceso=2024-09-03|lingua=en}}</ref> De feito, a revista [[Time]] considerou NeRF como unha das mellores invencións dese ano.<ref>{{Cita web|título=NVIDIA Instant NeRF: The 200 Best Inventions of 2022|url=https://time.com/collection/best-inventions-2022/6225489/nvidia-instant-nerf/|páxina-web=Time|data=2022-11-10|data-acceso=2024-09-03|lingua=en}}</ref>

== Definición ==
[[Ficheiro:Perceptron 4layers.png|miniatura|Rede neural perceptrón multicapa (MLP de 4 capas).]]
O termo '''campo de radiación neural''' (introducido por Xie, Yiheng)<ref>{{Cita web|url=https://arxiv.org/abs/2111.11426|páxina-web=arXiv|título=Neural Fields in Visual Computing and Beyond|data-acceso=03/09/2024}}</ref> refírese a unha [[rede neural]] que parametriza unha sinal, que pode ser unha escena 3D ou un obxecto. Ademais, sinais do tipo auditivo (audios), imaxes e practicamente calquera outro ''input'' discreto ou continuo pode ser representado por NeRF.<ref>{{Cita web|título=How Neural Radiance Fields (NeRF) and Instant Neural Graphics Primitives work|url=https://theaisummer.com/nerf/#fn-1|páxina-web=AI Summer|data=2022-11-25|data-acceso=2024-09-03|lingua=en|nome=Sergios|apelidos=Karagiannakos}}</ref>

En [[física]], o concepto de [[Campo (física)|campo]] involucra o mapeo de cantidades e coordenadas. Campos como o [[Campo electromagnético|electromagnético]] ou o [[Campo gravitatorio|gravitatorio]] adoptan a representación dunha coordenada <math>x</math> xunto á cantidade <math>y</math>, que comunmente é un [[vector]], escalar ou [[tensor]]. Os campos de radiación neural de NeRF alimentan a [[rede neural]] coas coordenadas da escena a replicar coa meta de producir cantidades de campo e reconstruír o problema cos sucesivos procesos de [[Optimización matemática|optimización]].

A aplicación máis célebre do método NeRF é a síntese de vistas, é dicir, reconstruír unha contorna 3D a través dun conxunto de datos bidimensionais (usualmente fotografías). Métodos tradicionais como a [[fotogrametría]] ou modernos como o [[splatting gaussiano]] son outras aproximacións neste campo. NeRF implica tomar mostras de moitos puntos ao longo dos raios da cámara, así que pode apoiarse en técnicas tradicionais de renderizado de volume para producir unha imaxe final.<ref name=":0" /> 

O campo de radiación neural esixe capturar unha soa escena ou contorna para axustar os pesos da [[Rede neural artificial|rede neural]] de tipo [[perceptrón]] multicapa (MLP, ''MultiLayer Perceptron'') de forma eficaz. O obxectivo é sobreaxustar a rede para codificar os datos de entrada. 

== Representación ==
[[Ficheiro:Voxels.svg|miniatura|162x162px|Malla vóxel.]]
As representacións máis comúns dentro dos [[Imaxes xeradas por ordenador|gráficos por ordenador]] son: 

* '''Mallas vóxel''' (sendo o vóxel a unidade cúbica mínima que compón un obxecto 3D, equivalente ao píxel 2D).
* '''Mallas poligonais''' (conxunto de vértices, arestas e caras que definen a forma dun obxecto 3D).<ref>{{Cita web|título=Introduction to 3D Polygon Mesh - 3D Studio|url=https://3dstudio.co/es/polygon-mesh/|páxina-web=Estudio 3D|data=2022-02-02|data-acceso=2024-09-03|lingua=es-ES}}</ref>

Cada unha destas representacións ten os seus propios inconvenientes:

* Os ''vóxeles'' tenden a ser caros de almacenar.
* As mallas poligonais están limitadas a certas superficies.
[[Ficheiro:Dolphin triangle mesh.png|miniatura|Golfiño representado por unha malla poligonal (''polygon mesh'').]]A representación proposta por NeRF difire no sentido de que os campos de radiación neural son moito máis lixeiros (fácil almacenamento) e permiten formas e dimensións arbitrarias. Vóxel e mallas poligonais non son diferenciables e continuas, pero os campos neurais sí, ademais de ser independentes do dominio (aceptan todo tipo de ''input'' sempre que se codifique en vectores de entrada).

== Algoritmo ==
O algoritmo NeRF representa unha escena como un campo de radiación parametrizado por unha [[Deep learning|rede neuronal profunda]] perceptrón multicapa (MLP). A rede predí unha densidade de volume e unha radiación emitida dependente da vista dada a localización espacial (''x, y, z'') e a dirección de visión en [[ángulos de Euler]] (''θ, Φ'') da cámara. 

=== Campos neurais ===
De acordo a ''Neural Fields in Visual Computing and Beyond'', os pasos a seguir nunha computación de campos neurais son os seguintes:

# Mostra de coordenadas da escena (datos de entrada recollidos nun vector).
# Execución da rede neural e cálculo de cantidades de campo.
# Reconstrución do dominio do problema.
# Mapeo da reconstrución ao sensor de partida (imaxes 2D RGB, son ou outro tipo de ''input'').
# Cálculo do erro entre a reconstrución elaborada por NeRF e a escena orixinal. Sucesivas optimizacións da rede neural.

É conveniente distinguir entre a reconstrución do campo neural e a observación da escena a través dun sensor. 

==== Observación do sensor ====
Sexan

* <math>S</math> conxunto de coordenadas observadas.
* <math>x_{s} \in S</math> observación singular do sensor.
* <math>T</math> conxunto de medidas.
* <math>y_s \in T</math> medida singular.

<math>\Omega: S \rightarrow T</math> a transformación de coordenadas observadas en medicións.

==== Reconstrución do campo neural ====
Sexan

* <math>X</math> conxunto de coordenadas de entrada.
* <math>x_r \in X</math> coordenada singular.
* <math>Y</math> conxunto de cantidades de campo.
* <math>y_{r} \in Y</math> cantidade de campo.

<math>\Phi: X \rightarrow Y</math> a transformación de coordenadas de entrada en valores de campo da rede.

O mapeo completo entre a observación do sensor e a reconstrución neural resulta en:

<math>F: (X \rightarrow Y) \rightarrow (S \rightarrow T)</math>

De modo que o [[Optimización matemática|problema de optimización]] consiste en minimizar o erro de predición. Matematicamente:

<math>\arg\min_{\theta} \int_{x_r,x_s\in(X,S)} \lVert F(\Phi(x_r) - \Omega(s_s)) \rVert</math>

=== Campos de radiación neural ===
A arquitectura NeRF céntrase en concreto na síntese de vistas ([[reconstrución 3D]]). NeRF enténdese como un caso concreto dos campos neurais descritos no apartado anterior. Na seguinte táboa móstrase a nova terminoloxía asociada a NeRF.
{| class="wikitable"
|+Equivalencias Neural Fields e NeRF
!Concepto
!Notación
!Elemento en NeRF
|-
|Coordenada do sensor 
|<math>x_{s} \in S</math>
|Imaxes 2D
|-
|Medición do sensor
|<math>y_s \in S</math>
|Radiación
|-
|Sensor
|<math>\Omega: S \rightarrow T</math>
|Cámara dixital
|-
|Coordenada de entrada
|<math>x_r \in X</math>
|Localización (''x, y, z'') e densidade de volume <math>\sigma</math>
|-
|Cantidade de campo
|<math>y_{r} \in Y</math>
|Cor (r'', g, b'') e dirección en ángulos de Euler (''θ, Φ'')
|-
|Campo
|<math>\Phi: X \rightarrow Y</math>
|Rede neural perceptrón multicapa (MLP)
|-
|Mapeo completo <math>F</math>
|<math>F: (X \rightarrow Y) \rightarrow (S \rightarrow T)</math>
|Renderizado 3D
|}
NeRF require de coordenadas en cinco dimensións como entrada, sendo estas a compoñente espacial (''x, y, z'') e a dirección en ángulos de Euler (''θ, Φ''). A rede neural MLP recibe o vector 5D como ''input'' e devolve a intensidade de cor en RGB xunto á densidade de volume <math>\sigma</math>.

* <math>\sigma</math> describe o efecto do punto na escena global. Pode entenderse como unha "probabilidade" intuitivamente que sinala a radiación do punto (a maior efecto, maior probabilidade de que a cor predita sexa correcta).
* O ''output'' RGB<math>\sigma</math> é o valor devolto por NeRF que, posteriormente, é suxeito a procesos de renderizado de volume tendo en conta a distancia do raio e, finalmente, a función de perda (coñecida como ''rendering loss'') que se optimiza ata conseguir o efecto desexado.

== Optimización ==
O algoritmo NeRF é '''diferenciable''', o que permite a comparación entre a saída da rede neural (''output'') e as imaxes de orixe (''input'') a través dunha función de perda. É común empregar a regularización L2, é dicir, '''ridge''', para tratar a suma de cadrados dos pesos.<ref>{{Cita web|título=regularization l2|url=https://www.bing.com/search?pglt=163&q=regularization+l2&cvid=f979d7e1b8dd48d7b40e58afdd99fa2e&gs_lcrp=EgZjaHJvbWUyBggAEEUYOTIGCAEQABhAMgYIAhAAGEAyBggDEAAYQDIGCAQQABhAMgYIBRAAGEAyBggGEAAYQDIGCAcQABhAMgYICBAAGEAyCAgJEOkHGPxV0gEINDMxNmowajGoAgCwAgA&FORM=ANNAB1&ucpdpc=UCPD&PC=DCTS|páxina-web=Bing|data-acceso=2024-09-03|lingua=gl}}</ref>

<math>L2 = \lambda * \Sigma_{i=1}^n w_i</math>

sendo 

* '''Pesos''' <math>w_i</math>.
* '''Parámetro de penalización''' <math>\lambda</math>. Controla a forza de penalización. Valores altos forzan aos pesos a ser máis pequenos, simplificando o modelo.

== Renderizado de volume ==
O '''renderizado volumétrico''' é unha parte fundamental do proceso, é dicir, obter novas imaxes bidimensionais a partir da saída 3D da rede neural. 

Para NeRF é común empregar a técnica de "raio marchante" (''ray marching'') que, a diferenza do "raio trazado" (''ray tracing'') funciona correctamente para superficies suaves e condicións especiais de iluminación (néboas e formas sutís nas que os obxectos non están claramente delimitados).<ref>{{Cita web|título=Interactive Graphics 25 - Volume Rendering|url=https://www.youtube.com/watch?v=y4KdxaMC69w|data=2022-04-13|data-acceso=2024-09-03|apelidos=Cem Yuksel}}</ref>
[[Ficheiro:Visualization of SDF ray marching algorithm.png|miniatura|318x318px|Visualización do método de ''ray marching'' por SDF (función de distancia con signo).]]
O '''raio marchante volumétrico''' traza raios co obxectivo de tomar mostras da cor <math>c</math> e densidade <math>\sigma</math> ao longo do mesmo. Finalmente, combínanse todas as mostras na cor do píxel final. É un '''proceso iterativo''', de modo que resulta necesario establecer os pasos ou "chanzos" que definen a frecuencia de mostraxe ao longo do raio. Cada iteración avanza en dirección ao obxecto ou superficie, ata que o proceso conclúe cerca do sólido.

Cada punto de mostraxe ten:

* '''Localización espacial''' (''x, y, z).''
* '''Cor''' <math>c</math>
* '''Densidade volumétrica''' <math>\sigma</math>.

As compoñentes necesarias para a expresión do raio son:

# Orixe <math>o</math> (posición)
# Dirección <math>d</math>
# Pasos ou chanzos <math>t</math>.

Así, o raio de luz como función das súas compoñentes tería a seguinte expresión:

<math>r(t) = o + t*d</math>,

e tendo en conta que tanto a densidade <math>\sigma</math> como a cor dependen do propio raio, poderían escribirse así mesmo como <math>\sigma(r(t))</math> e <math>c(r(t))</math>, respectivamente.

Integrando os raios obtéñense as cores finais de cada píxel.

== Aplicacións ==
Os NeRF teñen unha ampla gama de aplicacións, entre as que se encontran:<ref name=":1">{{Cita publicación periódica|título=Nerfstudio: A Modular Framework for Neural Radiance Field Development|url=https://dl.acm.org/doi/10.1145/3588432.3591516|editorial=Association for Computing Machinery|revista=ACM SIGGRAPH 2023 Conference Proceedings|data=2023-07-23|lugar=New York, NY, USA|ISBN=979-8-4007-0159-7|páxina=1–12|serie=SIGGRAPH '23|doi=10.1145/3588432.3591516|nome=Matthew|apelidos=Tancik|nome2=Ethan|apelidos2=Weber|nome3=Evonne|apelidos3=Ng|nome4=Ruilong|apelidos4=Li|nome5=Brent|apelidos5=Yi|nome6=Terrance|apelidos6=Wang|nome7=Alexander|apelidos7=Kristoffersen|nome8=Jake|apelidos8=Austin|nome9=Kamyar|apelidos9=Salahi}}</ref><ref>{{Cita web|título=Luma AI|url=https://lumalabs.ai/|páxina-web=Luma AI|data-acceso=2024-02-16|lingua=en|nome=Luma|apelidos=AI}}</ref>

* '''Creación de contidos'''. Os NeRF teñen un grande potencial na creación de contido con vistas fotorrealistas.<ref>{{Cita web|título=Shutterstock Speaks About NeRFs At Ad Week|url=https://radiancefields.com/shutterstock-speaks-about-nerfs-at-ad-week/|páxina-web=Radiance Fields; radiancefields.com|data=2023-10-20|data-acceso=2024-02-16|lingua=en-US}}</ref> A tecnoloxía democratiza un espazo que antes só era accesible por equipos de artistas VFX con activos caros. Os campos de radiación neuronal permiten crear ambientes 3D atractivos co único requisito de posuír unha cámara.<ref name=":1" /> NeRF pode combinarse con [[Intelixencia artificial|intelixencia articial]] xerativa, o que permite aos usuarios sen experiencia de modelaxe instruír cambios en escenas 3D fotorrealistas.<ref>{{Cita web|título=InstructPix2Pix: Learning to Follow Image Editing Instructions|url=https://ieeexplore.ieee.org/document/10204579/|páxina-web=IEEE Xplore; ieeexplore.ieee.org; IEEE Conference Publication|data-acceso=2024-02-16|doi=10.1109/cvpr52729.2023.01764}}</ref> Os NeRF teñen usos potenciais na produción de vídeo, [[Gráficos 3D por ordenador|gráficos por ordenado]]<nowiki/>r e deseño de produtos.
* '''Contido interactivo.''' O fotorrealismo dos NeRF posibilita o seu uso inmersivo en [[realidade virtual]] ou [[Videoxogo|videoxogos]]. Os NeRF pódense combinar con técnicas de renderizado clásicas para inserir obxectos sintéticos e crear experiencias virtuais verosímiles.<ref>{{Cita web|título=Venturing Beyond Reality: VR-NeRF ; Radiance Fields|url=https://radiancefields.com/venturing-beyond-reality-vr-nerf/|páxina-web=radiancefields.com|data=2023-11-08|data-acceso=2024-02-16|lingua=en-US}}</ref>
* [[Ficheiro:3D Computed Tomography PL.png|miniatura|250x250px|Tomografía 3D computarizada.]]'''Imaxe médica'''. Os NeRF foron utilizados para reconstruír [[Tomografía computadorizada|tomografías computadorizadas]] 3D a partir de vistas de [[raios X]] escasas ou mesmo únicas. O modelo demostrou representacións de alta fidelidade dos datos de [[peito]] e [[Xeonllo|xeonllos]]. De ser adopto, este método pode salvar aos pacientes de doses excesivas de [[radiación ionizante]], permitindo un diagnóstico máis seguro.<ref>{{Cita web|título=MedNeRF: Medical Neural Radiance Fields for Reconstructing 3D-aware CT-Projections from a Single X-ray|url=https://ieeexplore.ieee.org/document/9871757/|páxina-web=IEEE Conference Publication; IEEE Xplore; ieeexplore.ieee.org|data-acceso=2024-02-16|doi=10.1109/embc48229.2022.9871757}}</ref>

=== Robótica e autonomía ===
A capacidade dos NeRF para comprender obxectos transparentes e reflexivos fainos útiles para os [[robots]] que interactúan en tales ambientes. O uso de NeRF permitiu que un brazo robótico manipulase con precisión unha copa de viño transparente, unha tarefa na que [[Visión artificial|a visión tradicional por ordenador]] tería dificultades.<ref>{{Cita publicación periódica|título=Evo-NeRF: Evolving NeRF for Sequential Robot Grasping of Transparent Objects|url=https://openreview.net/forum?id=Bxr45keYrf|data=2022-08-15|lingua=en|nome=Justin|apelidos=Kerr|nome2=Letian|apelidos2=Fu|nome3=Huang|apelidos3=Huang|nome4=Yahav|apelidos4=Avigal|nome5=Matthew|apelidos5=Tancik|nome6=Jeffrey|apelidos6=Ichnowski|nome7=Angjoo|apelidos7=Kanazawa|nome8=Ken|apelidos8=Goldberg}}</ref>

Os NeRF tamén poden xerar rostros humanos fotorrealistas ou avatares.<ref>{{Cita web|título=Generating highly detailed human faces using Neural Radiance Fields|url=https://medium.com/illumination/generating-highly-detailed-human-faces-using-neural-radiance-fields-3b149cbd8af0|páxina-web=ILLUMINATION|data=2023-06-04|data-acceso=2024-02-16|lingua=en|apelidos=Aurora|data-arquivo=16 de novembro de 2023|url-arquivo=https://web.archive.org/web/20231116204433/https://medium.com/illumination/generating-highly-detailed-human-faces-using-neural-radiance-fields-3b149cbd8af0|url-morta=yes}}</ref>

== Notas ==
{{Listaref|30em}}
== Véxase tamén ==

=== Outros artigos ===
* [[Deep learning]]
* [[Intelixencia artificial]]
* [[Rede neural artificial|Redes neuronais artificiais]]

{{Control de autoridades}}
[[Categoría:Algoritmos]]
[[Categoría:Software en desenvolvemento]]
[[Categoría:Aprendizaxe profunda]]