Ver o código fonte de «LoRA»

'''LoRA''' (siglas de "adaptación de baixo rango", do inglés, ''Low-Rank Adaptation'') é un método de [[axuste fino]] que conxela os pesos do modelo preadestrado e no seu lugar adestra pesos novos de dúas matrices con rango menor, reducindo considerablemente o número de parámetros a adestrar. Xeralmente, aplícase LoRA nas diferentes capas de atención dos [[Transformador (modelo de aprendizaxe automática)|transformadores]], conxelando os pesos de cada capa, e substituíndoos pola súa correspondente descomposición nas dúas [[Matriz (matemáticas)|matrices]] de menos [[Rango (álxebra linear)|rango]]. Foi introducido no 2021, por investigadores de [[Microsoft]], no artigo ''LoRA: Low-Rank Adaptation of Large Language-Models'' (LoRA: adaptación de baixo rango de [[Modelo de linguaxe de grande escala|grandes modelos de linguaxe]]), onde destacan os baixos [[Complexidade computacional|tempos de execución]] e o bo funcionamento do modelo pese ao seu número reducido de parámetros.<ref name=":0">{{Cita publicación periódica|apelidos=Hu|nome=Edward|data=16 de outubro do 2021|título=LoRA: Low-Rank Adaptation of Large Language Models|revista=arXiv|apelidos2=Shen|nome2=Yelong|apelidos3=Wallis|nome3=Phillip|apelidos4=Allen-Zhu|nome4=Zeyuan|apelidos5=Li|nome5=Yuanzhi|apelidos6=Wang|nome6=Shean|apelidos7=Wang|nome7=Lu|apelidos8=Chen|nome8=Weizhu|lingua=en|arxiv=2106.09685}}</ref>[[Ficheiro:LoRA.svg|alt=Arquitectura de LoRA|miniatura|Funcionamento de LoRA. Adéstranse as matrices A e B, mentres que os pesos W quedan fixos. Arquitectura presentada no artigo orixinal.<ref name=":0" />]]
== Arquitectura ==
LoRA é un método que se pode aplicar a calquera matriz dunha [[Rede neural artificial|rede neural]], aínda que deseñouse para incluírse nas capas de atención dos [[Transformador (modelo de aprendizaxe automática)|transformadores]].<ref name=":1">{{Cita web|título=LoRA|url=https://huggingface.co/docs/peft/main/en/conceptual_guides/lora|páxina-web=huggingface.co|data-acceso=2024-08-27|lingua=en}}</ref> Dada unha matriz da rede, de dimensión <math>d \times d</math>, cos seus correspondentes pesos, <math>W</math>, descomponse esta matriz en dúas de rango <math>r</math> menor, <math>A\in \mathbb{R}^{d\times r}</math> e <math>B\in \mathbb{R}^{r\times d}</math>, <math>r<<d</math>, tales que <math>W \approx A \times B</math>.<ref>{{Cita web|título=What is Low-Rank Adaptation (LoRA), explained by the inventor|url=https://www.youtube.com/watch?v=DhRoTONcyZE|data=09-01-2024|data-acceso=27-08-2024|apelidos=Hu|lingua=en|nome=Edward}}</ref> Tense a igualdade se <math>r</math> é igual ao rango da matriz <math>W</math>; se é menor, obtense unha [[aproximación de baixo rango]].<ref>{{Cita web|título=SVD and Data Compression Using Low-rank Matrix Approximation|url=https://dustinstansbury.github.io/theclevermachine/svd-data-compression|páxina-web=The Clever Machine|data=16-08-2020|data-acceso=27-08-2024|lingua=en|nome=Dustin|apelidos=Stansbury}}</ref> Polo tanto, se o modelo orixinal era <math>h=Wx,</math> <math>W\in\mathbb{R}^{d\times d}</math>, o modelo aplicando LoRA será <math>h=Wx+ABx</math>.<ref name=":0" />

En canto á inicialización destas novas matrices, a matriz <math>A</math> inicialízase seguindo unha distribución normal de media cero, mentres que na matriz <math>B</math> tódolos seus elementos comezan inicializados a cero.<ref name=":0" />

== Vantaxes ==
Este método posúe moitas vantaxes con respecto a facer un [[axuste fino]] sobre o modelo orixinal.

* O adestramento reduce o considerablemente uso do hardware, pois ao usar optimizadores específicos para o adaptador LoRA (matrices <math>A</math> e <math>B</math>), e seren estes poucos parámetros a adestrar, non hai que gardar en memoria tantos datos, alén de non ter que facer tantas operacións.<ref name=":0" />
* O tempo de adestramento é moito menor que adestrar só o modelo base, pois o número de parámetros, e por tanto, o número de operacións, para o axuste fino é considerablemente menor ao do modelo inicial.<ref name=":0" />
* O desempeño dos modelos que se adestran con LoRA é semellante a facer axuste fino completo do modelo, sen usar este adaptador.<ref name=":1" />
* O deseño permite fusionar as matrices que se adestran co modelo sen introducir latencia na inferencia.<ref name=":0" /> Pola contra, se se carga o modelo e os pesos de LoRA por separado, esta latencia si que se pode atopar.<ref name=":1" />
* Pódese fusionar con outros métodos de axuste fino, como o [[axuste por prefixo]].<ref name=":0" />
* Pódese utilizar un mesmo modelo preadestrado e utilizar distintos adaptadores LoRA para adestralo para diferentes tarefas, sen máis que cambiar as matrices <math>A</math> e <math>B</math> no proceso de axuste fino.<ref name=":0" />

== Diferentes adaptadores ==
Unha das vantaxes comentadas é que se se queren crear varios modelos que resolvan diferentes problemas, pero que todos teñen algo en común, pódese partir dun modelo preadestrado, e utilizar distintos adaptadores LoRA. É dicir, o modelo preadestrado aprendeu unhas cousas e LoRA amplifica as características importantes para as tarefas específicas. Por tanto, con isto gáñase tempo de execución ao non ter que adestrar moitos modelos diferentes e poder partir sempre do mesmo modelo base só adestrando uns poucos parámetros.<ref name=":0" />

O cambio de adaptador LoRA conséguese sen máis que cambiando as matrices <math>A</math> e <math>B</math> no proceso de axuste fino. Estes adaptadores pódense gardar e cargar para utilizalos no momento que fagan falta, incluso poden mesturarse entre eles para sacar o maior proveito en determinados problemas, chegando a un compromiso entre tempo de adestramento e eficiencia na resolución do problema.<ref name=":0" />

Un exemplo de cando resulta útil utilizar varios adaptadores pode ser cando temos un modelo base que está adestrado para recoñecer a lingua inglesa. Ese sería o modelo preadestrado. A continuación, queremos adestralo para que saiba recoñecer francés e alemán. En vez de facer o procedemento normal de facerlle axuste fino ao modelo completo, creamos un adaptador LoRA para o francés e outro para o alemán. Deste xeito, no proceso de axuste fino, adéstranse os pesos dos diferentes adaptadores LoRA, e o modelo recoñecerá francés e alemán, sen que isto inflúa negativamente en como recoñecía o inglés (quitando os adaptadores tense o modelo inicial que recoñece só inglés, sen influencias do francés ou alemán).<ref>{{Cita web|título=LoRA|url=https://huggingface.co/docs/peft/developer_guides/lora#merge-lora-weights-into-the-base-model|páxina-web=huggingface.co|data-acceso=28-08-2024|lingua=en}}</ref>

== Rango óptimo ==
Un hiperparámetro a seleccionar cando se fai un axuste fino con LoRA é o rango das matrices. Para tarefas de procesamento de texto, un rango de 8 é adecuado, aínda que dependendo do problema a resolver, pódese probar con diferentes valores que se poidan axustar mellor, tales como 2, 4 ou 64.<ref name=":0" />

Nos problemas de visión por computador, estes rangos tamén poden ser axeitados, aínda que cumpre estudalo especificamente para o problema a resolver, xa que os experimentos que fixeron os seus creadores foron sobre o [[procesamento da linguaxe natural]].<ref name=":0" />

Normalmente, é beneficioso aumentar o rango canto máis difire o que hai que aprender do que xa sabe o modelo preadestrado, pois o número de parámetros aumenta, dándolle máis flexibilidade ao modelo.<ref name=":2">{{Cita web|url=https://medium.com/@fartypantsham/what-rank-r-and-alpha-to-use-in-lora-in-llm-1b4f025fd133|páxina-web=Medium|título=What rank (r) and alpha to use in LoRA in LLM fine-tuning?|data-acceso=28-08-2024|data=7 de novembro do 2023|lingua=en}}</ref>

== Parámetro alfa ==
O modelo LoRA explicado ata agora é o modelo máis utilizado e simple. No modelo ampliado, a saída da multiplicación das matrices <math>A</math> e <math>B</math> reescálase polo termo <math>\alpha/r</math>, sendo alfa un número real que funciona como taxa de aprendizaxe. É dicir, o modelo resulta en <math>h=Wx+\frac{\alpha}{r}ABx</math>.<ref>{{Cita web|url=https://medium.com/@alexmriggio/lora-low-rank-adaptation-from-scratch-code-and-theory-f31509106650|páxina-web=Medium|título=LoRA: Low-Rank Adaptation from Scratch — Code and Theory|data-acceso=28-08-2024|data-publicación=3 de agosto do 2023|lingua=en}}</ref>

No modelo visto ata agora, utilizábase <math>\alpha=r</math>, polo que os pesos adestrados no axuste fino non se escalaban. Un valor de alfa maior que o rango indica que se lle quere dar máis importancia aos pesos adestrados de LoRA, pois o valor que obteñamos do axuste fino agrándase, ao estar multiplicado por un número maior que 1. Un valor de alfa menor que o rango daríalle máis importancia aos pesos do modelo base. En xeral, aconséllase tomar <math>\alpha = r</math>, aínda que dependendo do problema a resolver, cómpre probar diferentes valores deste hiperparámetro para ver cal é o máis axeitado á nosa casuística.<ref name=":2" />

== Notas ==
{{Listaref|30em}}
== Véxase tamén ==
=== Outros artigos ===
* [[Axuste fino]]
* [[Transformador (modelo de aprendizaxe automática)]]
* [[Modelo de linguaxe de grande escala]]
* [[Rede neural artificial]]
* [[Intelixencia artificial]]
{{Control de autoridades}}
[[Categoría:Intelixencia artificial]]
[[Categoría:Aprendizaxe profunda]]