Naučte BART rapovať: Jemné doladenie modelu BART objímajúcej tváre

Blog

Naučte BART rapovať: Jemné doladenie modelu BART objímajúcej tváre

Prenosové učenie poskytuje v posledných rokoch nepredstaviteľnú výhodu pre umelú inteligenciu, pretože vytvára vlny v priestore počítačového videnia a nedávno aj v priestore NLP, pričom vedci zistili, že model vyškolený na úlohu jazykového modelovania je možné ľahko (rýchlo a lacno) prispôsobené iným úlohám. Z pohľadu lekára, okrem záplavy nových objavov - ľahko prístupných na Arvix - Objímajúca tvár vyvinuli neuveriteľne ľahko použiteľné API, ktoré umožňujú komukoľvek prístup k tomuto najnovšiemu vývoju pomocou niekoľkých riadkov kódu.

Napriek ľahkosti, s akou je možné používať rozhrania Hugging Face API na inferencie za chodu aj na jemné doladenie pomocou argumentov štýlu príkazového riadka, som sa trochu zasekol pri pokuse o jemné doladenie Model BART . Snažím sa ho použiť vo svojej diplomovej práci a napísanie kódu na doladenie modelu mi trvalo neprimerane dlho, pretože som sa v procese zasekol. Akonáhle sa mi to však podarilo prekonať, bol som ohromený silou tohto modelu.

TL; DR: Pozrite sa na kód jemného doladenia tu a šumový kód tu .

Tento článok poskytne stručný prehľad o tom, ako doladiť model BART, pričom kód je pomerne liberálne požičaný od spoločnosti Hugging Face’s finetuning.py skript. To však umožní trochu väčšiu kontrolu nad tým, ako je možné s modelom experimentovať. Použil som PyTorch Lightning zvládnuť školenie, a ak ste v ňom noví, povzbudzujem vás, aby ste sa s ním zoznámili. Implementácia je neuveriteľne jednoduchá a môže v budúcnosti viesť k zefektívneniu niektorých vašich projektov. Aj keď som tu BART naučil rapovať, je to skutočne len pohodlný (a zábavný!) Príklad seq2seq, ako je možné model doladiť.

Len rýchly prehľad o tom, kde som uviazol v tréningovom procese. Strata na mojom modeli klesala rýchlym tempom v rámci každej dávky, model sa však učil generovať prázdne vety. Dlho som nechápal, prečo sa to deje. Ukazuje sa, že predtým, ako ich posuniete do dekodéra, musíte tokeny ručne posunúť doprava, ale neposunuté tokeny musíte odovzdať funkcii straty.

Takže bez ďalších okolkov je to spôsob, ako naučiť BART rapovať.

#strojové učenie #umelá inteligencia #nlp

smerom kdatascience.com

Naučte BART rapovať: Jemné doladenie modelu BART objímajúcej tváre

BART som naučil rapovať v rámci procesu učenia sa, ako vyladiť neuveriteľne výkonné modely Hugging Face Transformers. Tento článok poskytne stručný prehľad o tom, ako doladiť model BART, pričom kód je pomerne liberálne požičaný zo skriptu finetuning.py Hugging Face.