В сферата на съвременното дълбоко обучение, трансформаторната архитектура се очертава като игра - смяна, революция в обработката на естествен език, компютърното зрение и други домейни. Като доставчик на трансформатори станах свидетел от първа ръка значението на различните параметри на обучението, а един такъв решаващ фактор е планировчикът на процента на обучение. В този блог ще се задълбочим в ефектите от планиращия процент на обучението върху обучението на трансформаторите.
Основите на обучението и обучението на трансформаторите
Преди да проучим ролята на планиращия процент на обучение, нека разгледаме накратко основите на обучението на трансформаторите и процента на обучение. Архитектурата на трансформатора, въведена в хартията „Вниманието е всичко, от което се нуждаете“, се състои от структура на декодер - базирана на механизмите за самостоятелно внимание. Обучението на трансформатор обикновено включва минимизиране на функция за загуба, като кръстосана загуба на ентропия в случай на класификационни задачи, като се използва алгоритъм за оптимизация като стохастичен градиентен спускане (SGD) или неговите варианти, като Адам.
Скоростта на обучение е хиперпараметър, който контролира размера на стъпката при всяка итерация, докато актуализира параметрите на модела. Голяма степен на обучение може да доведе до преодоляване на оптималното решение, което води до нестабилност и разминаване. От друга страна, малка степен на обучение може да доведе до бавно сближаване, което прави процеса на обучение изключително време - отнема.
Необходимостта от планировчик на процента на обучение
На практика използването на фиксиран процент на обучение през целия процес на обучение често е оптимално. С напредването на обучението моделът се доближава до оптималното решение и голяма скорост на обучение може да накара той да се колебае около минималния, а не да се сближава. Планировчик на процента на обучение се занимава с този проблем, като коригира процента на обучение по време на обучение.
1. Подобряване на конвергенцията
Едно от основните ефекти на планиращия процент на обучение върху обучението на трансформатори е подобряването на конвергенцията. Чрез постепенно намаляване на степента на обучение с течение на времето, моделът може да направи по -точни актуализации на своите параметри, когато се приближава до оптималното решение. Например, планировчикът за разпад на стъпката намалява степента на обучение с фиксиран фактор след определен брой епохи. Това позволява на модела да прави големи актуализации в ранните етапи на обучение, когато е далеч от оптималното решение и след това прави по -малки, по -изискани актуализации, когато се приближава.
В контекста на обучението по трансформатори, където моделът има голям брой параметри, това може значително да ускори процеса на конвергенция. Например, в задача за превод на език, използвайки трансформатор, Spead - Decay Scheduler може да помогне на модела бързо да научи първоначалните модели в данните бързо и след това да е добре - настройте параметрите си, за да подобрите качеството на превода.
2. Избягване на превишаване
Друг важен ефект от планиращия процент на учене е способността му да предотвратява прекомерното приспособяване. Когато степента на обучение е твърде висока, моделът може да научи шума в данните за обучение, заедно с основните модели. Тъй като степента на обучение се намалява с течение на времето, моделът става по -стабилен и по -малко вероятно да се преодолее.
В модели, базирани на трансформатор за обработка на естествен език, като BERT, които се обучават на големи мащабни набори от данни, преодоляването може да бъде важен проблем. Добре проектираният планировчик на процента на обучение може да помогне на модела да се обобщи по -добре до невижданите данни. Например, планировчикът за косинусно отгряване постепенно намалява степента на обучение в косинус - като модел, който може да помогне на модела да изследва различни региони на пространството на параметрите и да избягва да се забие в местните минимуми, като по този начин намалява риска от прекомерно приспособяване.
Различни видове планиращи проценти на обучение и техните ефекти
1. Стъпка - планировчик на разпад
Стъпката - планировчик на разпад е един от най -простите и най -често използваните планировки за проценти на обучение. Той намалява степента на обучение с фиксиран фактор след определен брой епохи. Например, ако първоначалната скорост на обучение е 0,001, а коефициентът на разпадане е 0,1, а размерът на стъпката е 10 епохи, скоростта на обучение ще бъде намалена до 0,0001 след 10 епохи, 0,00001 след 20 епохи и т.н.
При тренировките за трансформатори, планировчикът за разпадане може да бъде ефективен при бързо адаптиране към данните в ранните етапи и след това да се настройва по -късно на модела. Особено полезно е, когато данните за обучение имат ясна структура и моделът може да научи основните модели сравнително бързо. За повече информация относно нашите трансформатори, които могат да се възползват от такива стратегии за обучение, можете да проверите нашитеАлуминиев трансформатор с ниско напрежение три фаза сух тип.
2. Планировъч за косинусно отгряване
Планировърът за косинусно отгряване настройва скоростта на обучение според косинусната функция. Започва със сравнително висок процент на обучение и постепенно го намалява до минимална стойност за определен брой епохи и след това го увеличава отново по цикличен начин. Това позволява на модела да избяга от местните минимуми и да изследва различни региони на пространството на параметрите.
В обучението на трансформатори, особено за големи мащабни модели, планиращият косинусен график може да бъде много ефективен за подобряване на производителността на модела. Например, в задачата за класификация на изображенията, базирана на трансформатор, планиращият за косинус може да помогне на модела да научи сложните визуални модели в данните по -ефективно. Можете да изследвате нашитеКонтролен трансформатор на серия BKкоито могат да се използват в различни приложения, където се използват такива усъвършенствани техники за обучение.
3. Адаптивни планиращи
Адаптивните планиращи планиращи, като например редуциращият планировчик, коригират степента на обучение въз основа на загубата на валидиране. Ако загубата на валидиране спре да се подобрява след определен брой епохи, степента на обучение се намалява. Този подход може да бъде много ефективен при обучението на трансформаторите, тъй като позволява на модела да се адаптира към данните по по -интелигентен начин.
В задачите за генериране на естествен език, използващи трансформаторни модели, планиращият Reducelronplateau може да помогне на модела да подобри производителността си чрез фина - настройка на скоростта на обучение въз основа на действителната ефективност на набора от валидиране. За повече подробности относно нашите трансформатори, подходящи за подобни задачи, можете да посетите нашитеМеден трансформатор с ниско напрежение три фаза сух тип.
Практически съображения при използване на планиращи проценти на обучение за обучение на трансформатори
1. Хиперпараметрична настройка
Когато използвате планировчик на скоростта на обучение, настройката на хиперпараметри е от решаващо значение. Първоначалната степен на обучение, коефициентът на разпадане и размерът на стъпката (в случай на график на разпад) трябва да бъдат внимателно подбрани. Това може да стане чрез техники като търсене на мрежа или случайно търсене.
При обучението на трансформаторите различните задачи могат да изискват различни настройки на хиперпараметри. Например, трансформаторният модел за анализ на настроенията може да има различни оптимални хиперпараметри за планиращия скорост на обучение в сравнение с модел за машинен превод.
2. Мониторинг и оценка
Важно е да се следи редовно процеса на обучение и да се оценяват ефективността на модела. Това може да помогне за определяне дали планиращият процент на обучение работи ефективно. Показатели като загуба на обучение, загуба на валидиране и точност могат да дадат ценна представа за процеса на обучение.
В допълнение, визуализирането на степента на обучение и кривата на загубите с течение на времето може да помогне за идентифициране на всякакви проблеми, като бавно конвергенция или преодоляване.
Заключение и призив за действие
В заключение, планировчикът на процента на обучение играе решаваща роля в обучението на трансформаторите. Той може да подобри конвергенцията, да предотврати прекомерното приспособяване и да помогне на модела да постигне по -добра производителност. Като доставчик на трансформатори ние разбираме значението на тези фактори и предлагаме широк спектър от висококачествени трансформатори, които могат да се възползват от усъвършенствани техники за обучение.
Ако се интересувате от закупуване на нашите трансформатори или обсъждане на вашите специфични изисквания, ние ви насърчаваме да се свържете с нас за подробна дискусия. Екипът ни от експерти е готов да ви помогне да намерите най -добрите решения за вашите нужди.
ЛИТЕРАТУРА
Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). Вниманието е всичко, от което се нуждаете. Напредък в системите за обработка на неврална информация, 5998 - 6008.
Smith, LN (2017). Циклични проценти на обучение за обучение на невронни мрежи. През 2017 г. зимната конференция на IEEE за приложенията на Computer Vision (WACV) (стр. 464 - 472). IEEE.