یادگیری با نمونه‌های محدود به کمک روش‌های مبتنی بر پیام‌واره

نوع: Type: پایان نامه

مقطع: Segment: کارشناسی ارشد

عنوان: Title: یادگیری با نمونه‌های محدود به کمک روش‌های مبتنی بر پیام‌واره

ارائه دهنده: Provider: مرتضی بهرامی - رشته کامپیوتر

اساتید راهنما: Supervisors: جناب آقای دکتر محرم منصوری‌زاده - جناب آقای دکتر حسن ختن‌لو

اساتید مشاور: Advisory Professors:

اساتید ممتحن یا داور: Examining professors or referees: جناب آقای دکتر میرحسین دزفولیان - جناب آقای دکتر حسن بشیری

زمان و تاریخ ارائه: Time and date of presentation: 1402/06/28 - 09:00

مکان ارائه: Place of presentation: دانشکده مهندسی - کلاس 27

چکیده: Abstract: امروزه، در پردازش زبان طبیعی، داده‌های برچسب‌گذاری شده مهم است، بااین‌حال، یافتن تعداد کافی از داده‌ها یک مرحله چالش‌برانگیز است. بسیاری از وظایف وجود دارد که به‌سختی می توان داده‌های آموزشی موردنیاز را به دست آورد. برای مثال در ترجمه ماشینی باید داده‌های زیادی را به زبان مقصد آماده کنیم تا عملکرد نهایی قابل‌قبول باشد؛ بااین‌حال، ممکن است نتوانیم داده‌های مفید را در زبان مقصد جمع‌آوری کنیم. ازاین‌رو، نیاز است از یادگیری با نمونه‌های محدود استفاده کنیم. اخیراً روشی به نام پیام‌واره نویسی معرفی شده است که در آن ورودی‌های متن با استفاده از فرمت خاصی که یک یا چند جای خالی دارد، به متنی با ساختار جدید تبدیل می شود. با‌ توجه به متن جدید دارای جای خالی، یک مدل زبانی پیش آموزش‌دیده بهترین کلمه را جایگزین جای خالی می کند. پیام‌واره می تواند در زمینه یادگیری با نمونه های محدود به ما کمک کند. حتی در مواردی که داده‌ای وجود ندارد که به یادگیری بدون نمونه معروف است. در کارهای اخیر از مدل‌های زبانی بزرگ مانند GPT-2 و GPT-3 استفاده و با روش پیام‌واره نویسی، کارهایی مانند ترجمه ماشینی انجام می‌شود. در این تلاش‌ها از هیچ داده آموزشی برچسب‌داری استفاده نمی کنند؛ بااین‌حال این نوع مدل‌ها با تعداد زیادی پارامتر به سخت‌افزار قدرتمندی نیاز دارند. در این پژوهش، روشی مبتنی بر پیام‌واره نویسی برای یادگیری با نمونه های محدود معرفی شده است. روش ارائه شده بر پایه ساختار PET ایجاد شده است. PET با استفاده از مدل های زبانی کوچک مثل RoBERTa یادگیری با نمونه های محدود را با عملکرد قابل‌قبولی انجام می دهد. بر اساس نتایج به‌دست‌آمده، روش ارائه شده با استفاده از PET و مهندسی پیام‌واره و مهندسی پاسخ و همچنین انجام پردازش‌های مختلف در داده‌های متنی به نتایج قابل‌قبولی دست‌یافته است.

فایل: ّFile: دانلود فایل