درک هوش مصنوعی: از مکانیزم مدل زبانی تا تبعاتش

وقتی با یک مدل زبانی حرف می‌زنیم، پشتِ پرده پنج اتفاق ساده و تکرارشونده می‌افتد. اول، متن به تکه‌های کوچک به اسم «توکن» شکسته می‌شود — نه لزوماً کلمه‌ی کامل، گاهی فقط تکه‌ای از یک کلمه. مدل هیچ‌وقت مستقیم با «حرف» یا «کلمه» کار نمی‌کند، با همین توکن‌ها کار می‌کند. دوم، هر توکن به یک بردار (لیست بلندی از عدد) تبدیل می‌شود، طوری که توکن‌های نزدیک از نظر معنایی، بردارهای نزدیک به هم داشته باشند. سوم، مکانیزم «توجه» (Attention) — قلب معماری ترنسفورمر — برای هر توکن حساب می‌کند کدام توکن‌های قبلی برایش مهم‌ترند؛ همین مکانیزم اجازه می‌دهد رابطه‌ی بین کلمات دور از هم در جمله هم فهمیده شود. چهارم، خروجی نهایی برای هر قدم یک توزیع احتمال روی کل واژگان است (مثلاً احتمال اینکه توکن بعدی «سیب» باشد ۳٪، «سگ» ۰.۰۱٪...). مدل یا محتمل‌ترین گزینه را انتخاب می‌کند یا با درجه‌ای از تصادف از این توزیع نمونه‌برداری می‌کند. پنجم، تولید خودبازگشتی است: هر توکن تازه‌تولیدشده به‌عنوان ورودی جدید برمی‌گردد تو مدل تا توکن بعدی پیش‌بینی شود. یک پاراگراف کامل، محصول هزاران بار تکرار همین یک مرحله‌ی ساده است. این توانایی از آموزش روی حجم عظیمی از متن نوشته‌شده‌ی انسانی می‌آید — مدل «حقیقت» را یاد نمی‌گیرد، الگوی آماریِ اینکه بعد از یک دنباله از کلمات معمولاً چه می‌آید را یاد می‌گیرد. مکانیزم در این سطح تقریباً اجماعی و بسته است؛ چیزی که بسته نیست این‌ است که وقتی این مکانیزم به‌ظاهر ساده در مقیاس میلیاردها پارامتر تکرار می‌شود، چه چیزی از آن بیرون می‌آید — تقلید آماری صرف، یا نوعی بازنمایی داخلی از دنیا؟ همین سؤال، موضوع درس‌های بخش فلسفی این دوره است. برای عمیق‌تر شدن: مقاله‌ی Attention Is All You Need (Vaswani et al., 2017) معماری ترنسفورمر را معرفی کرد؛ برای توضیح تصویری و بدون ریاضیات سنگین، The Illustrated Transformer (Jay Alammar) نقطه‌ی شروع خوبی است.