كيف تعمل روبوتات محادثة الذكاء الاصطناعي

هذه التقنية تسمى تضمين كلمة، وهي ليست جديدة. نشأت في مجال اللغويات في الخمسينيات. بينما يستخدم المثال أعلاه ثلاث “صفات” فقط ، في نموذج لغوي كبير ، سيكون عدد “الصفات” لكل كلمة بالمئات ، مما يتيح طريقة دقيقة للغاية لتحديد الكلمات.

تعلم أن يكون لها معنى

عندما يكون النموذج جديدًا ، يتم تعيين الصفات المرتبطة بكل كلمة بشكل عشوائي ، وهذا ليس مفيدًا للغاية ، لأن قدرته على التنبؤ تعتمد على كونه مضبوطًا بدقة. للوصول إلى هناك ، يجب أن يتم التدريب عليه كثيراً من المحتوى. هذا هو كبير جزء من نموذج اللغة الكبير.

قد يتم تغذية نظام مثل ChatGPT بالملايين من صفحات الويب والمستندات الرقمية. (فكر في Wikipedia بالكامل ، ومواقع الأخبار الكبيرة ، والمدونات ، والكتب الرقمية.) وتنتقل الآلة عبر بيانات التدريب واحدة تلو الأخرى ، وتحجب كلمة في تسلسل ، وتحسب “تخمين” القيم التي تمثلها بشكل وثيق ما الذي يجب أن يوضع في الفراغ. عندما يتم الكشف عن الإجابة الصحيحة ، يمكن للآلة استخدام الفرق بين ما توقعته والكلمة الفعلية لتحسينها.

إنها عملية طويلة. لم تنشر OpenAI ، الشركة التي تقف وراء ChatGPT ، تفاصيل حول مقدار بيانات التدريب التي تم إدخالها إلى ChatGPT أو طاقة الكمبيوتر المستخدمة لتدريبها ، لكن الباحثين من Nvidia وجامعة ستانفورد ومايكروسوفت يقدرون أنه باستخدام 1024 وحدة معالجة رسومات ، 34 يومًا لتدريب GPT 3 ، سلف ChatGPT. قدر أحد المحللين أن تكلفة الموارد الحسابية لتدريب وتشغيل نماذج لغوية كبيرة يمكن أن تصل إلى الملايين.

يحتوي ChatGPT أيضًا على طبقة إضافية من التدريب ، يشار إليها بالتعلم المعزز من التغذية الراجعة البشرية. في حين أن التدريب السابق يدور حول جعل النموذج يملأ النص المفقود ، فإن هذه المرحلة تدور حول جعله يضع سلاسل متماسكة ودقيقة ومحادثة.

خلال هذه المرحلة ، يقوم الأشخاص بتقييم استجابة الآلة ، والإشارة إلى الإخراج غير الصحيح أو غير المفيد أو حتى غير المنطقي تمامًا. باستخدام التغذية الراجعة ، تتعلم الآلة التنبؤ بما إذا كان البشر سيجدون استجاباتهم مفيدة. تقول شركة أوبن إيه آي إن هذا التدريب يجعل مخرجات نموذجها أكثر أمانًا وأكثر صلة بالموضوع وأقل احتمالية لتهذيذ الحقائق. وقال الباحثون إن هذا هو ما يجعل استجابات ChatGPT تتماشى بشكل أفضل مع التوقعات البشرية.

في نهاية العملية ، لا يوجد سجل لبيانات التدريب الأصلية داخل النموذج. لا يحتوي على حقائق أو اقتباسات يمكن الإشارة إليها – فقط إلى أي مدى كانت الكلمات مرتبطة أو غير مرتبطة ببعضها البعض في العمل.

استخدام التدريب

تبين أن هذه المجموعة من البيانات قوية بشكل مدهش. عندما تكتب استعلامك في ChatGPT ، فإنه يترجم كل شيء إلى أرقام باستخدام ما تعلمته أثناء التدريب. ثم تقوم بنفس سلسلة العمليات الحسابية من أعلى للتنبؤ بالكلمة التالية في استجابتها. هذه المرة ، لا توجد كلمة مخفية لتكشف عنها ؛ انها تتوقع فقط.

بفضل قدرته على الرجوع إلى الأجزاء السابقة من المحادثة ، يمكنه مواكبة ذلك صفحة بعد صفحة من نص واقعي يبدو وكأنه إنسان يكون أحيانًا ، ولكن ليس دائمًا ، صحيحًا.