تواصل OpenAI إعادة هندسة البنية التحتية التي تقف خلف منتجاتها مع اتساع استخدام ChatGPT ووصول منتجات الشركة إلى أكثر من مليار مستخدم أسبوعيًا. وفي الجزء الثاني من شرحها التقني لمنصة التخزين Habitat، ركزت الشركة على طبقة البيانات نفسها، بعدما تناول الجزء الأول انتقال المنصة من مكتبة برمجية إلى خدمة مركزية قادرة على خدمة عدة منتجات في وقت واحد.
تفاصيل الخبر
وتتعامل Habitat حاليًا مع أكثر من 500 بيتابايت من البيانات، إلى جانب ما يزيد على 70 مليون طلب في الثانية عبر مناطق جغرافية متعددة. ولا تقتصر هذه المنصة على ChatGPT، بل تخدم أيضًا واجهة البرمجة وCodex وخدمات داخلية أخرى تحتاج إلى الوصول السريع والمتكرر إلى بيانات الإعدادات والحسابات والمحادثات والموارد المرتبطة بها.
يعتمد التصميم على توزيع أدوار التخزين بدل وضع كل أنواع البيانات في قاعدة واحدة. وتستخدم المنصة Azure Cosmos DB للتخزين المتصل، إلى جانب طبقات للتخزين المؤقت وموارد للبيانات الثنائية، بينما تُرسل التغييرات عبر آليات التقاط التغييرات إلى أنظمة منفصلة مخصصة للتحليلات والبحث. ويساعد هذا الفصل على منع الاستعلامات الثقيلة أو أحمال التحليل من التأثير مباشرة في المسارات التي تتطلب استجابة فورية.
ومن أبرز قرارات التصميم تقييد واجهة Habitat لتقديم عمليات بسيطة يمكن توقع تكلفتها، بدل السماح لكل فريق بكتابة استعلامات SQL غير محدودة أو عمليات ربط واسعة بين الجداول. وترى OpenAI أن هذا القيد يقلل احتمالات ظهور استعلام واحد مكلف يستهلك موارد قاعدة البيانات ويؤثر في بقية المستخدمين، حتى لو كان ذلك يعني نقل بعض المهام المعقدة إلى طبقات عرض ثانوية مخصصة لها.
ويتضمن النظام آليات للعزل بين المستأجرين، وتطبيق سياسات التحكم في الوصول، والتوجيه وفق الموقع، ودعم متطلبات إقامة البيانات، إضافة إلى تحديد معدلات الطلب والتشفير. ويمنح جمع هذه الوظائف داخل طبقة واحدة فريق البنية التحتية قدرة أكبر على تطبيق التغييرات ومراقبة الأداء وفرض ضوابط الأمان بصورة موحدة بدل تنسيق تحديثات منفصلة بين عشرات الخدمات.
وتشير تجربة Habitat إلى أن التوسع لا يعتمد على زيادة سعة قاعدة البيانات فحسب، بل على ضبط شكل الطلبات وطريقة توزيعها أيضًا. فالتخزين الموزع عبر حسابات ومناطق متعددة يمكن أن يحد من أثر تعطل منطقة واحدة، لكنه يضيف تحديات تتعلق بالتوجيه واتساق البيانات وزمن الاستجابة. لذلك يجمع التصميم بين التوزيع الجغرافي والتخزين المؤقت واختيار مسارات قراءة أقرب إلى المستخدمين.
كما توضح OpenAI أن تحسينات طبقة التخزين جاءت بالتوازي مع تغييرات في الخدمة التي تتعامل معها. فقد انتقلت Habitat من تنفيذ يعتمد على Python إلى إعادة كتابة واسعة بلغة Rust، بعدما أصبحت كفاءة المعالجة والذاكرة عاملين حاسمين عند هذا الحجم من الطلبات. ووفق الأرقام التي عرضتها الشركة في الجزء السابق، أصبح التنفيذ الجديد أكثر كفاءة في استخدام موارد المعالجة والذاكرة من النسخة القديمة.
وتكشف هذه البنية عن مفاضلة واضحة بين المرونة والبساطة. فالحد من الاستعلامات المعقدة قد يفرض على فرق المنتجات بناء بعض وظائف البحث والتحليل خارج مسار التخزين الأساسي، لكنه يجعل الأداء أكثر قابلية للتنبؤ ويقلل خطر تداخل الأحمال. وفي بيئة تتعامل مع ملايين الطلبات المتزامنة، يمكن لهذا النوع من القيود أن يكون وسيلة لحماية الاستقرار بقدر ما هو قرار لتصميم واجهة برمجية.
وتبرز أيضًا أهمية التخزين المؤقت في تحسين سرعة القراءة. فقد أتاحت التحسينات المرتبطة بالتخزين الموزع والتخزين المؤقت تقليل زمن الوصول إلى البيانات، مع تحقيق قراءات أسرع بما يصل إلى 12 مرة في السيناريوهات التي استفادت من هذه التغييرات. ولا يعني ذلك أن كل طلب أصبح أسرع بالمعدل نفسه، بل يعكس أثر تحسينات محددة في مسارات القراءة المتكررة.
وتعتزم OpenAI مواصلة تطوير Habitat مع نمو المنتجات وزيادة تعقيد الاستخدامات. ومن المرجح أن تتركز الخطوات المقبلة على استكمال الانتقال بعيدًا عن Python، وتوسيع التوزيع الجغرافي، وتحسين أدوات المراقبة والعزل، مع الحفاظ على فصل واضح بين التخزين التشغيلي السريع وأحمال التحليل والبحث التي تحتاج إلى بنى مختلفة.
تعكس هذه التطورات تحول التخزين من مكوّن خلفي غير مرئي إلى عنصر أساسي في تجربة خدمات الذكاء الاصطناعي. فكل عملية تسجيل دخول أو تحميل إعدادات أو بدء محادثة قد تتطلب عشرات أو مئات القراءات، وأي تأخير متكرر في هذه المرحلة يظهر للمستخدم على شكل بطء أو فشل. لذلك أصبح تصميم طبقة البيانات جزءًا مباشرًا من قدرة ChatGPT على العمل على نطاق عالمي.
العودة إلى جميع الأخبار
التعليقات
٠كن أول من يشارك رأيه في هذا الخبر.