Amazon S3

اربط حزمة (Bucket) في Amazon S3، أو في تخزين متوافق مع S3، ليحمّل كيوبت ملفات CSV أو Parquet من مجلد وفق جدول زمني. وتُحمَّل كل ملفات المجلد في جدول واحد.

كيف تتحول الملفات إلى جداول

يُحمَّل كل ملف CSV أو Parquet داخل المجلد الذي تدخله في جدول واحد يحمل اسم المجلد.
يحدد الملف الأول أعمدة الجدول، لذا حافظ على الأعمدة نفسها في كل ملفات المجلد.
لتحميل عدة مجلدات في جداول منفصلة، استخدم الحقل المتقدم جداول متعددة (متقدم، JSON) الموضح أدناه.

قبل البدء

أنشئ مستخدم IAM لكيوبت بصلاحية القراءة فقط على الحزمة، مثل صلاحية عرض محتوى الحزمة وقراءة كائناتها.
أنشئ مفتاح وصول لهذا المستخدم واحتفظ بالمفتاح السري، إذ لا تعرضه AWS إلا مرة واحدة.

ربط Amazon S3

افتح البيانات من الشريط الجانبي، وانقر على إضافة بيانات، ثم اختر ربط قاعدة بيانات.
في صفحة مصدر بيانات جديد، انقر على Amazon S3 ضمن فئة التخزين السحابي.
أدخل اسم الاتصال.
املأ الحقول:
- معرف مفتاح الوصول AWS والمفتاح السري لـ AWS: مفتاح الوصول الذي أنشأته.
- اسم الحزمة (Bucket): اسم الحزمة وحده.
- المجلد (البادئة): حقل مطلوب، وهو مسار المجلد داخل الحزمة، مثل exports/orders/.
- نمط اسم الملف: اختياري. تعبير نمطي (Regular expression) يُطابَق مع المسار الكامل للكائن، مثل \.csv$.
- نوع الملف: Detect from extension (الافتراضي) أو CSV أو Parquet.
- منطقة AWS: منطقة الحزمة، والقيمة الافتراضية us-west-2.
- رابط نقطة وصول مخصصة: يقتصر على التخزين المتوافق مع S3، مثل MinIO أو Wasabi. اتركه فارغًا عند استخدام AWS.
- جداول متعددة (متقدم، JSON): اختياري. قائمة JSON تحمّل عدة مجلدات في جداول منفصلة، وتحل محل المجلد السابق. مثال: [{"table_name": "orders", "prefix": "exports/orders/", "search_pattern": "\\.csv$"}].
اختر جدول المزامنة. الخيار الافتراضي يوميًا.
انقر على إنشاء.

بعد الربط

يتحقق كيوبت من تعبئة الحقول المطلوبة، ثم يحفظ الاتصال ويبدأ المزامنة الأولى، ويتأكد أثناءها من قدرة المفتاح على قراءة الحزمة.

للتحقق من الاتصال متى شئت، افتح قائمته في كتالوج البيانات واختر اختبار الاتصال. وإذا ظهر فشل في عمود آخر مزامنة، فمرّر المؤشر فوقه لمعرفة السبب، ثم صحّح البيانات من تعديل واختر مزامنة الآن.