Design of an inertially stabilized airborne camera for UAV-based active object tracking

Abstract

This study presents the design, development, and evaluation of an inertially stabilized airborne camera control system utilizing a 3-axis gimbal for UAV-based active object tracking. The proposed system is designed to control three servomotors, which manage the yaw, pitch, and roll movements of the camera, using measurements from an Inertial Measure- ment Unit (IMU) with six degrees of freedom model that reflect the vehicle's position in 3-axis motion. The primary objective of the study is to achieve stabilization against distur- bances induced by vehicle motion, turbulence, and other external factors that could cause image distortion and impact computer vision tasks. IMU angle measurements were pro- cessed using a complementary filter to enhance accuracy, and three Proportional-Integral- Derivative (PID) controllers were implemented to independently manage each servomotor. While the system demonstrated effective stabilization on the roll and pitch axes, limita- tions were observed on the yaw axis, primarily due to gyroscope drift and the absence of a magnetometer. This issue has been identified as an area for future improvement. In addition to stabilization, object detection based on image processing capabilities has been developed to achieve the active tracking. Due to the computational limitations of the Raspberry Pi, which served as the system's core processing unit, neural network- based models were found unsuitable for real-time operations. Consequently, a lightweight color-based detection algorithm was employed, achieving a higher frame rate. The system exhibited reliable tracking performance, with a small Root Mean Square Error (RMSE), following the implementation of Proportional-Derivative (PD) controllers. In the final phase, a prototype named Aero Vision 0.1 was constructed and tested, utilizing the con- trol system for both stabilization and tracking processes. Despite some limitations, the overall performance of the gimbal was deemed satisfactory, providing a solid foundation for further development. Keywords: Inertial Stabilization, 3-Axis Gimbal, UAV, Object Detection, Active Object Tracking, IMU, PID Controller, Visual Servoing, Complementary Filter.

Résumé Cette étude présente la conception, le développement et l'évaluation d'un système de contrôle de caméra aéroportée stabilisée par inertie utilisant un cardan à trois axes pour le suivi actif d'objets par drone. Le système proposé est conçu pour contrôler trois servomoteurs qui gèrent les mouve- ments de lacet, de tangage et de roulis de la caméra, en utilisant les mesures d'une unité de mesure inertielle (IMU) avec un modèle à six degrés de liberté qui reflète la position du véhicule dans un mouvement à trois axes. L'objectif principal de l'étude est de parvenir à une stabilisation contre les perturbations induites par les mouvements du véhicule, les tur- bulences et d'autres facteurs externes susceptibles de provoquer une distorsion de l'image et d'affecter les tâches de vision par ordinateur. Les mesures d'angle de l'IMU ont été traitées à l'aide d'un filtre complémentaire pour améliorer la précision, et trois contrôleurs proportionnels-intégraux-dérivés (PID) ont été mis en œuvre pour gérer indépendamment chaque servomoteur. Alors que le système a démontré une stabilisation efficace sur les axes de roulis et de tangage, des limitations ont été observées sur l'axe de lacet, princi- palement en raison de la dérive du gyroscope et de l'absence d'un magnétomètre. Cette question a été identifiée comme un domaine à améliorer à l'avenir. Outre la stabilisation, la détection d'objets basée sur les capacités de traitement d'images a été développée pour réaliser le suivi actif. En raison des limites de calcul du Raspberry Pi, qui a servi d'unité centrale de traitement du système, les modèles basés sur les réseaux neuronaux ont été jugés inadaptés aux opérations en temps réel. Par con- séquent, un algorithme de détection léger basé sur les couleurs a été utilisé, permettant d'atteindre une fréquence d'images élevée. Le système a présenté des performances de suivi fiables, avec une faible erreur quadratique moyenne (RMSE), suite à la mise en œu- vre de contrôleurs proportionnels-dérivés (PD). Dans la phase finale, un prototype nommé Aero Vision 0.1 a été construit et testé, utilisant le système de contrôle pour les processus de stabilisation et de suivi. Malgré certaines limitations, les performances globales du cardan ont été jugées satisfaisantes, ce qui constitue une base solide pour la poursuite du développement. ملخص تقدم هذه الدراسة تصميم وتطوير نظام تحكم في الكاميرا المحمولة جوأ بالقصور الذاتي باستخدام حامل ثلاثي المحاور لتتبع الأجسام بواسطة الطائرات بدون طيار. صم النظام المقترح للتحكم في ثلاثة محركات مؤازرة تتحكم في حركات انحراف الكاميرا وميلها ولفها باستخدام قياسات من وحدة قياس القصور الذاتي ذات ست درجات من الحرية التي تعكس موقع المركبة في حركة ثلاثية المحاور. الهدف الرئيسي من الدراسة هو تحقيق الاستقرار ضد الاضطرابات الناجمة عن حركة المركبة والاضطرابات والعوامل الخارجية الأخرى التي يمكن أن تشوه الصورة وتؤثر على مهام الرؤية الحاسوبية. تم معالجة قياسات الزوايا لوحدة القياس بالقصور الذاتي باستخدام مرشح تكميلي لتعزيز الدقة، وتم تنفيذ ثلاث وحدات تحكم تناسبية تكاملية مشتقة للتحكم بشكل مستقل في كل محرك. في حين أظهر النظام استقرارا فعالاً على محوري الدوران والميل، لوحظت قيود على محور الانعراج ويرجع ذلك أساساً إلى انحراف الجيروسكوب وغياب البوصلة الالكترونية. وقد تم تحديد ذلك كمجال للتحسين في المستقبل. بالإضافة إلى التثبيت، تم تطوير و تجريب نظام لاكتشاف الأجسام استناداً إلى قدرات معالجة الصور للتتبع. ونظراً للقيود الحسابية الخاصة بوحدة المعالجة المركزية للنظام، القائمة اعتبرت النماذج على الشبكات العصبية غير مناسبة لعمليات الوقت الحقيقي. ونتيجة لذلك، تم استخدام خوارزمية كشف خفيفة قائمة على كشف الألوان مما أتاح تحقيق معدل إطارات يبلغ ٦٠ ٦٠ إطاراً في ا في الثانية. أظهر النظام أداءً موثوقا في التتبع مع انخفاض جذر متوسط مربع الخط، بعد تنفيذ وحدات التحكم التناسبية المشتقة في المرحلة النهائية، تم بناء واختبار نموذج أولي باستخدام نظام التحكم لعمليات التثبيت والتتبع. وعلى الرغم من بعض القيود، فقد وُجد أن الأداء العام للجهاز مرض، مما يوفر أساسا متينا لمزيد من التطوير الكلمات المفتاحية التثبيت بالقصور الذاتي حامل ثلاثي المحاور، طائرة بدون طيار، الكشف، التتبع النشط للأجسام وحدة قياس القصور الذاتي وحدة محكم، التوجيه البصري، المرشح التكميلي