A Deep Learning-Based Pipeline for Teaching Control Theory: Transforming Feedback Control Systems on Whiteboard Into MATLAB

Abstract

La difficulté dans l'enseignement de la théorie du contrôle est que le conférencier doit non seulement fournir tous les concepts théoriques, mais aussi visualiser le système de contrôle dans les domaines du temps et de la fréquence. Dans les cours sur le système de contrôle, les visualisations sont généralement fournies avec des croquis approximatifs sur des tableaux blancs et peuvent donc être difficiles à comprendre. Dans cet article, un pipeline basé sur le Deep Learning (DL) est proposé qui est capable de reconnaître les architectures de contrôle de rétroaction manuscrites (HFCA) sur le tableau blanc et de les transformer en Matlab ® pour la visualisation et l'analyse des systèmes de contrôle de manière interactive. Le pipeline DL proposé se compose de 5 étapes principales qui reprennent les cadres de l'apprentissage profond, de la reconnaissance de formes et du traitement d'images. Les principaux défis de la construction d'un tel pipeline sont les incertitudes résultant de la qualité de l'écriture du conférencier et des conditions d'éclairage dans la salle de classe, qui peuvent être considérées comme des incertitudes inter- et intra-qualité. Par conséquent, nous avons employé et formé des réseaux neuronaux convolutionnels (CNN) profonds pour reconnaître les HFCA avec une performance élevée. Dans la formation des CNN profonds, nous avons intégré l'approche d'apprentissage par transfert avec le ResNet-50 profond de CNN. Pour capturer les incertitudes inter- et intra-qualité, nous avons construit un ensemble de données d'images d'HFCA collectées auprès de conférenciers du système de contrôle, qui ont différents niveaux d'expérience, dans une salle de classe de petite taille sous différentes conditions d'éclairage. Nous fournissons tous les détails sur la conception du pipeline basé sur DL et présentons des résultats expérimentaux pour montrer que le pipeline est un outil puissant pour visualiser les HFCA en temps réel en utilisant les avantages de Matlab ®.La dificultad en la enseñanza de la teoría de control es que el profesor no sólo debe proporcionar todos los conceptos teóricos, sino también visualizar el sistema de control en los dominios de tiempo y frecuencia. En los cursos del sistema de control, las visualizaciones generalmente se proporcionan con bocetos aproximados en pizarras y, por lo tanto, pueden ser difíciles de entender. En este documento, se propone un pipeline basado en Deep Learning (DL) que es capaz de reconocer las arquitecturas de control de retroalimentación escritas a mano (HFCA) en la pizarra y transformarlas en Matlab ® para la visualización y el análisis de los sistemas de control de forma interactiva. La canalización de DL propuesta consta de 5 pasos principales que abordan los marcos del aprendizaje profundo, el reconocimiento de patrones y el procesamiento de imágenes. Los principales desafíos de la construcción de dicha canalización son las incertidumbres resultantes de la calidad de la escritura del profesor y las condiciones de iluminación en el aula, que pueden verse como incertidumbres inter e intra-calidad. Por lo tanto, empleamos y capacitamos redes neuronales convolucionales profundas (CNN) para reconocer las HFCA con un alto rendimiento. En la capacitación de las CNN profundas, integramos el enfoque de aprendizaje por transferencia con la ResNet-50 de la CNN profunda. Para capturar las incertidumbres inter e intra-calidad, construimos un conjunto de datos de imágenes de HFCA recopilados de profesores del sistema de control, que tienen diferentes niveles de experiencia, en un aula de tamaño pequeño bajo diferentes condiciones de iluminación. Proporcionamos todos los detalles sobre el diseño de la tubería basada en DL y presentamos resultados experimentales para demostrar que la tubería es una herramienta poderosa para visualizar HFCA en tiempo real utilizando las ventajas de Matlab ®.The difficulty in teaching control theory is that the lecturer must not only provide all the theoretical concepts but also visualize the control system in time and frequency domains. In control system courses, the visualizations are usually provided with roughly sketches on whiteboards and thus might be difficult to understand. In this paper, a Deep Learning (DL) based pipeline is proposed that is capable to recognize Handwritten Feedback Control Architectures (HFCAs) on the whiteboard and to transform them into Matlab ® for visualization and analysis of control systems interactively. The proposed DL pipeline consists of 5 main steps that take up the frameworks of deep learning, pattern recognition and image processing. The main challenges of constructing such a pipeline are the uncertainties resulting from the lecturer's handwriting quality and lighting conditions in the classroom, which can be seen as inter- and intra-quality uncertainties. Therefore, we employed and trained deep Convolutional Neural Networks (CNNs) to recognize the HFCAs with a high performance. In the training of deep CNNs, we integrated the transfer learning approach with the deep CNN ResNet-50. To capture the inter- and intra-quality uncertainties, we constructed an image dataset of HFCAs collected from control system lecturers, who have different levels of experience, in a small-sized classroom under different lighting conditions. We provide all the details on the design of the DL based pipeline and present experimental results to show that the pipeline is a powerful tool to visualize HFCAs in real-time by using the advantages of Matlab ® .تكمن الصعوبة في نظرية التحكم في التدريس في أنه يجب على المحاضر ليس فقط توفير جميع المفاهيم النظرية ولكن أيضًا تصور نظام التحكم في مجالات الوقت والتردد. في دورات نظام التحكم، عادة ما يتم تزويد التصورات برسومات تخطيطية تقريبًا على السبورات البيضاء، وبالتالي قد يكون من الصعب فهمها. في هذه الورقة، تم اقتراح خط أنابيب قائم على التعلم العميق (DL) قادر على التعرف على هياكل التحكم في الملاحظات المكتوبة بخط اليد (HFCAs) على السبورة البيضاء وتحويلها إلى Matlab ® لتصور وتحليل أنظمة التحكم بشكل تفاعلي. يتكون مسار التعلم الرقمي المقترح من 5 خطوات رئيسية تتناول أطر التعلم العميق والتعرف على الأنماط ومعالجة الصور. تتمثل التحديات الرئيسية لبناء خط الأنابيب هذا في أوجه عدم اليقين الناتجة عن جودة خط يد المحاضر وظروف الإضاءة في الفصل الدراسي، والتي يمكن اعتبارها أوجه عدم يقين بين وداخل الجودة. لذلك، قمنا بتوظيف وتدريب الشبكات العصبية الالتفافية العميقة (CNNs) للتعرف على HFCAs ذات الأداء العالي. في تدريب شبكة سي إن إن العميقة، قمنا بدمج نهج تعلم النقل مع شبكة سي إن إن ResNet -50 العميقة. وللتعرف على أوجه عدم اليقين بين الجودة وداخلها، أنشأنا مجموعة بيانات صور من HFCAs تم جمعها من محاضري نظام التحكم، الذين لديهم مستويات مختلفة من الخبرة، في فصل دراسي صغير الحجم في ظل ظروف إضاءة مختلفة. نقدم جميع التفاصيل حول تصميم خط الأنابيب القائم على DL ونقدم النتائج التجريبية لإظهار أن خط الأنابيب هو أداة قوية لتصور HFCAs في الوقت الفعلي باستخدام مزايا Matlab ®.