Інтелектуальні системи управління мехатроними системами типу "Cobot" з використанням ML-технологій

Abstract

Мета роботи є дослідження та розроблення конструкції руки-маніпулятора, його мехатронної системи та програмного керування, з особливим акцентом на розгорнутій кінематиці біонічної кисті руки типу "Cobot". Вдосконалення методів управління мехатронними системами та розроблення алгоритмів системи керування для створення інноваційної системи управління рукою-маніпулятором типу "Cobot", заснованої на ML-технологіях машинного зору та платформі Arduino. Розробка керуючих алгоритмів на мові програмування Python та їх інтеграція з Arduino, використовуючи стандартні фреймворки: "CV2", "МediaРipe", "Numpy" та "Serial". Кодування біомеханічних суглобів для застосування в комп'ютерному імітаційному моделюванні та дистанційному керуванні з використанням технологій штучного зору. Методика дослідження включала в себе використання математичних методів для аналізу кінематики біонічної кисті руки та розрахунку координат та кінематики механічної системи. Розробка програмних алгоритмів керування базувалася на мові програмування Python. Для оптимізації коду застосовані стандартні фреймворки: "CV2", "МediaРipe", "Numpy" та "Serial". Також використовувалася інтеграція програмного забезпечення з мікроконтролером Arduino для управління мехатронічною системою. Розроблено інноваційну систему керування на базі руки-маніпулята типу "Cobot", яка реагує на рухи та жести кисті руки перед web-камерою. Розроблена блок-схема взаємодія електронних та електромеханічних пристроїв блоку керування кисті руки-маніпулятора "Cobot". Реалізовано керуючі алгоритми, які можуть застосовуватися в різних галузях машинобудування, включаючи медицину, промисловість та область доповненої та віртуальної реальності. Представлені алгоритми для розпізнавання жестів, розширюючи можливості використання методів машинного навчання в різних галузях. Наведені залежності кінематики пальців біонічної кисті руки типу "Cobot". Отримані результати вказують на потужний потенціал використання інтелектуальних систем управління мехатронними пристроями. Система може бути застосована в медицині, промисловості та області доповненої та віртуальної реальності. Робота сприяє розвитку наукових платформ і є корисною для подальших досліджень у сфері мехатроніки та інтелектуального управління.

The works are research and development of the design of the manipulator hand, its mechatronic system and software control, with a special emphasis on the developed kinematics of the "Cobot" type bionic hand brush. Improvement of mechatronic systems control methods and development of control system algorithms for the creation of an innovative "Cobot" manipulator arm control system based on ML machine vision technologies and the Arduino platform. Development of control algorithms in the Python programming language and their integration with Arduino using standard frameworks: "CV2", "MediaRipe", "Numpy" and "Serial". Coding of biomechanical joints for use in computer simulation modeling and remote control using artificial vision technologies. The research methodology included the use of mathematical methods to analyze the kinematics of the bionic hand and calculate the coordinates and kinematics of the mechanical system. The development of software control algorithms was based on the Python programming language. Standard frameworks: "CV2", "MediaRipe", "Numpy" and "Serial" are used to optimize the code. Software integration with an Arduino microcontroller was also used to control the mechatronic system. An innovative control system has been developed based on a "Cobot" hand manipulator, which responds to hand movements and gestures in front of the web camera. A block diagram of the interaction of electronic and electromechanical devices of the hand control unit of the "Cobot" hand manipulator was developed. Control algorithms have been implemented that can be applied in various fields of mechanical engineering, including medicine, industry, and the field of augmented and virtual reality. Algorithms for gesture recognition are presented, expanding the possibilities of using machine learning methods in various fields. The dependences of the kinematics of the fingers of the "Cobot" type bionic brush hand are given. The obtained results indicate the powerful potential of using intelligent control systems of mechatronic devices. The system can be applied in medicine, industry and the field of augmented and virtual reality. The work contributes to the development of scientific platforms and is useful for further research in the field of mechatronics and intelligent control.