Features, problems and prospects of the application of deep machine learning in linguistics

Abstract

In its nascent years, artificial intelligence (AI) largely focused on expert systems based on knowledge in the form of production rules, which solved mainly diagnostic problems, but also design-type problems (using the previously manually collected and formalized knowledge/experience of human experts in specific subject area). However, this type of intelligent systems had numerous drawbacks, including the subjectivity of experts' opinions, which eventually led to their loss of mass popularity [1]. In addition, this technology practically could not be adapted to mass and effective use either in scientific philological research or in practical effective linguistics. As the scale and volume of data has increased, these methods have been replaced by a more controlled and objective data-oriented approach – machine learning [2]. Machine learning is a set of algorithms and methods that helps machines understand the hidden patterns in data and use the structure and essence of these hidden patterns in the data/heuristics to make logical inference/prediction about a specific task. Currently, there is a diverse range of such methods/algorithms, with the help of which machines seek to understand these basic patterns such as association, sequence, classification, clustering, regression prediction, finding anomalies in data [3]. If we systematically consider the history of the development of computational analytics and analyze its perspective, it becomes clear that deep learning is a further evolution and subdomain of machine learning. Thanks to the emergence of architectures with increased computing power (GPU and TPU) and large sets of semi-structured and unstructured data, specialized architectures and corresponding deep learning algorithms are able to independently learn hidden patterns in linguistic data and even perform generative functionality (Large Language Models). However, recently there has been a growing misconception that deep learning is a competing technology to classical machine learning. Deep learning is not a single possible approach, but rather a class of algorithms and topologies, that can be applied to a wide range of scientific and practical problems (especially in machine linguistics). This article investigates and conducts a comparative analysis not only of this hypothesis, but also presents the results of thorough research on the advantages, problems, and features of effective deep machine learning in philology, namely in machine linguistics.

У роки свого зародження штучний інтелект (AI) значною мірою зосереджувався на експертних системах, заснованих на знаннях у вигляді продукційних правил, які вирішували головним чином діагностичні задачі, але і задачі проектного типу (використовуючи заздалегідь вручну зібрані та формалізовані знання/досвід людей-експертів у конкретній предметній області). Однак такий тип інтелектуальних систем мав численні недоліки, в тому числі суб’єктивізм думок експертів, що врешті призвело до того, що вони втратили масову популярність [1]. Крім того, ця технологія практично не могла бути пристосована до масового та ефективного використання ні у наукових філологічних дослідженнях, ні у практичній ефективній лінгвістиці. Зі збільшенням масштабу та обсягу даних ці методи були замінені підходом, більш керованим та орієнтованим на об’єктивні дані – машинним навчанням [2]. Машинне навчання – це набір алгоритмів і інструментів, які допомагають машинам розуміти приховані закономірності в даних і використовувати структуру та суть цих прихованих закономірностей, що лежить в даних/евристиках, для виконання логічного висновку/передбачення щодо певного конкретного завдання. Наразі є різноманітний діапазон таких методів/алгоритмів, за допомогою яких машини прагнуть зрозуміти ці базові закономірності типу асоціації, послідовності, класифікації, кластеризації, прогнозу регресіі, пошуку аномалій в даних [3]. Якщо розглянути системно історію розвитку обчислювальної аналітики та проаналізувати її перспективу, глибинне навчання є подальшою еволюцією і піддоменом машинного навчання. Саме завдяки появі архітектур підвищеної обчислювальної потужності (GPU та TPU) та великим наборам напівструктурованих та неструктурованим даних - спеціалізовані архітектури та відповідні алгоритми глибокого навчання здатні самостійно вивчати приховані шаблони в лінгвістичних даних та виконувати, навіть, генеративний функціонал (Large Language Models). Проте, останнім часом зростає помилкове уявлення, що глибоке навчання є конкурентною технологією для класичного машинного навчання. Глибоке навчання — це не єдиний можливий підхід, а радше клас алгоритмів і топологій, які можна застосувати до широкого спектру наукових проблем та практичних задач (особливо у машинній лінгвістиці). У цій статті досліджено та проведений порівняльний аналіз не тільки щодо цієї гіпотези, але і викладено результати ґрунтовних досліджень щодо переваг, проблем та особливостей ефективного глибокого машинного навчання у філології, а саме у машинній лінгвістиці.