Разрешение неоднозначности гласных верхнего подъёма (⟨ï⟩ / ⟨i⟩ / ⟨ı⟩) в OCR-оцифрованных изданиях древнетюркских текстов: слой дизамбигуации, основанный на метаданных издания

Аннотация

Данное исследование рассматривает проблему неоднозначности гласных верхнего подъёма в OCR-оцифрованных древнетюркских текстах, в которых графемное различие между ⟨ï⟩, ⟨i⟩ и ⟨ı⟩ часто нейтрализуется до ⟨i⟩. Эта проблема обусловлена ограничениями существующих методов нормализации, которые недостаточно учитывают орфографические особенности отдельных изданий и вариативность редакционных традиций. В результате значительная часть исходной графемной информации утрачивается в процессе цифровизации, что снижает надёжность последующего лингвистического и филологического анализа. Для решения данной проблемы в работе предлагается специализированный слой дизамбигуации, интегрированный в двухуровневую систему кодирования TEI-P5 (orig/reg). Данный слой функционирует строго на уровне представления и не предполагает восстановления фонологии или изменения исходного OCR-вывода. Вместо этого он сочетает метаданные конкретных изданий с лингвистически обусловленными правилами, включая лексические списки разрешённых форм, морфологические ограничения, модели гармонии гласных и профили заимствованных слов. Модель использует детерминированную систему приоритетов, обеспечивая прозрачное, последовательное и воспроизводимое разрешение каждой неоднозначности. По своей конструкции она исключает вероятностные методы и отдаёт приоритет филологической проверяемости над статистическим обобщением. Модель была протестирована на корпусе из 4485 токенов, извлечённых из тринадцати изданий древнетюркских текстов, опубликованных в период с 1919 по 2023 год. Из них 1837 токенов сохраняли неоднозначность гласных верхнего подъёма после нормализации. Предложенный метод успешно разрешает приблизительно 88–93% таких случаев в зависимости от издания, при этом неразрешённые формы сохраняются посредством явной TEI-аннотации <unclear>. Такой подход не скрывает неоднозначность, а сохраняет её в явном виде, обеспечивая доступность для последующего филологического анализа и интерпретации. Сравнительный анализ различных изданий подтвердил устойчивость метода при различных орфографических традициях. Результаты показывают, что детерминированный, ориентированный на особенности издания подход может существенно повысить точность по сравнению с базовыми методами, не снижая при этом прозрачности, обратимости и интерпретируемости. Исследование также подчёркивает важность редакционных традиций в формировании графемной репрезентации и демонстрирует, что неоднозначность может эффективно управляться с помощью структурированных метаданных и ограниченных систем правил. Предложенный фреймворк представляет собой воспроизводимое и расширяемое решение для повышения качества, согласованности и интероперабельности OCR-оцифрованных исторических корпусов в тюркологии и цифровой филологии. Дальнейшие исследования будут направлены на расширение фреймворка на дополнительные тюркские издания и его интеграцию с инструментами корпусного поиска, и аннотирования.