Повышение доступности и полноты достоверной информации о почвенных ресурсах имеет существенное значение для обеспечения продовольственной безопасности, управления сельским хозяйством и прогнозирования климатических изменений. Основным источником таких данных остаются результаты полевых почвенных обследований, проведение которых требует значительных временных и трудовых ресурсов и, как правило, ограничено определенными территориями. В связи с этим научные публикации могут рассматриваться как дополнительный источник почвенной информации, вместе с тем использование научной литературы для формирования структурированных наборов данных затруднено многообразием способов представления и организации информации, а также распределением содержательно значимых сведений между различными типами элементов, включая основной текст, таблицы и графические материалы. Развитие методов обработки естественного языка и больших языковых моделей открывает возможности для автоматизированного выявления и интерпретации информации, представленной в научных публикациях, с учетом специфики предметной области, ее последующей систематизации и преобразования в унифицированный машиночитаемый формат.
Цель исследования — разработка системы извлечения данных из текстов научных публикаций и формирование специализированных наборов данных, доступных в структурированном машиночитаемом виде. В рамках исследования был сформирован датасет, включающий ручную разметку корпуса из 263 русскоязычных статей журнала «Почвоведение», опубликованных в 1990–1991 и 2019–2020 гг. На основе структуры датасета разработана JSON-схема, определяющая состав и организацию данных, подлежащих извлечению из текста публикаций. Дополнительно разработан алгоритм преобразования данных исходного датасета в формат JSON, обеспечивающий унифицированное представление и возможность сопоставления извлеченных сведений.
Разработанная схема включает общие сведения о публикации, информацию об объектах исследования (место отбора образцов, тип растительности и землепользования, антропогенное воздействие, классификацию почвы в месте заложения разреза и глубины залегания горизонтов), общие физические свойства почв (полевая текстура, плотность, коэффициент фильтрации влаги), а также результаты лабораторных измерений почвенных образцов, включая содержание и запасы органического углерода и карбонатов, показатели водно-солевого баланса и содержание химических элементов.
Для автоматизации извлечения информации была исследована архитектура, основанная на принципах Retrieval-Augmented Generation (RAG), обеспечивающая получение релевантных фрагментов исходного текста перед формированием ответа языковой моделью. В качестве источника для поиска использовались тексты научных статей, предварительно распознанные с помощью OCR-модели и преобразованные в формат Markdown. На их основе была сформирована векторная база данных, обеспечивающая семантический поиск фрагментов текста, релевантных извлекаемым сущностям и значениям.
Алгоритм объединяет методы обработки табличных данных, механизмы обеспечения ссылочной целостности и процедуры привязки извлеченных значений к конкретным фрагментам исходного текста. Для повышения релевантности контекста применялись методы семантического поиска на основе вычисления косинусного сходства векторных представлений и последующего ранжирования найденных фрагментов языковой моделью.
В результате исследования сформированы датасет с ручной разметкой корпуса научных публикаций, формальная схема представления почвенных данных и алгоритм их автоматизированного извлечения и преобразования в машиночитаемый формат. Разработанный подход обеспечивает возможность систематизации информации, содержащейся в научной литературе, и ее последующего использования для формирования структурированных почвенных наборов данных и баз данных.