Простейший вводный материал об NLP
Извлечение именованных сущностей – это выделение из предложений на естественном языке:
- топонимов ( географических названий и мест, посещаемых людьми);
- имен (ФИО);
- дат событий и времени;
- денежных сумм;
- наименований предприятий;
- других устойчивых наименований.
Эта задача хорошо изучена, для английского языка существует множество коммерческих и открытых решений:
Spacy, Stanford NER, OpenNLP, NLTK, MITIE, Google Natural Language, API, ParallelDots, Aylien, Rosette, TextRazor.
Для русского языка тоже есть хороший инструментарий, но в основном закрытый:
DaData, Pullenti, Abbyy Infoextractor, Dictum, Eureka, Promt, RCO, AOT, Ahunter.
Из открытого известен Томита-парсер и Deepmipt NER.
Вычисление семантической близости слов и предложений
Yargy-парсер и библиотека Natasha. Извлечения структурированной информации из текстов на русском языке: https://habr.com/ru/articles/349864/.
Временная ссылка на поясняющий материал о BERT
Еще немного о BERT (ссылка на внешний ресурс)
Многофункциолнальная генеративная модель на основе ktrain
Модель вычисления фейковых новостных материалов Fake-News-Bert-Detect
