test.py

#############################################################################
### Търсене и извличане на информация. Приложение на дълбоко машинно обучение
### Стоян Михов
### Зимен семестър 2020/2021
#############################################################################

import model
import nltk
import a2
from nltk.corpus import PlaintextCorpusReader

#############################################################################
#### Начало на тестовете
#### ВНИМАНИЕ! Тези тестове са повърхностни и тяхното успешно преминаване е само предпоставка за приемането, но не означава задължително, че програмата Ви ще бъде приета. За приемане на заданието Вашата програма ще бъде подложена на по-задълбочена серия тестове.
#############################################################################

L1 = ['заявката','заявката','заявката','заявката','заявката','заявката']
L2 = ['заявката','язвката','заявьата','завякатва','заявкатаа','вя']
C = [0,3,1,2,1,7]
D = [0.0,8.0,2.5,5.25,3.0,20.25]

#### Тест на editDistance
for s1,s2,d in zip(L1,L2,C):
    assert a2.editDistance(s1,s2) == d, "Разстоянието между '{}' и '{}' следва да е '{}'".format(s1,s2,d)
print("Функцията editDistance премина теста.")

#### Тест на editWeight
for s1,s2,d in zip(L1,L2,D):
    assert a2.editWeight(s1,s2) == d, "Теглото между '{}' и '{}' следва да е '{}'".format(s1,s2,d)
print("Функцията editWeight премина теста.")

#### Тест на generate_edits
assert len(set(a2.generateEdits("тест"))) == 305, "Броят на елементарните редакции \"тест\"  следва да е 305"
print("Функцията generateEdits премина теста.")

print('Прочитане на корпуса от текстове...')
corpus_root = 'JOURNALISM.BG/C-MassMedia'
myCorpus = PlaintextCorpusReader(corpus_root, '.*\.txt')
fullSentCorpus = [ [model.startToken] + [w.lower() for w in sent] + [model.endToken] for sent in myCorpus.sents()]
print('Готово.')

print('Трениране на Марковски езиков модел...')
M2 = model.MarkovModel(fullSentCorpus,2)
print('Готово.')

#### Тест на generate_candidates
assert len(set(a2.generateCandidates("светвоно пофутбол",M2.kgrams[tuple()]))) == 2, "Броят на генерираните кандидати следва да е 2"
print("Функцията generateCandidates премина теста.")

#### Тест на correct_spelling
assert a2.correctSpelling("светвоно пофутбол",M2,1.0) == 'световно по футбол', "Коригираната заявка следва да е 'световно по футбол'"
print("Функцията correctSpelling премина теста.")