python机器学习项目 3：推文（Tweet）分类器 （22）

本文是Python 机器学习系列的一部分。您可以在此处找到本系列之前所有帖子的链接

介绍

本章演示了一个基于朴素贝叶斯算法的推文分类器。

推文分类器

让我们采用 Twitter 的推文，并根据给定的推文构建一个分类器。该分类器将判断一条推文是否属于“政治或体育”类别。

推文数据的基本示例将根据包含的文本进行分类（表 1）。

我有以下来自 Twitter 提要的“训练”数据（表 2）。

下面是未分类的推文测试数据（表 3）。

我将在 Python 3 代码的帮助下使用朴素贝叶斯算法对 table2 的数据进行分类或归类。让我们从下面的推文句子中提取重要的词。

def extract_tweet_words(tweet_words):    
        words = []    
        alpha_lower = string.ascii_lowercase    
        alpha_upper = string.ascii_uppercase    
        numbers = [str(n) for n in range(10)]    
        for word in tweet_words:    
        cur_word = ''    
        for c in word:    
        if (c not in alpha_lower) and (c not in alpha_upper) and (c not in numbers):    
                if len(cur_word) >= 2:    
              words.append(cur_word.lower())    
           cur_word = ''    
            continue    
            cur_word += c    
      if len(cur_word) >= 2:    
      words.append(cur_word.lower())    
return words   

从推文中获取训练数据。

def get_tweet_training_data():    
        f = open('training.txt', 'r')    
        training_data = []    
        for l in f.readlines():    
            l = l.strip()    
            tweet_details = l.split()    
            tweet_id = tweet_details[0]    
            tweet_label = tweet_details[1]    
            tweet_words = extract_words(tweet_details[2:])    
            training_data.append([tweet_id, tweet_label, tweet_words])           
        f.close()    
return training_data  

def get_tweet_test_data():    
    f = open('test.txt', 'r')    
    validation_data = []    
    for l in f.readlines():    
        l = l.strip()    
        tweet_details = l.split(' ')    
        tweet_id = tweet_details[0]    
        tweet_words = extract_words(tweet_details[1:])    
        validation_data.append([tweet_id, '', tweet_words])    
    
    f.close()    
        
return validation_data 

def get_words(training_data):    
    words = []    
    for data in training_data:    
        words.extend(data[2])    
    return list(set(words))   

def get_tweet_word_prob(training_data, label = None):    
    words = get_words(training_data)    
    freq = {}    
       
    for word in words:    
        freq[word] = 1    
        
    total_count = 0    
    for data in training_data:    
        if data[1] == label or label == None:    
            total_count += len(data[2])    
            for word in data[2]:    
                freq[word] += 1    
        
    prob = {}    
    for word in freq.keys():    
        prob[word] = freq[word]*1.0/total_count    
        
    return prob   

def get_tweet_label_count(training_data, label):    
    count = 0    
    total_count = 0    
    for data in training_data:    
        total_count += 1    
        if data[1] == label:    
            count += 1    
    return count*1.0/total_count  

def label_tweet_data(test_data, sports_word_prob, politics_word_prob, sports_prob, politics_prob):    
    labels = []    
    for data in test_data:    
        data_prob_sports = sports_prob    
        data_prob_politics = politics_prob    
            
        for word in data[2]:    
            if word in sports_word_prob:    
                data_prob_sports *= sports_word_prob[word]    
                data_prob_politics *= politics_word_prob[word]    
            else:    
                continue    
    
        if data_prob_sports >= data_prob_politics:    
            labels.append([data[0], 'Sports', data_prob_sports, data_prob_politics])    
        else:    
            labels.append([data[0], 'Politics', data_prob_sports, data_prob_politics])    
    
    return labels   

def print_labelled_data(labels):    
    f_out = open('test_labelled_output.txt', 'w')    
    for [tweet_id, label, prob_sports, prob_politics] in labels:    
        f_out.write('%s %s\n' % (tweet_id, label))    
       
    f_out.close()   

training_data = get_tweet_training_data()    
test_data = get__tweet_test_data()  

word_prob = get_tweet_word_prob(training_data)    
sports_word_prob = get_tweet_word_prob(training_data, 'Sports')    
politics_word_prob = get_tweet_word_prob(training_data, 'Politics')

sports_prob = get_tweet_label_count(training_data, 'Sports')    
politics_prob = get_tweet_label_count(training_data, 'Politics') 

for (word, prob) in word_prob.items():    
    sports_word_prob[word] /= prob    
    politics_word_prob[word] /= prob  

test_labels = label_tweet_data(test_data, sports_word_prob, politics_word_prob, sports_prob, politics_prob)    
print_labelled_data(test_labels)