文件自動分類系統
摘要:隨着網絡信息的迅猛發展，信息分類已經成爲人們獲取有用信息不可缺少的工具，文件自動分類系統是信息分類的重要研究方向，它是指在給定的分類體系下，根據文件的內容自動判別文件類別的過程。
目前，向量空間模型是進行大規模文件處理的最佳模型，論文首先對向量空間模型進行了研究和探討，包括：向量空間模型的基本概念、特徵項的選擇、特徵項的提取算法等等。
然後，本文介紹了幾種常用的基於向量空間模型的文件分類算法，同時描述了具體的算法步驟。
針對訓練樣本收集整理工作困難的問題，本文重點探討了文件分類算法結合的可能性，並具體提出了1種實際可行的的文件分類系統的設計方法，該分類系統由訓練過程、分類過程兩部分組成，系統採用細緻的模塊化設計，具有很強的擴展性和靈活性。在本文提出並實現的文件分類系統上，進行了測試工作，並得到了嚴格的實驗數據。
關鍵詞:文件分類；向量空間模型；特徵項的提取；特徵項的`選擇
Automatic classification of documents system
ABSTRACT: In recent years , information categorization turns more and more important for us to get useful information . File Categorization, i.e. automated assigning files to predefined categories based on their contents, is a task of increasing importance.
Now, Vector Space Model (VSM) is the best model for large scale of file processing. Firstly, We discuss the key techniques of VSM, including: basic conception of VSM, Feature Selection and Feature Extraction.
The second part is the introduction to several common File Categorization methods and the algorithms are presented in detail.
In many important file classification problems, acquiring class labels for training documents is costly. This paper show that the accuracy of file classifiers trained with a small number of labeled documents can be improved by using VSM methods. The proposed classification system is divided into two parts: training procedure and classifying procedure . The system has good scalability and flexibility. Based on the file classification system, we have done much work on testing and have got much precise data.
Keywords: File Classification;Vector Space Model; Feature Selection; Feature Extraction
目錄
1 前言 1
1.1 文件分類系統的問題描述 1
1.2 系統概述 1
1.3 文本分類系統的研究目的和意義 2
1.4 論文的主要內容 3
1.4.1研究內容 3
1.4.2本文的組織 3
2.發展現狀及相關技術、工具介紹 5
2.1 系統發展現狀 5
2.2 Delphi的概述 5
2.3 Delphi開發數據庫應用程序 9
2.4 Delphi應用程序框架和設計 9
2.5 Delphi多媒體應用程序 10
3.系統的總體設計 11
3.1 系統需求分析 11
3.2 設計的基本思想 11
3.3 系統的結構設計 11
3.4 文件分類關鍵技術 13
3.5 系統開發環境 18
3.6 運行環境 19
4.系統的結構與實現 20
4.1 功能模塊的實現和程序框圖 20
4.1.1 創建1個工程 20
4.1.2 語料庫維護模塊 20
4.1.4 特徵提取 21
4.1.5 系統流程 22
4.1.6 文件分類模塊 23
4.1.7 文件分類流程 24
4.2 測試結果 25
4.3運行結果 28
5.結論和展望 29
致 謝 30
參考文獻 31
附錄 32
1 前言
210世紀910年代以來，Internet 以驚人的速度發展起來，它容納了海量的各種類型的原始信息，包括文本信息、聲音信息、圖像信息等等。信息的高速增長迫切要求信息處理技術的不斷進步，文本分類系統是近年來信息處理領域的1個很重要的方向[10]。它能夠依據文本的語義將大量的文件自動分門別類，從而更好地幫助人們把握文本信息。
本章將簡單地介紹文件分類課題，討論文件分類系統的研究意義及可能的應用範圍，並觀察了文件分類系統當前的研究現狀，最後羅列了本文的結構和主要內容。
1.1文件分類系統的問題描述
文件自動分類是數值分類學與信息處理技術相結合而產生的研究方向。在最初的分類學中，人們往往通過經驗和專業知識對事物進行定性分析，很少使用數學工具。隨着信息的不斷增長，信息之間的關係也日益複雜，從而導致分類程度越來越細，分類規模也越來越大，這時僅僅依靠定性分析將無法滿足要求，於是人們在分類過程中引入了數學工具，使用統計、人工智能等各種方法處理信息，從而形成了數值分類學（Numerical Taxology），也大大推動了信息處理技術前進的步伐[3]。
1.2 系統概述
系統可對文件集進行有序的組織，即把相似的、相關主題的文件組織在1起，從而爲用戶提供更高效的搜索與更準確的查詢結果。除了作爲文件集的組織工具，文件分類系統還有更廣泛的應用：
① 電子會議：通過對與會者意見、建議進行分類以確定進1步討論的主題。
② 郵件分類：對用戶收到的電子郵件按主題進行分類。
③ 信息過濾：根據用戶的要求，將相關文件分配給可能感興趣的用戶。
文件分類系統的實現通常有統計方法與知識工程方法兩種技術。知識工程方法必須編制大量的推理規則，費時費力，代價很高，因而不大適用於複雜的系統。而統計方法的實現較爲簡單，且在實際應用中表現出良好的性能，因此得到了廣泛的應用。系統採用了基於概率統計的方法。