同じようなリスクの企業を探す その2

前の記事はこちら

テキストを形態素解析にかけて、単語に分割、名詞だけ取り出す

テキストを単語に分割します。形態素解析エンジンには定番のMecabを使いました。

Mecabを使うと以下のように形態素に分割することができます。

【分割前の文章】

4【事業等のリスク】 有価証券報告書に記載した事業の状況、経理の状況等に関する事項のうち、投資者の判断に重要な影響を及ぼす可能性のある事項には、以下のようなものがあります。なお、文中における将来に関する事項は、有価証券報告書提出日現在において、当社が判断したものであります。

【分割後:1行1形態素として出力される】

4	名詞,数,*,*,*,*,4,ヨン,ヨン
【	記号,括弧開,*,*,*,*,【,【,【
事業	名詞,一般,*,*,*,*,事業,ジギョウ,ジギョー
等	名詞,接尾,一般,*,*,*,等,トウ,トー
の	助詞,連体化,*,*,*,*,の,ノ,ノ
リスク	名詞,一般,*,*,*,*,リスク,リスク,リスク
】	記号,括弧閉,*,*,*,*,】,】,】
 	記号,空白,*,*,*,*, , , 
有価証券報告書	名詞,一般,*,*,*,*,有価証券報告書,ユウカショウケンホウコクショ,ユーカショーケンホーコクショ
に	助詞,格助詞,一般,*,*,*,に,ニ,ニ
記載	名詞,サ変接続,*,*,*,*,記載,キサイ,キサイ
し	動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
た	助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
事業	名詞,一般,*,*,*,*,事業,ジギョウ,ジギョー
の	助詞,連体化,*,*,*,*,の,ノ,ノ
状況	名詞,一般,*,*,*,*,状況,ジョウキョウ,ジョーキョー
、	記号,読点,*,*,*,*,、,、,、
経理	名詞,サ変接続,*,*,*,*,経理,ケイリ,ケイリ
の	助詞,連体化,*,*,*,*,の,ノ,ノ
状況	名詞,一般,*,*,*,*,状況,ジョウキョウ,ジョーキョー
等	名詞,接尾,一般,*,*,*,等,トウ,トー
に関する	助詞,格助詞,連語,*,*,*,に関する,ニカンスル,ニカンスル
事項	名詞,一般,*,*,*,*,事項,ジコウ,ジコー
の	助詞,連体化,*,*,*,*,の,ノ,ノ
うち	名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
、	記号,読点,*,*,*,*,、,、,、
投資者	名詞,一般,*,*,*,*,投資者,トウシシャ,トーシシャ
の	助詞,連体化,*,*,*,*,の,ノ,ノ
判断	名詞,サ変接続,*,*,*,*,判断,ハンダン,ハンダン
に	助詞,格助詞,一般,*,*,*,に,ニ,ニ
重要	名詞,形容動詞語幹,*,*,*,*,重要,ジュウヨウ,ジューヨー
な	助動詞,*,*,*,特殊・ダ,体言接続,だ,ナ,ナ
影響	名詞,サ変接続,*,*,*,*,影響,エイキョウ,エイキョー
を	助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
及ぼす	動詞,自立,*,*,五段・サ行,基本形,及ぼす,オヨボス,オヨボス
可能性	名詞,一般,*,*,*,*,可能性,カノウセイ,カノーセー
の	助詞,格助詞,一般,*,*,*,の,ノ,ノ
ある	動詞,自立,*,*,五段・ラ行,基本形,ある,アル,アル
事項	名詞,一般,*,*,*,*,事項,ジコウ,ジコー
に	助詞,格助詞,一般,*,*,*,に,ニ,ニ
は	助詞,係助詞,*,*,*,*,は,ハ,ワ
、	記号,読点,*,*,*,*,、,、,、
以下	名詞,非自立,副詞可能,*,*,*,以下,イカ,イカ
の	助詞,連体化,*,*,*,*,の,ノ,ノ
よう	名詞,非自立,助動詞語幹,*,*,*,よう,ヨウ,ヨー
な	助動詞,*,*,*,特殊・ダ,体言接続,だ,ナ,ナ
もの	名詞,非自立,一般,*,*,*,もの,モノ,モノ
が	助詞,格助詞,一般,*,*,*,が,ガ,ガ
あり	動詞,自立,*,*,五段・ラ行,連用形,ある,アリ,アリ
ます	助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス
。	記号,句点,*,*,*,*,。,。,。
なお	接続詞,*,*,*,*,*,なお,ナオ,ナオ
、	記号,読点,*,*,*,*,、,、,、
文中	名詞,一般,*,*,*,*,文中,ブンチュウ,ブンチュー
における	助詞,格助詞,連語,*,*,*,における,ニオケル,ニオケル
将来	名詞,副詞可能,*,*,*,*,将来,ショウライ,ショーライ
に関する	助詞,格助詞,連語,*,*,*,に関する,ニカンスル,ニカンスル
事項	名詞,一般,*,*,*,*,事項,ジコウ,ジコー
は	助詞,係助詞,*,*,*,*,は,ハ,ワ
、	記号,読点,*,*,*,*,、,、,、
有価証券報告書	名詞,一般,*,*,*,*,有価証券報告書,ユウカショウケンホウコクショ,ユーカショーケンホーコクショ
提出	名詞,サ変接続,*,*,*,*,提出,テイシュツ,テイシュツ
日	名詞,接尾,一般,*,*,*,日,ビ,ビ
現在	名詞,副詞可能,*,*,*,*,現在,ゲンザイ,ゲンザイ
において	助詞,格助詞,連語,*,*,*,において,ニオイテ,ニオイテ
、	記号,読点,*,*,*,*,、,、,、
当社	名詞,一般,*,*,*,*,当社,トウシャ,トーシャ
が	助詞,格助詞,一般,*,*,*,が,ガ,ガ
判断	名詞,サ変接続,*,*,*,*,判断,ハンダン,ハンダン
し	動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
た	助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
もの	名詞,非自立,一般,*,*,*,もの,モノ,モノ
で	助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ
あり	助動詞,*,*,*,五段・ラ行アル,連用形,ある,アリ,アリ
ます	助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス
。	記号,句点,*,*,*,*,。,。,。
EOS

名詞だけ取り出します。

4,事業,等,リスク,有価証券報告書,記載,状況,経理,事項,うち,投資者,判断,重要,影響,可能性,以下,よう,もの,文中,将来,提出,日,現在,当社

これを全文章に対して行います。

各テキストの名詞の集合の重なり具合を計算

あとは、全組み合わせで重なり具合を計算して完了です。

ちなみに、冒頭で紹介した、コマツニチユ三菱の重なり具合はおよそ80%でした。これは、実際に読んでいただくとわかりますが、“丸写し”レベル(なお、念のため補足しますが、丸写しが悪いとは言ってません。有報においては、誤読を防ぐ意味でも定型文は非難されるものではない)です。