同じようなリスクの企業を探す その2
(前の記事はこちら)
テキストを形態素解析にかけて、単語に分割、名詞だけ取り出す
テキストを単語に分割します。形態素解析エンジンには定番のMecabを使いました。
Mecabを使うと以下のように形態素に分割することができます。
【分割前の文章】
4【事業等のリスク】 有価証券報告書に記載した事業の状況、経理の状況等に関する事項のうち、投資者の判断に重要な影響を及ぼす可能性のある事項には、以下のようなものがあります。なお、文中における将来に関する事項は、有価証券報告書提出日現在において、当社が判断したものであります。
【分割後:1行1形態素として出力される】
4 名詞,数,*,*,*,*,4,ヨン,ヨン 【 記号,括弧開,*,*,*,*,【,【,【 事業 名詞,一般,*,*,*,*,事業,ジギョウ,ジギョー 等 名詞,接尾,一般,*,*,*,等,トウ,トー の 助詞,連体化,*,*,*,*,の,ノ,ノ リスク 名詞,一般,*,*,*,*,リスク,リスク,リスク 】 記号,括弧閉,*,*,*,*,】,】,】 記号,空白,*,*,*,*, , , 有価証券報告書 名詞,一般,*,*,*,*,有価証券報告書,ユウカショウケンホウコクショ,ユーカショーケンホーコクショ に 助詞,格助詞,一般,*,*,*,に,ニ,ニ 記載 名詞,サ変接続,*,*,*,*,記載,キサイ,キサイ し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ 事業 名詞,一般,*,*,*,*,事業,ジギョウ,ジギョー の 助詞,連体化,*,*,*,*,の,ノ,ノ 状況 名詞,一般,*,*,*,*,状況,ジョウキョウ,ジョーキョー 、 記号,読点,*,*,*,*,、,、,、 経理 名詞,サ変接続,*,*,*,*,経理,ケイリ,ケイリ の 助詞,連体化,*,*,*,*,の,ノ,ノ 状況 名詞,一般,*,*,*,*,状況,ジョウキョウ,ジョーキョー 等 名詞,接尾,一般,*,*,*,等,トウ,トー に関する 助詞,格助詞,連語,*,*,*,に関する,ニカンスル,ニカンスル 事項 名詞,一般,*,*,*,*,事項,ジコウ,ジコー の 助詞,連体化,*,*,*,*,の,ノ,ノ うち 名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ 、 記号,読点,*,*,*,*,、,、,、 投資者 名詞,一般,*,*,*,*,投資者,トウシシャ,トーシシャ の 助詞,連体化,*,*,*,*,の,ノ,ノ 判断 名詞,サ変接続,*,*,*,*,判断,ハンダン,ハンダン に 助詞,格助詞,一般,*,*,*,に,ニ,ニ 重要 名詞,形容動詞語幹,*,*,*,*,重要,ジュウヨウ,ジューヨー な 助動詞,*,*,*,特殊・ダ,体言接続,だ,ナ,ナ 影響 名詞,サ変接続,*,*,*,*,影響,エイキョウ,エイキョー を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 及ぼす 動詞,自立,*,*,五段・サ行,基本形,及ぼす,オヨボス,オヨボス 可能性 名詞,一般,*,*,*,*,可能性,カノウセイ,カノーセー の 助詞,格助詞,一般,*,*,*,の,ノ,ノ ある 動詞,自立,*,*,五段・ラ行,基本形,ある,アル,アル 事項 名詞,一般,*,*,*,*,事項,ジコウ,ジコー に 助詞,格助詞,一般,*,*,*,に,ニ,ニ は 助詞,係助詞,*,*,*,*,は,ハ,ワ 、 記号,読点,*,*,*,*,、,、,、 以下 名詞,非自立,副詞可能,*,*,*,以下,イカ,イカ の 助詞,連体化,*,*,*,*,の,ノ,ノ よう 名詞,非自立,助動詞語幹,*,*,*,よう,ヨウ,ヨー な 助動詞,*,*,*,特殊・ダ,体言接続,だ,ナ,ナ もの 名詞,非自立,一般,*,*,*,もの,モノ,モノ が 助詞,格助詞,一般,*,*,*,が,ガ,ガ あり 動詞,自立,*,*,五段・ラ行,連用形,ある,アリ,アリ ます 助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス 。 記号,句点,*,*,*,*,。,。,。 なお 接続詞,*,*,*,*,*,なお,ナオ,ナオ 、 記号,読点,*,*,*,*,、,、,、 文中 名詞,一般,*,*,*,*,文中,ブンチュウ,ブンチュー における 助詞,格助詞,連語,*,*,*,における,ニオケル,ニオケル 将来 名詞,副詞可能,*,*,*,*,将来,ショウライ,ショーライ に関する 助詞,格助詞,連語,*,*,*,に関する,ニカンスル,ニカンスル 事項 名詞,一般,*,*,*,*,事項,ジコウ,ジコー は 助詞,係助詞,*,*,*,*,は,ハ,ワ 、 記号,読点,*,*,*,*,、,、,、 有価証券報告書 名詞,一般,*,*,*,*,有価証券報告書,ユウカショウケンホウコクショ,ユーカショーケンホーコクショ 提出 名詞,サ変接続,*,*,*,*,提出,テイシュツ,テイシュツ 日 名詞,接尾,一般,*,*,*,日,ビ,ビ 現在 名詞,副詞可能,*,*,*,*,現在,ゲンザイ,ゲンザイ において 助詞,格助詞,連語,*,*,*,において,ニオイテ,ニオイテ 、 記号,読点,*,*,*,*,、,、,、 当社 名詞,一般,*,*,*,*,当社,トウシャ,トーシャ が 助詞,格助詞,一般,*,*,*,が,ガ,ガ 判断 名詞,サ変接続,*,*,*,*,判断,ハンダン,ハンダン し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ もの 名詞,非自立,一般,*,*,*,もの,モノ,モノ で 助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ あり 助動詞,*,*,*,五段・ラ行アル,連用形,ある,アリ,アリ ます 助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス 。 記号,句点,*,*,*,*,。,。,。 EOS
名詞だけ取り出します。
4,事業,等,リスク,有価証券報告書,記載,状況,経理,事項,うち,投資者,判断,重要,影響,可能性,以下,よう,もの,文中,将来,提出,日,現在,当社
これを全文章に対して行います。
各テキストの名詞の集合の重なり具合を計算
あとは、全組み合わせで重なり具合を計算して完了です。
ちなみに、冒頭で紹介した、コマツとニチユ三菱の重なり具合はおよそ80%でした。これは、実際に読んでいただくとわかりますが、“丸写し”レベル(なお、念のため補足しますが、丸写しが悪いとは言ってません。有報においては、誤読を防ぐ意味でも定型文は非難されるものではない)です。