10月28日、オープンソースカンファレンス2018 Tokyo/Fallの
【入門】自然言語処理の入門と活用
を聞いてきたので、メモメモ
ただし、今回は、日曜日でも学食がやっていて、おすすめランチ食べてたので、はじめのほう、おくれて聞けてない
(「はじめに」の途中から)
・こんにゃくは太りません
・アジェンダ
・自己紹介
・自然言語処理ってなに
人間の言葉をコンピューターで自動的に処理させる技術
自然言語:私たちが使う言葉、解釈が様々、あいまい
人工言語:プログラミング言語など、解釈が1とおりにきまる
→黒い瞳の大きな女の子
実は結構身近に存在する
・自然言語処理事例
検索:シソーラスの利用により、あいまいな単語でも検索可能
シソーラス:単語を、上位/回関係、部分/全体
・関連後に対応
・表記ゆれに対応
・タイポの訂正
・メールフィルタ
ベイジアンフィルタでメールの怪しさを評価
・チャットボット
ユーザーの発言からインテントとエンティティを抽出
・ほかにも
翻訳
レコメンド
文書分類
などなど応用先多数
・自然言語ってどうやるの
・要素技術の紹介
形態素解析
構文解析
意味解析
文脈解析:照合解析を紹介
・形態素解析:単語の切れ目のない言語で必要
文を最小の意味を持つ単語単位までに分解し、それらの単位の性質を明らかにする処理
・構文解析
2こ
係り受け解析:→日本語向き
句構造解析:単語の並びに依存→日本語には向かない
・意味解析
2こ
述語項構造解析:述語から見たときの守護・目的語を秋r多寡にする
意味役割解析:述語から見たときの各項の意味役割を明らかにする
・文脈解析
2個
照応解析:指示語
太郎は花子と講演で遊んだ
彼はそこで彼女と縄跳びをした
談話構造解析:文間の役割関係を明らかにする
・自然言語処理を使ってみる
マジカルバナナ
言葉を返す
構文情報からペアをルールで抽出する
連想ペアネットワーク
変な回答をすることがあるので、単語間の類似度で足切りする
・COTOHA APIの紹介
構文解析
固有表現抽出
照応省略解析
キーワード抽出
文タイプ判定
ユーザー属性推定
類似度算出
・クロージング
【入門】自然言語処理の入門と活用
を聞いてきたので、メモメモ
ただし、今回は、日曜日でも学食がやっていて、おすすめランチ食べてたので、はじめのほう、おくれて聞けてない
(「はじめに」の途中から)
・こんにゃくは太りません
・アジェンダ
・自己紹介
・自然言語処理ってなに
人間の言葉をコンピューターで自動的に処理させる技術
自然言語:私たちが使う言葉、解釈が様々、あいまい
人工言語:プログラミング言語など、解釈が1とおりにきまる
→黒い瞳の大きな女の子
実は結構身近に存在する
・自然言語処理事例
検索:シソーラスの利用により、あいまいな単語でも検索可能
シソーラス:単語を、上位/回関係、部分/全体
・関連後に対応
・表記ゆれに対応
・タイポの訂正
・メールフィルタ
ベイジアンフィルタでメールの怪しさを評価
・チャットボット
ユーザーの発言からインテントとエンティティを抽出
・ほかにも
翻訳
レコメンド
文書分類
などなど応用先多数
・自然言語ってどうやるの
・要素技術の紹介
形態素解析
構文解析
意味解析
文脈解析:照合解析を紹介
・形態素解析:単語の切れ目のない言語で必要
文を最小の意味を持つ単語単位までに分解し、それらの単位の性質を明らかにする処理
・構文解析
2こ
係り受け解析:→日本語向き
句構造解析:単語の並びに依存→日本語には向かない
・意味解析
2こ
述語項構造解析:述語から見たときの守護・目的語を秋r多寡にする
意味役割解析:述語から見たときの各項の意味役割を明らかにする
・文脈解析
2個
照応解析:指示語
太郎は花子と講演で遊んだ
彼はそこで彼女と縄跳びをした
談話構造解析:文間の役割関係を明らかにする
・自然言語処理を使ってみる
マジカルバナナ
言葉を返す
構文情報からペアをルールで抽出する
連想ペアネットワーク
変な回答をすることがあるので、単語間の類似度で足切りする
・COTOHA APIの紹介
構文解析
固有表現抽出
照応省略解析
キーワード抽出
文タイプ判定
ユーザー属性推定
類似度算出
・クロージング