US2019065986
[0008] Embodiments of the present invention provide a system for performing product for performing unsupervised feature representation learning for text data.
【0016】
本発明の実施形態は、テキスト・データに対する教師なし特徴表現学習を行うための製品を実行するためのシステムを提供する。
The system includes a processor; a memory; a distribution generation component; and a feature matrix generation component.
このシステムはプロセッサと、メモリと、分布生成コンポーネントと、特徴行列生成コンポーネントとを含む。
The distribution generation component is configured to generate a probability distribution of raw text data,
分布生成コンポーネントは、生テキスト・データの確率分布を生成するように構成され、
in which the probability distribution of raw text data is generated based at least in part on a pre-trained or trained word2vec embedding space.
この生テキスト・データの確率分布は、事前学習済みまたは学習されたword2vec埋め込み空間に少なくとも部分的に基づいて生成される。
US10318889
[0004] Artificial neural networks are used in various fields such as machine leaning, and can perform a wide range of tasks such as computer vision, speech recognition, etc.
【0002】
人工ニューラルネットワークは、機械学習を始めとする様々な分野で用いられており、コンピュータービジョンや音声認識といった広範囲な作業を行うことができる。
An artificial neural network is formed of interconnected layers of nodes (neurons), 人工ニューラルネットワークは、相互接続されたノード(ニューロン)の層からなり、
where each neuron has an activation function which converts the weighted input from other neurons connected with it into its output (activation).
各ニューロンは、接続された他のニューロンからの重み付けされた入力を出力(活性)に変換する活性化関数を有している。
In a learning (or training) process, training data are fed into to the artificial neural network and the adaptive weights of the interconnections are updated through the learning process.
学習(訓練)過程では、訓練データが人工ニューラルネットワークに与えられ、当該学習過程を経て相互接続における適応可能な重みが更新される。
After a neural network is trained, data to be processed is inputted to the network to generate processing results.
訓練の後、ニューラルネットワークには、処理対象のデータが入力され、処理結果が生成される。
Training data is formed of data of the same nature as the data to be processed (e.g. images) along with labels that indicate what the processing result should be for each input data.
訓練データは、処理対象のデータと同じ性質のデータ(例えば画像)からなり、各入力データに対する処理結果の正解を示すラベルが付けられている。
For example, if a neural network is being trained to recognize cats and dogs in images,
例えば、ニューラルネットワークを、画像中の猫及び犬を認識するように訓練しているとすると、
the training data would include images contain cats or dogs along with a label for each training image indicating whether it contains a cat or a dog.訓練データには、猫または犬を含んだ画像が含まれ、各訓練画像には、当該画像に猫または犬が含まれるかどうかを示すラベルが付けられている。
////////////
[0043] The loss network 22 is also a convolutional neural network, used to compute the style loss and content loss of the transformation performed by the style transformer network 21 .
【0033】
損失ネットワーク22もまた、畳み込みニューラルネットワークであり、画風変換ネットワーク21により行われる変換における画風損失と内容損失の計算に用いられる。
The loss network 22 is pre-trained for image classification, and remains fixed during training of the style transformer network 21 .
損失ネットワーク22は、画像分類用に事前学習され(*「事前訓練」とは言わないのか?)ており、画風変換ネットワーク21の訓練中は固定されたままである。
The loss network 22 may be pre-trained using a general training dataset such as the ImageNet;
損失ネットワーク22は、ImageNet等の一般訓練データセットを用いて事前学習されていてもよく、
it may be further fine-tuned on the content target images (assuming the content target images are a part of a labeled training dataset, for example, when they are the same as the original training images).
内容目標画像(例えば原訓練画像と同一である場合は、ラベル付き訓練データセットの一部であるものとする。)によって更にファインチューニングされていてもよい。
When the content target images are significantly different from those in the general training dataset, further fine-tuning of the loss network using the content target images
内容目標画像が、一般訓練データセットの画像と大きく異なる場合、内容目標画像を用いた損失ネットワークをさらにファインチューニングすると、
is helpful because it enables the loss network to capture features present in the content target images but not in the general training dataset.
損失ネットワークが内容目標画像には存在するが一般訓練データセットには存在しない特徴を捉えることが可能になるため有用である。
US10499031
[0030] It is therefore provided a computer-implemented method for learning a function configured for reconstructing, for a class of real objects, a 3D modeled object that represents an instance of the class from a depth map of the instance.
【0016】
したがって、現実の物体のクラスについて、当該クラスのインスタンスを表す3Dモデル化オブジェクトを、当該インスタンスの深度マップから再構築するように構成された関数を学習するための、コンピュータによって実施される方法が提供される。
The method may be referred to as the “learning method” or “offline” mode or method.
本方法は、「学習方法」または「オフライン」モードまたは方法と呼ばれることがある。
[0135] Training
【0094】
<訓練>
[0136] A test was performed to validate the idea by learning the CNN(*Convolutional Neural Network)on the set of depth maps.
深度マップの集合についてCNNを学習することによって、当該アイデアを検証するためのテストを行った。
The loss function was defined to be the Euclidian distance between the predicted and the ground truth parameters.
損失関数は、予測パラメータとグラウンドトゥルースなパラメータのユークリッド距離となるよう定義した。
[0137] In the test, the regression CNN was trained using the scheme disclosed in paper
【0095】
テストにおいて、論文
“Krizhevsky, I. Sutskever, G. Hinton. ImageNet Classification with Deep Convolutional Neural Networks . NIPS, 2012”, that is AlexNet architecture, with small changes on the final two layers.
「Krizhevsky,I. Sutskever,G.Hinton. ImageNet Classification with Deep Convolutional Neural Networks.NIPS,2012」に開示されている方式、すなわちAlexNetのアーキテクチャを、最後の二つの層に小さな変更を加えて用いて
回帰CNNを訓練した。
The number of outputs of the layer N−1 was changed to the number of body parameters in the examples, while the final layer (layer N) was removed and replaced with a Euclidean Loss Layer that is well-suited for regression problems.
本例では、層N-1の出力数を身体パラメータの数に変更し、最終層(層N)を取り除き、回帰問題に適したユークリッド損失層で置き換えた。
US2016283864
[0052] The performance of deep learning architectures may increase as more labeled data points become available or as computational power increases.
【0040】
[0050]深層学習アーキテクチャの性能は、より多くのラベリングされたデータポイントが利用可能となるにつれて、または計算能力が増加するにつれて、向上し得る。
Modern deep neural networks are routinely trained with computing resources that are thousands of times greater than what was available to a typical researcher just fifteen years ago.
現代の深層ニューラルネットワークは、ほんの15年前に一般的な研究者にとって利用可能であったものより数千倍も大きいコンピューティングリソースを用いて、ルーチン的にトレーニングされる。
New architectures and training paradigms may further boost the performance of deep learning.
新しいアーキテクチャおよびトレーニングパラダイムが、深層学習の性能をさらに高め得る。
Rectified linear units may reduce a training issue known as vanishing gradients.
修正された線形ユニット(rectified linear unit)は、勾配消失(vanishing gradients)として知られるトレーニング問題を低減し得る。
New training techniques may reduce over-fitting and thus enable larger models to achieve better generalization.
新しいトレーニング技法は、過学習(over-fitting)を低減し、したがって、より大きいモデルがより良い汎化を達成することを可能にし得る。
Encapsulation techniques may abstract data in a given receptive field and further boost overall performance.
カプセル化技法は、所与の受容野においてデータを抽出し、全体的性能をさらに高め得る。
////////
[0055] The deep convolutional network 350 may also include one or more fully connected layers (e.g., FC 1 and FC 2 ).
【0043】
[0053]深層畳み込みネットワーク350はまた、1つまたは複数の全結合層(たとえば、FC1およびFC2)を含み得る。
The deep convolutional network 350 may further include a logistic regression (LR) layer.
深層畳み込みネットワーク350は、ロジスティック回帰(LR)層をさらに含み得る。
Between each layer of the deep convolutional network 350 are weights (not shown) that are to be updated.
深層畳み込みネットワーク350の各層の間には、更新されるべき重み(図示せず)がある。
The output of each layer may serve as an input of a succeeding layer in the deep convolutional network 350 to learn hierarchical feature representations from input data (e.g., images, audio, video, sensor data and/or other input data) supplied at the first convolution block C 1 .
各層の出力は、第1の畳み込みブロックC1において供給された入力データ(たとえば、画像、オーディオ、ビデオ、センサーデータおよび/または他の入力データ)から階層特徴表現を学習するために、深層畳み込みネットワーク350中の後続の層の入力として働き得る。