フリーランスのシステムアーキテクト、機械学習エンジニアです。 技術メモやポートフォリオを公開しています。

AWS

AWS SageMaker Ground Truthでテキストのラベリングを試してみる

AWS SageMaker Ground Truthは、機械学習用のラベルデータ作成を行うためのプラットフォームです。 SageMaker Ground Truthでは、以下の種類のラベル・・・

SageMakerでKerasの独自モデルをトレーニングしてデプロイするまで(Python3対応)

`AWS SageMaker`において、Kerasによる独自モデルをトレーニングし、SageMakerのエンドポイントとしてデプロイします。 また、形態素解析やベクトル化のような前処理を、・・・

AWS re:Invent 2018 新機能・新サービス纏め

* `AWS RoboMaker` * ロボットを制御するためのアプリケーション開発をサポートするプラットフォームです。シミュレータによりロボットの動作を確認した上で、実機にデプ・・・

Mkdocs と S3/Cloudfront によるドキュメント公開システムの構築

Markdown で記載したドキュメントを GitHub にコミットすると、 CodePipeline と CodeBuild により自動的に HTML に変換して S3/CloudFro・・・

mkdocs-macrosを利用してサムネイル表示する

`MkDocs`のプラグインである`mkdocs-macros`を利用してサムネイル表示します。 以下の様なサムネイルを自動的に表示できるようにします。 ![](images/thumb・・・

SageMakerでTensorFlow+Kerasによる独自モデルをトレーニングする方法

`AWS SageMaker`において、`TensorFlow+Keras`で作成した独自モデルを`Script Mode`のトレーニングジョブとして実行します。 トレーニングジョブ用のD・・・

AI/ML

自然言語ベクトル化用Pythonモジュール(text-vectorian)をリリースしました

`text-vectgorian`は、自然言語をベクトル化するためのPythonモジュールです。 TokenizerやVectorizerの詳細を気にすることなく、任意のテキストから簡単に・・・

OpenAI Gym API for Fighting ICEを動かしてみる

`Qiita`の方でコメントを頂いたので、早速`gym-fightingice`を試してみました。 OpenAI GymのAPIを通して全てPythonでコーディングできるようになるので・・・

Auto-Kerasを使って見る

AutoML実装の一つである`Auto-Keras`を使ってみました。 Auto-Kerasのインストールから、チュートリアルにある`MNIST`の分類モデルの作成までです。 `Aut・・・

sumyを使って青空文庫を要約してみる

テキスト要約モジュールである`sumy`を使って青空文庫の書籍を要約してみました。 `sumy`を使う部分は`け日記 - Python: LexRankで日本語の記事を要約する`を参考に・・・

SentencePiece + 日本語WikipediaのBERTモデルをKeras BERTで利用する

Googleが公開している`BERT`の学習済みモデルは、日本語Wikipediaもデータセットに含まれていますが、Tokenizeの方法が分かち書きを前提としているため、そのまま利用して・・・

GCP AutoML Natural Languageのベンチマーク

デモデータを利用して`AutoML Natural Language`と自作モデルの性能を比較してみました。 もう全部`AutoML Natural Language`でいいんじゃないかな・・・

各種Tokenize手法に依存したベクトル化手法の比較

以下のベクトル化手法を比較しました。 * `wikipedia2vec` * `sentencepieces + word2vec` * `char2vec` ベクトル化するための学習・・・

Self-Attentionを利用したテキスト分類

テキスト分類問題を対象に、LSTMのみの場合とSelf-Attentionを利用する場合で精度にどのような差がでるのかを比較しました。 結果、テキスト分類問題においても、Self-Atte・・・

GANでピカチュウを描いてみる

`GAN(Generative Adversarial Network)`でピカチュウを描いてみるというネタです。 * googleでポケモンの画像を集める。 * ピカチュウの画像を`C・・・

FizzBuzz問題をニューラルネットワークで解いてみる

FizzBuzz問題をニューラルネットワークで解いてみます。 ```python import pandas as pd results = [] for i in range(・・・

もっと簡単に Keras BERT でファインチューニングしてみる

`text-vectorian`をバージョンアップし、BERT のファインチューニングで役に立つ機能を追加しました。 BERT のモデルやベンチマーク用のデータなどは`Keras BER・・・

Keras BERTでファインチューニングしてみる

`SentencePiece + 日本語WikipediaのBERTモデルをKeras BERTで利用する`において、`Keras BERT`を利用して日本語データセットの分類問題を扱って・・・

Fighting ICEを動かしてみる

格闘ゲームを題材にAIによるゲーム操作を試してみることができる`Fighting ICE`を動かしてみました。 強化学習を利用すると面白いところですが、今回はとりあえず動かしてみるというと・・・

Auto-KerasでTextClassifierを使って見る

`Auto-Keras`でTextClassifierを使って見ました。 `Auto-Keras`を利用した画像分類(ImageClassifier)については、`Auto-Kerasを使・・・

自然言語処理で使われるAttentionのWeightを可視化する

自然言語処理で使われるAtentionのAttention Weight(Attention Weightを加味した入力シーケンス毎の出力)を可視化します。 これにより、モデルが推論を行っ・・・

自然言語処理の分類問題の入力信号に、単語単位の入力だけではなく文字単位の入力を使用する

自然言語処理の分類問題の入力信号では、単語単位での入力が一般的です。 但し、日本語のような表意文字圏では文字単位での入力にも意味があります。 LSTMを利用したネットワーク構造を利用して・・・

SentencePiece+word2vecでコーパスによる差を確認してみる

`SentencePiece`と`word2vec`を前提として、学習に利用したコーパスの違いでどの程度の差がでるか確認しました。 今回は以下のコーパスで比較しました。 * `Wikip・・・

REST API

GitHubにpushする際にQiitaにも投稿する

MarkdownドキュメントをGitHubにpushする際に、hooksを利用してQiitaにも自動的に投稿するようにします。 1. Qiitaのアクセストークンを発行する。 2. ・・・

WEB SERVICE

Share My Text - Share your short text in short time

短いテキストをURLベースで共有するためのWebサービスです。テキストは一時的にサーバに保存されますが、短時間(1時間)で自動的に削除されます。 他のユーザとの共有の他に、複数の端末を利・・・

AIGAOMOI - 日本語文書感情分析サービス

文章を機械学習で分析し、良い感情(Positive)であるか、悪い感情(Negative)であるかを分析するWebサービスです。 サーバレス、SPA、機械学習関連APIのデモンストレーショ・・・