フリーランスのシステムアーキテクト、機械学習エンジニアです。 技術メモやポートフォリオを公開しています。
AWS¶
AWS SageMaker Ground Truthでテキストのラベリングを試してみる
AWS SageMaker Ground Truthは、機械学習用のラベルデータ作成を行うためのプラットフォームです。 SageMaker Ground Truthでは、以下の種類のラベル・・・
AWS DeepLens Tips
`AWS DeepLens`がやっと届いたので動かしてました。 挙動を掴むまで結構ハマったので、注意点とか確認方法などのTipsを纏めてみました。 手順にも記載されていますが仕様です・・・
SageMakerでKerasの独自モデルをトレーニングしてデプロイするまで(Python3対応)
`AWS SageMaker`において、Kerasによる独自モデルをトレーニングし、SageMakerのエンドポイントとしてデプロイします。 また、形態素解析やベクトル化のような前処理を、・・・
AWS re:Invent 2018 新機能・新サービス纏め
* `AWS RoboMaker` * ロボットを制御するためのアプリケーション開発をサポートするプラットフォームです。シミュレータによりロボットの動作を確認した上で、実機にデプ・・・
Mkdocs と S3/Cloudfront によるドキュメント公開システムの構築
Markdown で記載したドキュメントを GitHub にコミットすると、 CodePipeline と CodeBuild により自動的に HTML に変換して S3/CloudFro・・・
mkdocs-macrosを利用してサムネイル表示する
`MkDocs`のプラグインである`mkdocs-macros`を利用してサムネイル表示します。 以下の様なサムネイルを自動的に表示できるようにします。 
SageMakerでTensorFlow+Kerasによる独自モデルをトレーニングする方法
`AWS SageMaker`において、`TensorFlow+Keras`で作成した独自モデルを`Script Mode`のトレーニングジョブとして実行します。 トレーニングジョブ用のD・・・
AI/ML¶
自然言語ベクトル化用Pythonモジュール(text-vectorian)をリリースしました
`text-vectgorian`は、自然言語をベクトル化するためのPythonモジュールです。 TokenizerやVectorizerの詳細を気にすることなく、任意のテキストから簡単に・・・
OpenAI Gym API for Fighting ICEを動かしてみる
`Qiita`の方でコメントを頂いたので、早速`gym-fightingice`を試してみました。 OpenAI GymのAPIを通して全てPythonでコーディングできるようになるので・・・
Auto-Kerasを使って見る
AutoML実装の一つである`Auto-Keras`を使ってみました。 Auto-Kerasのインストールから、チュートリアルにある`MNIST`の分類モデルの作成までです。 `Aut・・・
sumyを使って青空文庫を要約してみる
テキスト要約モジュールである`sumy`を使って青空文庫の書籍を要約してみました。 `sumy`を使う部分は`け日記 - Python: LexRankで日本語の記事を要約する`を参考に・・・
SentencePiece + 日本語WikipediaのBERTモデルをKeras BERTで利用する
Googleが公開している`BERT`の学習済みモデルは、日本語Wikipediaもデータセットに含まれていますが、Tokenizeの方法が分かち書きを前提としているため、そのまま利用して・・・
GCP AutoML Natural Languageのベンチマーク
デモデータを利用して`AutoML Natural Language`と自作モデルの性能を比較してみました。 もう全部`AutoML Natural Language`でいいんじゃないかな・・・
各種Tokenize手法に依存したベクトル化手法の比較
以下のベクトル化手法を比較しました。 * `wikipedia2vec` * `sentencepieces + word2vec` * `char2vec` ベクトル化するための学習・・・
Self-Attentionを利用したテキスト分類
テキスト分類問題を対象に、LSTMのみの場合とSelf-Attentionを利用する場合で精度にどのような差がでるのかを比較しました。 結果、テキスト分類問題においても、Self-Atte・・・
GANでピカチュウを描いてみる
`GAN(Generative Adversarial Network)`でピカチュウを描いてみるというネタです。 * googleでポケモンの画像を集める。 * ピカチュウの画像を`C・・・
FizzBuzz問題をニューラルネットワークで解いてみる
FizzBuzz問題をニューラルネットワークで解いてみます。 ```python import pandas as pd results = [] for i in range(・・・
もっと簡単に Keras BERT でファインチューニングしてみる
`text-vectorian`をバージョンアップし、BERT のファインチューニングで役に立つ機能を追加しました。 BERT のモデルやベンチマーク用のデータなどは`Keras BER・・・
LightGBMをOptunaでパラメータチューニングする
`LightGBM`のパラメータを`OptunaのLightGBM Tuner`でチューニングします。 `OptunaのLightGBM Tuner`はOptunaに組み込まれているLig・・・
Keras BERTでファインチューニングしてみる
`SentencePiece + 日本語WikipediaのBERTモデルをKeras BERTで利用する`において、`Keras BERT`を利用して日本語データセットの分類問題を扱って・・・
Fighting ICEを動かしてみる
格闘ゲームを題材にAIによるゲーム操作を試してみることができる`Fighting ICE`を動かしてみました。 強化学習を利用すると面白いところですが、今回はとりあえず動かしてみるというと・・・
BERTおよびWord2Vecで文の類似性を確認する
文の類似性を確認する方法として`BERT`と`Word2Vec`を比較します。 文全体の類似性ではなくトークン単位での比較です。 BERTとWord2Vecによるベクトル化には`text・・・
Auto-KerasでTextClassifierを使って見る
`Auto-Keras`でTextClassifierを使って見ました。 `Auto-Keras`を利用した画像分類(ImageClassifier)については、`Auto-Kerasを使・・・
XGBoostをOptunaでパラメータチューニングする
`XGBoost`のパラメータを`Optuna`でチューニングします。 ベンチマーク用データとしては`ボストン住宅価格データセット`を使用します。 `scikit-learn`の`da・・・
自然言語処理で使われるAttentionのWeightを可視化する
自然言語処理で使われるAtentionのAttention Weight(Attention Weightを加味した入力シーケンス毎の出力)を可視化します。 これにより、モデルが推論を行っ・・・
REST API¶
GitHubにpushする際にQiitaにも投稿する
MarkdownドキュメントをGitHubにpushする際に、hooksを利用してQiitaにも自動的に投稿するようにします。 1. Qiitaのアクセストークンを発行する。 2. ・・・
