Huggingface

Huggingface で公開されている日本語モデルを使って QA タスクをファインチューニングする TL;DR Huggingface で公開されている事前学習済み日本語モデルを利用し、Question-Answering タスク用のデータセットでファインチューニングする際のサンプルコードです。

LangChain を使ってチャットボットとお話しするアプリを作ってみる TL;DR LangChainとGradioを使ってチャットボットとお話しするアプリケーションを作ってみました。チャットボット部分はOpenAIの API を使用しているため、ChatGPT と同じような性能です。

Stable Diffusion を GPU なしのローカル PC で動かす TL;DR DALL・E 2やMidjourneyなど、テキストから画像を生成するモデルが話題になっていますが、その中でもStable Diffusionはオープンソースとしてモデルが公開されています。Hugging Face経由で利用ができるため、簡単にローカル PC で動かすことができます。ということで試してみました。

JGLUE/MARC-jaをGoogle Colabで評価してみる TL;DR ヤフー株式会社により、標準的な自然言語処理の標準ベンチマークであるGLUEの日本語版としてJGLUEが公開されています。 今回は日本語の二項分類タスクの評価用データセットであるMARC-jaについて、Google Colab上で実際に評価してみました。モデルはHuggingfaceを利用し、以下に対するファインチューニングを行っています。

Huggingface Transformersによる日本語GPT-2モデルのrinnaを利用した推論の例 TL;DR Huggingface Transformersにより、日本語GPT-2モデルであるrinnaの公開モデルで以下の推論を行う場合のサンプルです。

Huggingface TransformersでBERTをFine Tuningしてみる TL;DR 様々な自然言語処理モデルをお手軽に使えるHuggingface Transformersを利用し、日本語の事前学習済みBERTモデルのFine Tuningを試してみました。