みらいテックラボ

音声・画像認識や機械学習など, 週末プログラマである管理人が興味のある技術の紹介や実際にトライしてみた様子などメモしていく.

「LangChain完全入門 生成AIアプリケーション開発がはかどる大規模言語モデルの操り方」の紹介

最近, 趣味で開発しているKingyo AI Navi[1]で生成AIを使ってみようと, GPT-3.5/4やPaLM2(Google Vertex AI)など大規模言語モデル(LLM)を試している. 当初はChatGPT等のAPIを直接利用していたが, LangChainという「ChatGPTなどの大規模言語モデルの機能拡張…

UnityでBarracuda + YOLOv5を試してみる(2)

Unityで物体検出を試してみようと調査していたら, Barracudaを使うことでonnx形式のモデルを扱えることが分かった. そこで, Barracuda + YOLOv5で物体検知を試すことにしたのだが, いくつか注意すべきポイントがあったので少しまとめておく. 関連記事: Unity…

UnityでBarracuda + YOLOv5を試してみる(1)

Unityで物体検出を試してみようと調査していたら, Barracudaを使うことでonnx形式のモデルを扱える[1]ことが分かった. そこで, Barracuda + YOLOv5で物体検知を試すことにしたのだが, いくつか注意すべきポイントがあったので少しまとめておく. 関連記事: Un…

Kingyo AI NaviでBardを試す(1)

金魚の種類を判別したり, 大和郡山市や金魚に関する情報を提供する「Kingyo AI Navi」でのChatGPT利用[1]を検討している.mirai-tec.hatenablog.comしかし, ChatGPT(GPT-3.5-turbo)では, 大和郡山に関する応答がかなりダメダメな感じであった. GPT-4なら改善…

Kingyo AI NaviでChatGPTを試す(3)

数年前に, 金魚の種類を判別したり, 大和郡山市や金魚に関する情報を提供する「Kingyo AI Navi」っていうプロトタイプ[1]を作成した.mirai-tec.hatenablog.com最近ChatGPTがかなり流行っており, ChatGPTを「Kingyo AI Navi」に組み込むことで新たな情報提供…

Kingyo AI NaviでChatGPTを試す(2)

数年前に, 金魚の種類を判別したり, 大和郡山市や金魚に関する情報を提供する「Kingyo AI Navi」っていうプロトタイプ[1]を作成した.mirai-tec.hatenablog.com最近ChatGPTがかなり流行っており, ChatGPTを「Kingyo AI Navi」に組み込むことで新たな情報提供…

Kingyo AI NaviでChatGPTを試す(1)

数年前に, 金魚の種類を判別したり, 大和郡山市や金魚に関する情報を提供する「Kingyo AI Navi」っていうプロトタイプ[1]を作成した. mirai-tec.hatenablog.com「Kingyo AI Navi」のシステム構成は以下のようになっており, テキストによる金魚や大和郡山市に…

Unityに再チャレンジ!!

最近メタバースが話題となっているので, 少し試してみようかと昨年末にMeta Quest2を購入した. せっかくなので, Unityを使ってMeta Quest2のコンテンツを作れたらと思い, Unityに再チャレンジしてみることにした. (実は, かなり昔に一度Unity 5にチャレンジ…

金魚データ/モデルのVertex AIへの移行

2018年から2020年にかけて, 金魚の認識やそれを応用した「Kingyo AI Navi」アプリ[1]を開発していた.mirai-tec.hatenablog.comその際に, GoogleのAutoML VisionやVision Edgeを使ってモデル作成を行っていた.最近,「Kingyo AI Navi」アプリを展示会に出すこ…

Webカメラ画像をPySide2で表示すると...

OpenCVでWebカメラ画像を取り込み, PySide2のQGraphicsViewに表示した際に, 少しハマったのでメモしておく.[開発環境] CPU : Intel Core i7 - 7700 OS : Ubuntu 20.04 Python : 3.7.11 opencv-python-headless : 4.5.5.62 PySide2 : 5.15.2.1 1. 不具合症状 …

最近の物体検知を試してみる(YOLOv5編③)

最近, YOLOv5, YOLOXやDetectron2などを少し触る機会があったので, まずはYOLOv5について少しまとめておく.少し前に, YOLOv5推論編や学習編について記載したが, 今回はモデル変換編ということでONNX形式やTFLite形式へのモデル変換などについて記す. 関連記…

WSL2を用いたUbuntu環境を構築(続き)

この夏(2022年)に, 下記のようなスペックのWindows PCを導入した.CPU : AMD Ryzen7 5800X RAM : 16GB OS : Windows 11 Pro SSD + HDD : 500GB + 6TB etc : 水冷クーラー前回, WSL2によるUbuntu 20.04環境の構築およびCUDA, cuDNNの導入について記した. mirai…

WSL2を用いたUbuntu環境を構築

この夏(2022年)に, 下記のようなスペックのWindows PCを導入した.CPU : AMD Ryzen7 5800X RAM : 16GB OS : Windows 11 Pro SSD + HDD : 500GB + 6TB etc : 水冷クーラーこれまではWindowsマシンでUbuntuを使用する場合, VMPlayerやVirtual Boxを利用していた…

AIパワーで画像を作成してみる①

今年(2022年)の春以降, 「DALL·E 2」[1], 「Midjourney」[2], 「Stable Diffusion」[3]といった精度の高い画像生成AIが話題となっている. また, 2022年9月1日には, 画像生成AI「Midjourney」の絵が米国の美術品評会で1位になったといったセンセーショナルな…

最近の物体検知を試してみる(YOLOX編①)

最近, YOLOv5, YOLOXやDetectron2などを少し触る機会があったので, YOLOv5に続き今回はYOLOXについて少しまとめておく. 1. インストール[1] 以前使っていたYOLOv3では, Darknetと呼ばる機械学習フレームワークが使われていて, 使うにはソースコードのビルド…

KAPAOで姿勢推定を試してみる!

OpenPose[1]やHRNet(High Resolution Network)[2]などオープンソースの姿勢推定アルゴリズムのコードが公開されているが, 今回KAPAO(Keypoints and Poses as Objects)[3]という姿勢推定手法が, 処理が速く精度がよいというので試してみた.試すにあたり, 少し…

最近の物体検知を試してみる(YOLOv5編②)

最近, YOLOv5, YOLOXやDetectron2などを少し触る機会があったので, まずはYOLOv5について少しまとめておく.前回はYOLOv5インストールおよび推論編について記載したが, 今回は学習編ということで, オリジナルデータを使ったモデル学習について記す. 3. 学習[1…

最近の物体検知を試してみる(YOLOv5編①)

最近, YOLOv5, YOLOXやDetectron2などを少し触る機会があったので, まずはYOLOv5について少しまとめておく. 1. インストール[1] 以前使っていたYOLOv3[1]では, Darknetと呼ばる機械学習フレームワークが使われていて, 使うにはソースコードのビルドから始め…

PySide2とjupyterは相性よくない?

Pythonで機械学習を使ったデモを作成しようと, GUI作成のためにPySide2をインストールしたところ, 少しハマったので対処方法をメモしておく. 1. 開発環境 まず, ハマった環境ですが, Ubuntu 20.04上にminicondaを使ってPyTorch開発の仮想環境を構築していた.…

PyTorchでSSDを試してみた(4)

普段物体検知を行うとき, これまでYOLOv3[1]やssd_keras[2][3]を使ってきた. しかし, これらの物体検知をJetson Nanoなど組み込みボードで処理しようとすると, フレーム毎の処理に結構時間がかかり, 秒数フレームほどしか処理できなかったりした. JetsonでDN…

PyTorchでSSDを試してみた(3)

普段物体検知を行うとき, これまでYOLOv3[1]やssd_keras[2][3]を使ってきた. しかし, これらの物体検知をJetson Nanoなど組み込みボードで処理しようとすると, フレーム毎の処理に結構時間がかかり, 秒数フレームほどしか処理できなかったりした. JetsonでDN…

PyTorchでSSDを試してみた(2)

普段物体検知を行うとき, これまでYOLOv3[1]やssd_keras[2][3]を使ってきた. しかし, これらの物体検知をJetson Nanoなど組み込みボードで処理しようとすると, フレーム毎の処理に結構時間がかかり, 秒数フレームほどしか処理できなかったりした. JetsonでDN…

PyTorchでSSDを試してみた(1)

普段物体検知を行うとき, これまでYOLOv3[1]やssd_keras[2][3]を使ってきた. しかし, これらの物体検知をJetson Nanoなど組み込みボードで処理しようとすると, フレーム毎の処理に結構時間がかかり, 秒数フレームほどしか処理できなかったりした. JetsonでDN…

Jetson NanoにCSI-2カメラを繋いでみたー(2)

普段, Jetson Nanoでカメラを使う際にはUSBタイプを使うのだが, 今回MIPI CSI-2タイプのカメラを試している.[Jetson Nano] NVIDIA-JETSON-NANO(初期バージョン) JetPack 4.3 [カメラ] Jetson Nano Camera IMX219PQ 8M Color CMOS Sensor IR-Filter Wide Angl…

Jetson NanoにCSI-2カメラを繋いでみたー(1)

普段, Jetson Nanoでカメラを使う際にはUSBタイプを使うのだが, 今回初めてMIPI CSI-2タイプのカメラを試してみた. 今回使ったカメラはこれ. ・Jetson Nano Camera IMX219PQ 8M Color CMOS Sensor IR-Filter Wide Angle Fished eye Len FOV158 degree OpenCV…

「実践OpenCV4 for Pythonー画像映像情報処理と機械学習」の紹介

最近, 動画像処理をやる機会が増えて, OpenCVを使う事が多くなったので, 久しぶりに最新の書籍を読んでみることにした. (過去に読んだのはOpenCV 2.4や3.0あたり)OpenCV4に関連した書籍はいくつかあるのだが, 今回はその中でも「実践OpenCV4 for Pythonー画…

Amazon S3をUbuntuにマウントする(2)

以前, 「Amazon S3をUbuntuにマウントする」[1]といったブログを書いたが, 久しぶりに同様の手順でインストールしようとしたら"go get github.com/kahing/goofys”でうまくいかなかった. エラー対応に少し時間がかかりそうだったので, 少しインストール方法に…

Jetson AGX Xavierを試してみる(2)

NVIDIA社のJetson AGX Xavierを触る機会を得たので, 環境設定していろいろと試し始めている.今回は, jetson-inferenceのサンプルを試していて, 一部正常に動作しないところがあったので, 暫定対応の方法などをメモしておく. [関連記事] ・Jetson AGX Xavier…

Jetson AGX Xavierを試してみる(1)

NVIDIA社のJetson AGX Xavierを触る機会を得たので, 環境設定してデモを動かしてみた.Jetson Nanoとは設定方法が少し異なるところもあるが, 基本的には公式サイトの手順に沿ってやれば問題ない. 一応, メモとしてまとめておく. [関連記事] ・Jetson AGX Xavi…

金魚AIアートにチャレンジ!! (2)

CODE for YAMATOKORIYAMAの取組みの一環として, 「Kingyo AI Navi」[1]なる金魚の種類識別を活用したアプリ開発を行っている. 金魚の写真から品種の分類モデルを学習するために, いろいろな金魚のデータを収集しているが, 金魚データからアート風作品を作る…