AI

紙の資料を OCR して RAG にする paperlake の総括。Bedrock KB (Titan + S3 Vectors) から手元の ruri-v3 + OpenSearch + 再ランクへ移して hit@1 は 0.40 から 0.73 に。著作物を扱うので公開はしないが、学習として得たものと運用の謎解きを残す。

前回の最後に「キーワード検索を自前で足せば、月 350 ドルの固定費なしでハイブリッド検索が手に入るはず」と書いた。paperlake(紙資料 → OCR → Markdown → Bedrock Knowledge Base → MCP)...

RAG の索引を Amazon S3 Vectors に置くか OpenSearch に置くか。paperlake(前回で Golden セットという物差しを作った)は月 1 ドル未満の S3 Vectors を選んでいるが、「1,000 ...

RAG を作ると、必ず「で、ちゃんと当たっているの?」と聞かれる。自分で数問試して「当たっている気がする」では、チャンクの大きさを変えたときに良くなったのか悪くなったのかが分からない。paperlake(前回まで)に、変更のたびに同じ質問で...

前々回で作った paperlake は、手元の GPU で紙資料を OCR し、S3 と Bedrock Knowledge Base と S3 Vectors で索引を作って、Claude Code から MCP で検索する構成だった。前...