bigc 님의 블로그

https://github.com/NarimanN2/ollama-playground/tree/main/multi-modal-rag ollama-playground/multi-modal-rag at main · NarimanN2/ollama-playgroundInteresting LLM projects that I created for my YouTube channel using Ollama's open-source models. - NarimanN2/ollama-playgroundgithub.com 한국어 table, charts를 갖고 있는 multi-modal-rag 빌딩과 테스트를 진행해 봤습니다. Pdf 문서를 블록 단위로 인식하는 unstructured 모델 사용. 바로 코드 보면서 설명하겠습..

RAG를 위해 벡터 DB에 pdf 파일을 올리려면 텍스트를 추출해야 합니다.  위와 같은 표가 있는 문서를 텍스트로 처리하는 게 가장 어려운 문제입니다. 무료면서 문서 형식을 markdown으로 변환해 주는 괜찮은 도구로 PyMuPDF4LLM과 PyMyPDFLoader가 있습니다.  1. PyMuPDF4LLM 예시 !pip install pymupdf4llmimport pymupdf4llm md_text = pymupdf4llm.to_markdown("KDS677015.pdf", pages=[8])print(md_text) 너무 길어서 markdown 부분부터 첨부했습니다.  Markdown 성능 괜찮은데, 이상하게 markdown 이후 같은 내용이 뒤에 반복돼서 나오는 문제가 있습니다.   2. PyM..

회사에서 RAG를 하기 위해 표가 있는 문서를 markdown으로 추출하는 여러 기법들을 테스트해보고 있었습니다.지금까지 해본 오픈 모델 중엔 PyMuPDFLoader이 그나마 가장 깔끔하게 텍스트, table을  markdown 형식으로 변환해주었습니다. - PyMuPDFLoader 예시from langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain_community.document_loaders import PyMuPDFLoaderfrom langchain_huggingface import HuggingFaceEmbeddings# 1. PDF 로드 + 마크다운으로 표 추출loader = PyMuPDFLoader( "..