bigc 님의 블로그

https://huggingface.co/nanonets/Nanonets-OCR-s nanonets/Nanonets-OCR-s · Hugging FaceNanonets-OCR-s is a powerful, state-of-the-art image-to-markdown OCR model that goes far beyond traditional text extraction. It transforms documents into structured markdown with intelligent content recognition and semantic tagging, making it ideal for dowhuggingface.co 문서를 구조화된 마크다운으로 변환하는 qwen2.5vl:3b 모델 기반 na..

https://github.com/NarimanN2/ollama-playground/tree/main/multi-modal-rag ollama-playground/multi-modal-rag at main · NarimanN2/ollama-playgroundInteresting LLM projects that I created for my YouTube channel using Ollama's open-source models. - NarimanN2/ollama-playgroundgithub.com 한국어 table, charts를 갖고 있는 multi-modal-rag 빌딩과 테스트를 진행해 봤습니다. Pdf 문서를 블록 단위로 인식하는 unstructured 모델 사용. 바로 코드 보면서 설명하겠습..

https://ollama.com/library/cogito cogitoCogito v1 Preview is a family of hybrid reasoning models by Deep Cogito that outperform the best available open models of the same size, including counterparts from LLaMA, DeepSeek, and Qwen across most standard benchmarks.ollama.com DEEP COGITO에서 cogito라는 하이브리드 추론 모델을 냈습니다.  70B 모델은 Llama4 Scout 모델보다 성능이 좋다 합니다.     Ollama에 있어서 사용이 매우 간편합니다. 사용 GPU: H100 ..

기존에 임베딩 모델은 multilingual-e5-large로 계속 사용하던 중 한국어 임베딩 모델 중 성능 좋은 bge-m3가 있다는 것을 이제야 알았습니다. https://huggingface.co/intfloat/multilingual-e5-large intfloat/multilingual-e5-large · Hugging FaceMultilingual-E5-large Multilingual E5 Text Embeddings: A Technical Report. Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 24 layers and the embedding si..

Agentic RAG를 두 가지의 llm으로 테스트해 봤습니다. 추론 오픈 모델 중 성능 높다고 알려진 QWQ-32B와 비추론 모델인 Llama3.3-70B입니다.  이미 Llama4도 나오긴 했으나, H100 한대로는 아직 어려워서 해보진 않았습니다. Ollama에 양자화 모델(말로는 60GB 정도 사용) 뜨면 해보겠습니다. 원래 QWQ전에 여러 모델들 테스트해 봤는데, 지금까진 Llama3.3-70B가 한국어에 무난해서 사용하고 있었습니다. QWQ-32B를 로컬에서 실행하려면 최소 24GB VRAM이 필요합니다. 저는 H100 80GB 사용했습니다.  우선 Ollama를 사용했기에 아래 명령으로 Ollama, QWQ 설치해 줍니다.curl -fsSL https://ollama.com/install.s..

RAG를 위해 벡터 DB에 pdf 파일을 올리려면 텍스트를 추출해야 합니다.  위와 같은 표가 있는 문서를 텍스트로 처리하는 게 가장 어려운 문제입니다. 무료면서 문서 형식을 markdown으로 변환해 주는 괜찮은 도구로 PyMuPDF4LLM과 PyMyPDFLoader가 있습니다.  1. PyMuPDF4LLM 예시 !pip install pymupdf4llmimport pymupdf4llm md_text = pymupdf4llm.to_markdown("KDS677015.pdf", pages=[8])print(md_text) 너무 길어서 markdown 부분부터 첨부했습니다.  Markdown 성능 괜찮은데, 이상하게 markdown 이후 같은 내용이 뒤에 반복돼서 나오는 문제가 있습니다.   2. PyM..

https://huggingface.co/Qwen/Qwen2.5-VL-32B-Instruct  Qwen/Qwen2.5-VL-32B-Instruct · Hugging FaceQwen2.5-VL-32B-Instruct Latest Updates: In addition to the original formula, we have further enhanced Qwen2.5-VL-32B's mathematical and problem-solving abilities through reinforcement learning. This has also significantly improved the model's subjective ushuggingface.co 전 글의 Qwen2.5-VL-32B 모델로 OCR 해보기..

https://huggingface.co/Qwen/Qwen2.5-VL-32B-Instruct Qwen/Qwen2.5-VL-32B-Instruct · Hugging FaceQwen2.5-VL-32B-Instruct Latest Updates: In addition to the original formula, we have further enhanced Qwen2.5-VL-32B's mathematical and problem-solving abilities through reinforcement learning. This has also significantly improved the model's subjective ushuggingface.co  Qwen2.5-VL 나온 초창기에 7B 모델로 OCR 테..

https://huggingface.co/google/gemma-3-27b-it google/gemma-3-27b-it · Hugging FaceThis repository is publicly accessible, but you have to accept the conditions to access its files and content. To access Gemma on Hugging Face, you’re required to review and agree to Google’s usage license. To do this, please ensure you’re logged inhuggingface.co 생성형 AI 모델로 질문 답변, 생성 작업에 괜찮은 모델이 3월에 출시했었는데 이것저것 돌려보다..

회사에서 RAG를 하기 위해 표가 있는 문서를 markdown으로 추출하는 여러 기법들을 테스트해보고 있었습니다.지금까지 해본 오픈 모델 중엔 PyMuPDFLoader이 그나마 가장 깔끔하게 텍스트, table을  markdown 형식으로 변환해주었습니다. - PyMuPDFLoader 예시from langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain_community.document_loaders import PyMuPDFLoaderfrom langchain_huggingface import HuggingFaceEmbeddings# 1. PDF 로드 + 마크다운으로 표 추출loader = PyMuPDFLoader( "..