도찐개찐

1. Why Markdown?2024년 5월1일 Dhaval Nagar가 작성한 글입니다.여기서 가장 중요한 부분은 LLM과 PDF에서 구조화된 데이터를 추출할 때, Markdown 텍스트가 일반 텍스트보다 우월하다는 것입니다. PDF 파일을 Markdown으로 변환하는 것은 데이터의 구조와 맥락을 유지하는 데 중요하며, 특히 Retrieval-Augmented Generation(RAG) 응용 프로그램에서 중요하다는 것입니다.  https://www.appgambit.com/blog/llms-love-structure-using-markdown-for-pdf-analysis  Markdown이 유리한 이유는 다음과 같습니다.마크다운 학습 : 최신 LLM은 마크다운으로 학습한 데이터가 많기 때문에 LLM..

$ npm i --save @nestjs/microservicesnpm ERR! code ERESOLVEnpm ERR! ERESOLVE unable to resolve dependency treenpm ERR! npm ERR! While resolving: x-app@0.0.1npm ERR! Found: @nestjs/common@8.4.6npm ERR! node_modules/@nestjs/commonnpm ERR! @nestjs/common@"^8.0.0" from the root projectnpm ERR! peer @nestjs/common@"^8.0.0" from @nestjs/microservices@8.4.6npm ERR! node_modules/@nestjs/microservic..

$ sudo apt-get install python3.9-venv

백엔드 카테고리와 벡터 스토어 컬렉션의 생성이 정합성 문제로 인해 맞물리지 않을 때 발생할 수 있는 다양한 사이드 이펙트를 고려해야 합니다. 이러한 문제는 시스템의 일관성 및 기능적 문제를 초래할 수 있습니다. 몇 가지 잠재적인 사이드 이펙트를 살펴보겠습니다:1. 데이터 불일치일관성 문제: 백엔드에 존재하는 카테고리가 벡터 스토어 컬렉션에는 존재하지 않는다면, 데이터 일관성이 깨지게 됩니다. 이는 시스템 전체의 신뢰성을 저하시킬 수 있습니다.검색 결과 오류: 벡터 스토어 컬렉션이 완전하지 않으면, 검색이나 추천 시스템에서 부정확한 결과를 제공할 수 있습니다.2. 시스템 동작 오류기능적 오류: 특정 기능이 백엔드 카테고리와 벡터 스토어 컬렉션을 모두 필요로 하는 경우, 벡터 스토어가 생성되지 않으면 기능이..

E: Can't select candidate version from package debconf-2.0 as it has no candidate 1. 동일 서버 구성의 인터넷 접속 가능 환경$ sudo apt-get download $(apt-rdepends {package_name} | grep -v "^ " | sed 's/debconf-2.0/debconf/g') 2. 설치 대상 서버 해당 *.deb 파일 업로드 3. 설치 대상 서버 아래 명령어 실행$ sudo dpkg -i *

Huggingface에서 Model을 로컬에 다운받으려면, 세 가지 방법이 있다.1. 직접 Huggingface 페이지에서 다운로드2. Python 코드로 다운로드3. CLI를 활용한 다운로드이 중에서 가장 간편하고 쉬운 방법은 CLI에서 명령어를 입력하는 것이다. 명령어는 git lfs를 활용하면 된다.git lfs clone https://huggingface.co/[허깅페이스 모델 레포 주소]예를들어, falcon-180B를 다운받는다면 아래와 같이 입력하면 된다.git lfs clone https://huggingface.co/tiiuae/falcon-180B어떤 모델 같은 경우에는 승인받은 경우에만 사용할 수 있으므로 아래와 같이 인증키를 입력하거나, 자신의 아이디와 비밀번호를 입력하면 된다.h..

실행환경Ubuntu 22.04Docker 설치방법 1. 우분투 시스템 패키지 업데이트sudo apt-get update2. 필요한 패키지 설치sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common 3. Docker의 공식 GPG키를 추가curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - 4. Docker의 공식 apt 저장소를 추가sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_relea..

1. Windows 10 디스크 이미지 다운로드(ISO 파일) 준비. http://microsoft.com/ko-kr/software-download/windows10ISO Windows 10 디스크 이미지 다운로드(ISO 파일) 요청의 유효성을 검사하는 중입니다. 이 작업은 몇 분 정도 걸릴 수 있습니다. 페이지를 새로 고치거나 뒤로 이동하지 마세요. 그러면 요청이 취소됩니다. www.microsoft.com 2. 8GB이상 USB 디스크 맥에 연결. 기본 윈도우즈10 설치 이미지 크기가 4GB 이상 3. USB 디스크 FAT32로 포맷으로 초기화. 디스크 유틸리티 -> 지우기 -> MS-DOS(FAT32) 지우기 4. 다운로드한 Windows 10 디스크 이미지 다운로드(ISO 파일) 마운트. Fin..