도찐개찐

컨테이너 오케스트레이션이란 무엇인가요? 컨테이너 오케스트레이션은 컨테이너의 프로비저닝, 배포, 네트워킹, 확장, 가용성 및 라이프사이클 관리를 자동화합니다. 오늘날 Kubernetes는 가장 인기 있는 컨테이너 오케스트레이션 플랫폼이며, Amazon Web Services(AWS), Google Cloud Platform, IBM Cloud 및 Microsoft Azure를 비롯한 대부분의 주요 퍼블릭 클라우드 제공업체는 매니지드 Kubernetes 서비스를 제공합니다. 다른 컨테이너 오케스트레이션 툴로는 Docker Swarm 및 Apache Mesos가 있습니다. 컨테이너와 컨테이너에 오케스트레이션이 필요한 이유에 대해 자세히 알아보기 컨테이너는 애플리케이션 소스 코드와 모든 환경에서 코드를 실행하는..

1. Transformer 아키텍처 - 현재 NLP 모델의 거의 대부분은 Transformer 아키텍처를 기반으로 함 - 모델의 용도에 따라 Transformer의 Encoder, Decoder를 개별 또는 통합하여 사용 - 즉, Transformer의 발전 양상이 곧 LLM의 발전의 양상 - Decoder 중심으로 빠른 발전이 있었음 ex) Chat-GPT, BARD 등등 2. Closed Source, Open Source - Closed Source(OpenAI, Google) - 뛰어난 성능, API 방식의 편리한 사용성 - But, 보장할 수 없는 보안, API 호출 비용 - Open Source(LLaMA) - Closed Source 못지 않은 성능, 높은 보안성, 낮은 비용 - But, 개..

VSCode vs Jetbrains – Revisited (Updated 2024) | Shade It’s been about a year and a half since I’ve switched from the VSCode ecosystem. A lot of the stuff that is written below was indeed from the last year or so, so there have been some improvements. www.shade.inc 전체 면책조항: 저는 JetBrains나 VSCode의 후원을 받지 않습니다. 이는 저의 솔직한 의견이며, 저희 팀의 정서를 바탕으로 한 것입니다. 필요하다면 나를 미쳤다고 불러주세요. 하나의 IDE에서 5년 동안 코딩을 하고 나면 VS..

Issue Docker container 만들고 처음엔 학습이 됐는데 갑자기 No CUDA GPUs are available nvidia-smi 찍어보면 Failed to initialize NVML: Unknown Error in Docker after Few hours 호스트가 데몬 다시 로드(또는 유사한 활동)를 수행합니다. 컨테이너가 systemd를 사용하여 cgroup을 관리하는 경우 daemon-reload는 "NVIDIA GPU에 대한 참조가 있는 모든 유닛 파일을 다시 로드하도록 트리거합니다." 그러면 컨테이너가 다시 로드된 GPU 참조에 액세스할 수 없게 됩니다. 문제로 인해 문제가 발생했는지 확인하는 방법 : 컨테이너에 여전히 GPU 액세스 권한이 있는 경우 " host " 터미널을 열..

0. 정리 - pipeline은 간단한 사용법을 제시한 것으로 기본 모델 말고 모델을 지정할 때에는 모델마다 작동 여부가 다름 - max_length, return_sequences 등의 파라미터도 모델에 따라서 적용 여부가 다름 - NLP를 단순하게 소개 하거나, 기초자를 대상으로 할 때 흥미를 가지는 용도로 사용 1. pipeline 이란? - transformers 라이브러리의 가장 기본 객체 - 전처리 + 후처리 과정을 모델과 연결하여 쉽게 NLP 모델을 사용할 수 있게 함. - 사용전에 transformers 라이브러리 설치 !pip install transformers 2. pipeline 활용 가. pipline을 사용할 때 모델을 지정하지 않으면 기본 모델이 들어가고, 특정 모델을 지정하고..

맥북에서 tar 로 압축한 파일을 리눅스에서 압축을 해제할 때 이런 오류가 발생하는 경우가 있습니다. 이 오류는 gnu-tar 와 bsd-tar 을 차이에서 발생하는 오류입니다. tar --version 을 입력하면 현재 tar 파일의 버전을 알수 있고 이를 통해 맥북은 bsd 버전의 tar 인 것을 알 수 있습니다. 이때는 맥북에 gnu tar 을 설치하고, gtar 명령을 이용해서 gnu tar 를 사용할 수 있습니다. # 맥북 bsdtar ➜ ~ tar --version bsdtar 3.5.3 - libarchive 3.5.3 zlib/1.2.11 liblzma/5.0.5 bz2lib/1.0.8 # ubuntu GNU tar $ tar --version tar (GNU tar) 1.29 Copyri..

현재 버전의 protobuf 업그레이드: 최신 버전의 protobuf를 설치합니다. 이 과정에서 builder.py 파일이 포함된 최신 버전의 protobuf가 설치됩니다. pip install --upgrade protobuf builder.py 파일 복사: 최신 버전의 protobuf에서 builder.py 파일을 찾아서 복사해둡니다. 이 파일은 site-packages/google/protobuf/internal 디렉토리에 위치해 있을 것입니다. pip show protobuf 명령을 사용하면 protobuf가 설치된 경로를 알 수 있습니다.이 명령의 출력에서 'Location' 항목을 찾아 해당 경로로 이동하면 google/protobuf/internal 폴더를 찾을 수 있고, 여기서 builde..

jupyter 를 사용하다보면 쉘을 통해 가상환경 및 커널에 pip intsall 과 같은 명령어로 python 패키지를 설치해야 하는 경우가 있습니다. 이를 해결하기 위해서는 jupyter이 떠있는 서버 접속 후 아래 명령어를 실행하면 됩니다. 가상 환경의 커널 추가 또는 업데이트 Jupyter Notebook에 ml_jupyter 가상 환경을 커널로 추가하거나 업데이트합니다. 다음 명령어를 사용합니다 $ python -m ipykernel install --user --name {가상환경이름} --display-name "~~~" $ python -m ipykernel install --user --name ml_jupyter --display-name "Python (ml_jupyter)"