도찐개찐

1. Transformer 아키텍처 - 현재 NLP 모델의 거의 대부분은 Transformer 아키텍처를 기반으로 함 - 모델의 용도에 따라 Transformer의 Encoder, Decoder를 개별 또는 통합하여 사용 - 즉, Transformer의 발전 양상이 곧 LLM의 발전의 양상 - Decoder 중심으로 빠른 발전이 있었음 ex) Chat-GPT, BARD 등등 2. Closed Source, Open Source - Closed Source(OpenAI, Google) - 뛰어난 성능, API 방식의 편리한 사용성 - But, 보장할 수 없는 보안, API 호출 비용 - Open Source(LLaMA) - Closed Source 못지 않은 성능, 높은 보안성, 낮은 비용 - But, 개..

VSCode vs Jetbrains – Revisited (Updated 2024) | Shade It’s been about a year and a half since I’ve switched from the VSCode ecosystem. A lot of the stuff that is written below was indeed from the last year or so, so there have been some improvements. www.shade.inc 전체 면책조항: 저는 JetBrains나 VSCode의 후원을 받지 않습니다. 이는 저의 솔직한 의견이며, 저희 팀의 정서를 바탕으로 한 것입니다. 필요하다면 나를 미쳤다고 불러주세요. 하나의 IDE에서 5년 동안 코딩을 하고 나면 VS..

Issue Docker container 만들고 처음엔 학습이 됐는데 갑자기 No CUDA GPUs are available nvidia-smi 찍어보면 Failed to initialize NVML: Unknown Error in Docker after Few hours 호스트가 데몬 다시 로드(또는 유사한 활동)를 수행합니다. 컨테이너가 systemd를 사용하여 cgroup을 관리하는 경우 daemon-reload는 "NVIDIA GPU에 대한 참조가 있는 모든 유닛 파일을 다시 로드하도록 트리거합니다." 그러면 컨테이너가 다시 로드된 GPU 참조에 액세스할 수 없게 됩니다. 문제로 인해 문제가 발생했는지 확인하는 방법 : 컨테이너에 여전히 GPU 액세스 권한이 있는 경우 " host " 터미널을 열..