Distributed & Cloud Computing Lab

Sookmyung Women's University

About us

Distributed & Cloud Computing Lab

Research & Project

Main Research & Project

Publications

Papers, Journal Papers, and Awards

Members

DCCLab Members

About Us

숙명여자대학교 분산컴퓨팅 및 클라우드 시스템 연구실

숙명여자대학교 컴퓨터과학과 분산컴퓨팅 & 클라우드 연구팀은 엑사스케일 초고속 컴퓨팅 시스템을 위한 분산/병렬 컴퓨팅 플랫폼에 대한 연구를 진행하고 있습니다. 또한, 클라우드 서비스 제공의 기반이 되는 고성능 이기종 클러스터에서 다양한 과학 응용을 대상으로 효율적인 분산 처리와 자원 공유를 지원하는 자원 공유를 제공합니다. 대표적인 연구는 고성능 가속기 클러스터의 스마트 멀티태스킹을 위한 통합 자원 공유 프레임워크 개발, 자원 가중치를 고려한 Job 스케줄러의 개발, 강화 학습 기반의 지능형 프레임워크 개발 등입니다.





  • 엑사스케일 초고성능 시스템을 위한 분산/병렬 컴퓨팅 플랫폼 (Distributed/Parallel Computing Platforms for Exascale High Performance Computer Systems)

    엑사스케일 초고속컴퓨팅의 I/O문제는 단순히 더 빠른 하드웨어 장치의 도입이나 소프트웨어 최적화만으로는 해결할 수 없습니다. HPC 응용 프레임워크를 통해 과학자들에게 쉬운 접근성을 제공하면서도, 컴파일러를 활용한 소프트웨어/하드웨어간 통합 최적화 방법을 활용하여 하드웨어의 기능들을 100% 이끌어내어, 엑사스케일 환경에서 발생하는 I/O 문제를 해결하는 데이터 집약 분산/병렬 컴퓨팅 플랫폼에 대한 연구를 진행합니다.

    Data-intensive HPC applications will face I/O challenges in Exascale environments. We develope the distributed/parallel computing platform for Exascale HPC, providing ease of programming and the greatest performance from hardware to the scientific researchers.

  • GPU 가상화 환경에서 강화 학습을 이용한 지능형 프레임워크 (An Intelligent Framework using Reinforcement Learning in GPU Virtualiztion Environment)

    높은 가격의 GPU 가상화 클러스터 환경에서 효율적인 자원 운영을 위해 GPU 자원에 여러 응용을 실행시키는 작업 관리가 필요합니다. 강화 학습 모델의 결과를 통해 GPU 클러스터 환경과 성능에 영향을 주지 않는 응용의 공동 배치를 결정하며 심층 강화 학습에 기반한 지능형 프레임워크를 연구합니다.

    Multi-execution is required to utilize GPU resource efficiently to achieve low cost of usage in physical clusters. This study of an intelligent framework includes development of an reinforcement learning model from job execution history on GPU and multi job placement method with interference avoidance on GPUs.

  • 고성능 가속기 클러스터의 스마트 멀티 태스킹을 위한 통합 자원 공유 프레임워크 (Integrated Resource Sharing Framework for Smart Multitasking on High-Performance Accelerator Clusters)

    GPU 클라우드 서비스는 다양한(High Performance Computing, Deep Learning) 응용 특성을 고려하여 적절한 GPU 장치 및 최적의 시점에 작업을 위치시키는 자원 공유 관리가 필요합니다. GPU 클라우드 서비스 제공의 기반이 되는 고성능 가속기 클러스터에서 응용들의 동시 실행을 위한 효율적인 분산 처리와 자원 공유를 지원하는 자원 공유 실행에 대해 연구합니다.

    GPU cloud services require resource-sharing management to place applications at the adequate GPU devices and the right moment considering diverse application characteristics. We study resource sharing execution that enables efficient distributed processing and resource sharing for concurrent execution of applications in a cluster of high-performance accelerators which is fundamental of GPU cloud service providers.

Research & Project

숙명여자대학교 컴퓨터과학과 분산컴퓨팅 & 클라우드 연구팀은 엑사스케일 초고속 컴퓨팅 시스템을 위한 분산/병렬 컴퓨팅 플랫폼에 대한 연구를 진행하고 있습니다. 또한, 클라우드 서비스 제공의 기반이 되는 고성능 이기종 클러스터에서 다양한 과학 응용을 대상으로 효율적인 분산 처리와 자원 공유를 지원하는 자원 공유를 제공합니다.

Learn More
  • 자원 인프라 관리 측면에서 다양한 특성이 혼재하는 다중 워크로드를 대상으로 자원 활용성을 고려한 자원 공유 방법은 아직 부족하다. GPU 내부의 자원은 GPU의 세대를 거듭해 나갈수록 증가하고 있으므로 이러한 하드웨어 트렌드에 맞게 증가하는 자원을 최대한으로 활용하기 위한 공간 다중화 기술에 대한 연구가 필요하다. 본 연구는 학습을 통한 효율적인 GPU 자원 공유 스케줄링 방법, 응용의 GPU 내부 자원 사용 패턴을 기반으로 자원 공유가 가능하며 성능간섭이 낮은 스케줄링 기법에 관한 연구, 멀티태스킹 기법을 통합하여 응용의 GPU 자원 사용 패턴을 고려한 통합 자원 공유 실행 프레임워크 개발 연구를 진행한다.

  • HPC 응용의 경우 과학 응용의 해석을 위해 종속적으로 실행해야 하는 과정이 존재하기 때문에 해석 과정에 따라 다양한 자원 사용 패턴을 가진다. GPU에서 실행되는 응용 마다 각기 다른 자원 사용 특성이 존재할 뿐만 아니라 복잡한 환경과 상호 작용이 존재하기 때문에 작업의 자원 사용량만을 통해 간섭과 성능을 예측하는 것은 어렵다. 따라서 실제 운영 환경에 대한 자동화된 파악과 그에 맞춘 최적의 운영 정책 결정을 제공하는 지능형 소프트웨어의 개발이 필요하다. 본 연구에서는 PGPU 응용의 자원 사용 이력 분석, 기계학습기반의 응용 배치 프레임워크 개발, 체크포인팅 기반 적응형 GPU 공유 스케줄링 기법 연구, Tegra SoC 환경의 메모리 할당 기법에 따른 데이터집약 워크로드 성능 분석을 수행한다.

  • 일반적으로 사용되는 클러스터 규모의 자원 관리자는 coarse한 자원 관리 기법(CPU, 메모리 용량, 저장 공간)을 사용하고 있기 때문에 다양한 컴퓨팅 유닛(GPGPU, FPGA, Xeon Phi 등)과 복잡한 메모리 계층 구조(DRAM, NVRAM, SSD, HDD, All-Flash Array 등)을 fine-grained하게 관리하지 못한다. 컴파일러를 활용한 분석정보를 하드웨어에 효과적으로 전달하고 활용하기 위해서는 이기종 환경을 고려한 Job 스케줄러와 자원 관리자가 필요하다. 본 연구팀은 초고속컴퓨팅 시스템을 위한 데이터 집약 분산/병렬 컴퓨팅 플랫폼을 구축을 위한 1) 웹 기반 HPC 응용 프레임워크, 2) 컴파일러를 활용한 데이터 움직임 최적화, 3) 이기종 환경의 HPC에 적합한 Job 스케줄러와 자원 관리자의 개발을 수행한다. 이를 위해 초고속 컴퓨팅 장치를 활용한 데이터 접근 기술 연구, 적응형 응용 특성과 데이터 로컬리티를 고려한 작업 스케줄링 기법 연구, 실행 프로파일링 결과에 기반한 자원관리 및 자원 프로비저닝에 대한 연구, 메모리 사용 패턴 분석을 위한 경량 메모리 프로파일링 툴 개발을 수행한다.

  • HPC 응용 실행을 위하여 이기종 자원의 가상 자원을 활용한 자원 관리 및 작업 스케줄링 기법을 연구하고, 이를 통해 소프트웨어 정의 기술(Software-Defined Compute, Network, Storage: SD-CNS) 기반 응용 실행을 관리한다. 본 연구에서는 기상-대기 과학 응용 및 천문학 응용 등 HPC 응용 대상으로 실행 최적화를 위한 런타임 특성 고려 작업 스케줄링 기법, 프로파일링을 통한 자원 군집 및 데이터 배치 기법, 소프트웨어 정의 기술 기반 작업 스케줄링 기법을 개발을 수행한다.

  • 본 연구에서는 하이브리드 인프라를 공유하여 효율적으로 통합 활용하기 위해 필요한 동적 오토 스케일링 기법을 연구한다. 하이브리드 클라우드 환경에서 응용 실험에 효율적인 오토 스케일링 기법을 연구하고자 하며, 요구 데드라인 내에 작업 실행을 제공하는 데드라인 기반의 오토 스케일링 기법을 연구한다. 이때 항공우주분야, 천문우주분야와 같이 특화된 실제 환경에서 사용할 수 있는 성능 또는 비용을 고려하는 동적 스케일링 정책을 수립한다. 본 연구는 제안하는 기법을 Bag of Task 타입인 CFD 응용과 변광 지수 계산 응용과 워크플로우 타입인 단백질 주석 처리 워크플로우 응용 등 계산 및 데이터 분석 작업에 특화된 오토 스케일링 알고리즘을 개발하고 각각의 응용에 특화된 오토 스케일링 알고리즘을 이용하여 응용의 동적 자원 할당 관리 실험과 대규모 작업 처리에 대한 시뮬레이션을 실시한다. 본 연구에서는 하이브리드 클라우드 환경에서 효율적인 자원의 활용이 가능한 정책 스케줄링 기반의 가상 자원 오토 스케일링 기술을 개발하고, 계산 및 대규모 데이터 분석 작업에 특화 된 오토 스케일링 알고리즘을 제안한다.

  • 본 연구에서는 슈퍼컴퓨팅, 그리드, 클라우드 컴퓨팅과 같은 분산 컴퓨팅 인프라들을 기반으로 하는 이기종 자원들을 효율적으로 통합하여 활용하기 위한 적응형 자원 선택 알고리즘을 연구하고자 하며, 특히 계산 과학 분야 응용의 특성이나 시간, 비용 등의 정책(policy)을 수용할 수 있는 동적 클라우드 프로비저닝 기법을 연구한다. 본 연구는 하이브리드 클라우드 환경에서 자원들의 효율적 활용을 위해 요구되는 기술 확보하고, 대용량 작업의 처리를 위해 보유중인 전산 장비 외에 클라우드 서비스 및 기타 이기종 분산 인프라를 동시에 활용가능하게 됨으로서 대용량 작업의 처리를 위한 전산 장비 구입비용 및 데이터 처리비용 감소시킨다.

  • e-Science Portal 은 항공 우주 시뮬레이션을 위한 설정과 작업 수행을 명령할 수 있는 서비스들과 연구자의 요구사항에 따른 여러 추가적인 서비스들을 연구자가 쉽게 사용할 수 있는 환경을 제공한다. 포탈 상에서 사용자 코드를 선택하고 실행하는 인터페이스를 개발하여 실험 환경을 구성하는 데에 편의를 제공한다.

  • 그리드와 작업의 특성 분석을 위하여 누적된 작업 이력을 통계적으로 분석하며, 작업을 수행할 자원을 선택하기 위해 작업의 수행 패턴을 추론한다. 작업 이력을 다각도에서 분석해 얻은 정보는 그리드 메타 스케줄링 연구, 그리드 관리 및 운용, 설계 및 성능 평가 등 다양한 분야에 쓰일 수 있다. 또한, 워크플로우 에디터를 통해 작업을 디자인하고, 엔진에서 디자인된 작업 정보를 받아 실질적인 작업의 실행, 컨트롤, 모니터링 서비스를 수행하도록 개발한다.

Publications

국내, 외 연구 실적과 프로젝트 기록

91

Papers in Koreans

Learn More
47

International Journal Papers

Learn More
51

Presentations, Programs, Awards

Learn More

Contact

숙명여자대학교 명신관 410B호 분산처리 및 클라우드 연구실

Location:

Sookmyung Women's University, Cheongpa-ro 47-gil 100 (Cheongpa-dong 2(i)-ga), Yongsan-gu, Seoul, 04310, Korea

Call:

+82 02-710-9114



로딩 중
메시지 전송에 실패하였습니다. 다시 시도해 주십시오
메시지가 전송되었습니다. 감사합니다!