ETRI 기술이전 사이트에 오신걸 환영합니다.

기술이전검색/신청

머신러닝 기반 가상함수 스케일링 기술

키워드

기술개요

본 기술은 머신러닝 기반 가상함수 스케일링 기술이다. 이러한 기술은 시스템 상황이 변화하는 환경에서 서비스 품질에 대한 사용자 요구사항을 만족시키기 위해 가상함수의 개수를 조절하는 기능 등을 포함한다.

기술이전 목적 및 필요성

- 현재 가장 널리 사용되고 있는 가상화 플랫폼인 쿠버네티스에서는 CPU 및 메모리 등과 같은 컴퓨팅 자원을 이용해서 가상함수를 스케일링하고 있음.
- CPU 및 메모리 사용량만으로 가상함수 스케일링 여부를 결정하는 경우, 설정된 임계치 값에 따라 서비스 품질과 시스템 운용 비용에 차이가 발생함.
- 과도하게 많은 가상함수를 할당하는 Over-provisioning의 경우, 서비스 품질은 좋지만 시스템 운용 비용 (cost, energy) 이 높다는 단점을 가짐. 반면, 지나치게 부족한 가상함수를 할당하는 Under-provisioning의 경우, 시스템 운 비용은 줄어들지만 서비스 품질의 보장이 어려움.
- 특히, 응용 서비스가 달라지거나 네트워크 환경이 달라질 경우에는 임계치를 재설정하여야 하며, 이를 위한 시험 및 검증 작업에 많은 노력과 시간을 필요로 함.
- 트래픽과 시스템 load가 변화하는 환경에서도 적응적으로 스케일링을 수행함으로써, 임계치의 조정 없이 서비스 품질을 보장할 수 있는 방법이 필요함.
- 머신 러닝을 도입함으로써, 트래픽 요구량과 시스템 load 변화에 따른 서비스 품질을 예측하여 적절한 스케일링 결정을 내림으로써, 높은 품질의 서비스를 제공함과 동시에 비용 효율적이며 안정적인 시스템 운용이 가능해짐.
- 기술이전을 받는 기업체가 보유하고 있는 데이터를 기반으로, 스케일링 알고리즘에 활용되는 머신러닝 모델들을 새롭게 학습하고 알고리즘을 확장할 필요가 있음.

기술의 특징 및 장점

- 현재 가장 널리 사용되고 있는 가상화 플랫폼인 쿠버네티스 상에서 구동할 수 있도록 설계 및 개발되었기 때문에 기존 쿠버네티스를 기반으로 제공되는 가상화 플랫폼에 쉽게 적용할 수 있으며 기능 확장도 용이함.
- 수집된 학습 데이터를 기반으로 모델을 새롭게 학습함으로써, 새로운 네트워크 환경에 적용 가능한 스케일링 알고리즘으로 수정 및 확장이 용이함.
- 기존의 방법론들에서는 서비스의 SLA target 값이 달라짐에 따라 자원 사용량에 대한 임계치를 새롭게 설정하기 위한 시험 및 검증 과정을 거쳐야 했음. 하지만, 해당 기술에서는 새롭게 모델을 학습할 필요 없이, target SLA 값의 upper bound와 lower bound를 수정함으로써, 스케일링 알고리즘 확장이 용이함.
- sensitivity 파라미터 값을 설정함으로써, 급격한 트래픽 변화에 따른 불안정한 스케일링 동작을 막을 수 있으며, 스케일링 정책의 변경이 용이함.

기술의 성숙도

단계 : 5

활용방안 및 기대성과

- 기존 스케일링 알고리즘에서 고려하지 않는 예측 모델을 활용함으로써, 다른 종류의 서비스 어플리케이션이나 네트워크 환경 하에서도 스케일링할 수 있는 스케일러를 쉽게 개발할 수 있는 탬플릿으로 활용할 수 있음.
- 새로운 네트워크 환경에서 새롭게 데이터를 수집하고 머신러닝 모델을 학습함으로써, 기술이전 업체의 요구에 맞도록 스케일링 알고리즘을 수정 및 확장할 수 있는 탬플릿으로 활용할 수 있음.
- 서비스 품질 요구사항을 적극적으로 수용할 수 있는 가상화 플랫폼을 구축하고 그에 적합한 서비스를 제공하려고 하는 경우 본 기술을 활용할 수 있음.
- 가상화 플랫폼을 구축하고 운용하는데 소요되는 비용과 자원을 효율적으로 줄일 수 있음.
- 네트워크에 대한 다양한 요구사항이 존재하는 MEC(Mobile Edge Computing)를 비롯한 에지 클라우드를 구축하고 운영하는 경우 가상화 플랫폼 기술로 활용할 수 있음.

기술이전 내용 및 범위

- 서비스 응답시간 예측 모델 설계 및 학습 기능
- Post-scaling metrics 예측 모델 설계 및 학습 기능
- 서비스 응답시간에 대한 SLA target을 만족시키기 위한 스케일링 기능
- 스케일링 sensitivity 파라미터를 통한 스케일링 정책 조정 기능
- 스케일링 과정 및 결과 저장 기능
- 요구사항 정의서
- 기능 규격 및 설계서
- 상세설계서
- 시험절차 및 결과서
- ML 기반 auto-scaling 현황
- 머신러닝 기반 오토스케일을 위한 텔레메트리 수집 방법 및 환경 구성
- 인공지능을 활용한 자원 상황 기반 자동 스케일링
- ISTIO모니터링
- ISTIO 트래픽 관리 기능 분석
- 머신러닝 기반 가상함수 오토스케일러 소프트웨어(소스코드)