Tensorflow Serving API의 Predict Server 구축에서 CPU | GPU의 속도차이

-

Tensorflow Serving API는 Predict Server 구축에서 CPU | GPU의 속도차이

[결론]
 GPU


[사유]

 1개의 Prediction Request를 진행할때

CPU | GPU의 성능차이는 별로 없어 보이지만

대량 요청의 경우에는 GPU가 훨씬 빠른 성능을 보인다고 한다.

너무 당연한 얘기.... 그냥 기록 남길려고 한다.

[참고링크]
https://github.com/tensorflow/serving/issues/798

评论

发表评论

此博客中的热门博文

Windows에서 Tensorflow Object Detection API 설치하기

-
Tensorflow Object Deteciton API를 사용해보기 위해서 여러가지 리서치를 진행했고 그 고생했던 과정을 블로그로 남겨볼려고 한다. #1. Tensorflow Object Deteciton API 설치 #1.1 소스 다운로드 https://github.com/tensorflow/models ※ 설명의 편의를 위해서 해당 소스는 D://models로 압축해제 되었다고 가정한다  [위치] D://models/ # 1.2 API 컴파일 - protobuf 다운로드 Protoc 3.1  다운로드    protoc-3.1.0-win32.zip 해당 데이터를 D:\protoc-3.1.0-win32로 압축 해제 하겠다. [위치] D:\protoc-3.1.0-win32\bin\protoc.exe [환경설정] 다음 스텝의 컴파일을 위하여 해당 위치를 Window환경변수에 추가 [참고링크] https://github.com/google/protobuf/releases/tag/v3.1.0 [주의] Windows환경에서는  protobuf 3.5.x 다운해서 실행하면 `디렉토리를 찾을수 없다`는  에러가 생긴다. 따라서 3.1버전 다운로드해야 한다. 이 Error로 인해 온 오후를 낭비한 기억이...ㅠㅠ #1.3 API 컴파일 - 컴파일 Powershell 기준으로 다음의 명령어을 실행 cd D:\models\research\ D:\protoc-3.1.0-win32\bin\protoc.exe object_detection \ protos \ *.proto --python_out=. 아무런 에러 없이 실행 되었으면 컴파일 성공. [참고] cmd창에서는 실행이 안될수 있다. # 1.4 Object Detection API 설치하기 Powershell 기준으로 다음의 명령어을 실행 cd D:\models\research\ python stup.py buil
阅读全文

Ubuntu Linux에서 Tensorflow Serving API 설치

-
图片
Tensorflow Serving 문서 https://www.tensorflow.org/serving/ 하기의 내용은 Serving문서의 내용을 기반으로 만듬. 0. 환경 Ubuntu 16.04 | 18.04 Python2.7 ------- 180605 UPDATE ------- 이번에 서버이전으로 인해 과거에 세팅했던 Serving API도 함께 재세팅하면서 캡처화면을 남기게 되었다. 실제 Serving 사용에 도움이 되었으면 하는 바램이다. [Serving Test VM] [구글 클라우드] High Memory | vCPU 2개 + 13GB Client는 Python2 + gunicorn + Flask Web API기준으로 이미지당 2+초 걸리는것으로 나왔다. High CPU |  GPU는 속도가 더 빠를것으로 추정한다. 참고로 Serving Client 파일은 Python | C++로 제공하고 있다. https://github.com/tensorflow/serving/tree/master/tensorflow_serving/example [180725 UPDATE]   vCPU * 8  + 16GB 이미지/ 1초+ 처리 가능함. #---------------------------   [OS] [Add Repository] echo "deb [arch=amd64] http://storage.googleapis.com/tensorflow-serving-apt stable tensorflow-model-server tensorflow-model-server-universal" | sudo tee /etc/apt/sources.list.d/tensorflow-serving.list curl https: //storage.googleapis.com/tensorflow-serving-apt/tensorflow-serving.
阅读全文