Ubuntu Linux에서 Tensorflow Serving API 설치

Tensorflow Serving 문서

• https://www.tensorflow.org/serving/
• 하기의 내용은 Serving문서의 내용을 기반으로 만듬.

0. 환경

• Ubuntu 16.04 | 18.04
• Python2.7

---

------- 180605 UPDATE -------

이번에 서버이전으로 인해 과거에 세팅했던 Serving API도 함께 재세팅하면서 캡처화면을 남기게 되었다.

실제 Serving 사용에 도움이 되었으면 하는 바램이다.


[Serving Test VM] [구글 클라우드]

High Memory | vCPU 2개 + 13GB

Client는 Python2 + gunicorn + Flask Web API기준으로

이미지당 2+초 걸리는것으로 나왔다.

High CPU |  GPU는 속도가 더 빠를것으로 추정한다.

참고로 Serving Client 파일은 Python | C++로 제공하고 있다.

https://github.com/tensorflow/serving/tree/master/tensorflow_serving/example

[180725 UPDATE]  

vCPU * 8  + 16GB

이미지/ 1초+ 처리 가능함.

#---------------------------

  [OS]

[Add Repository]

echo "deb [arch=amd64] http://storage.googleapis.com/tensorflow-serving-apt stable tensorflow-model-server tensorflow-model-server-universal" | sudo tee /etc/apt/sources.list.d/tensorflow-serving.list

curl https://storage.googleapis.com/tensorflow-serving-apt/tensorflow-serving.release.pub.gpg | sudo apt-key add -

---

[APT INSTALL]

sudo apt-get update && sudo apt-get install tensorflow-model-server

[tensorflow-serving-api 설치하기]

pip install tensorflow-serving-api

#---------------------------------------------

여기까지 Tensorflow-serving설치 완료. 

다음은 샘플코드 실행부분이다. 

[소스 다운로드]

git clone  https://github.com/tensorflow/serving

[샘플 다운로드]

python tensorflow_serving/example/mnist_saved_model.py /tmp/mnist_model

[서버 실행]

tensorflow_model_server --port=9000 --model_name=mnist --model_base_path=/tmp/mnist_model/

[MNIST 샘플셋 실행]

python tensorflow_serving/example/mnist_client.py --num_tests=1000 --server=localhost:9000

실행결과를 보시면 

디폴트로 제공된 모델의 

인식오류는 10.4%로 나오는것을 확인 할수 있다. 

----- 2018.05.02 Update ----

Tensorflow-Serving Only using Ubuntu & Python Environment

# 
# Ubuntun 1604 & Python2.7 환경에서만 사용한다면  아주 쉽게 설치가능하다.

# ==========================

# 1.설치

# 1.1 다음의 명령어 실행
echo "deb [arch=amd64] http://storage.googleapis.com/tensorflow-serving-apt stable tensorflow-model-server tensorflow-model-server-universal" | sudo tee /etc/apt/sources.list.d/tensorflow-serving.list

curl https://storage.googleapis.com/tensorflow-serving-apt/tensorflow-serving.release.pub.gpg | sudo apt-key add -

# 1.2 APT 통한 설치 
sudo apt-get update && sudo apt-get install tensorflow-model-server

# =========설치 끝 =========. 

# ==========================

# 2. 샘플 코드 실행하기.

# 2.1 소스코드 다운로드
git clone  https://github.com/tensorflow/serving

# 2.2 tensorflow-serving-api 설치 
pip install tensorflow-serving-api

# 2.3 샘플 Model 다운로드. 
python tensorflow_serving/example/mnist_saved_model.py /tmp/mnist_model

# 2.4 인식서버 실행
tensorflow_model_server --port=9000 --model_name=mnist --model_base_path=/tmp/mnist_model/


# 2.5 Client.py 실행
python tensorflow_serving/example/mnist_client.py --num_tests=1000 --server=localhost:9000

# 위의 스텝들 아무런 이상이 없이 설치 되었다면 설치 끝. 

# 개인적으로 Python2.7환경에서만 사용하기 때문에 쉽게 설치하여 사용 가능. 
# 다른 환경 | 언어로 활용이 필요하신 분은 TF_Serving에서 제공하는 문서대로 bazel 컴파일 하는 방식으로 설치가 필요해 보임. 
# Tensorflow Serving 문서
# https://www.tensorflow.org/serving/

---

다른 방법으로 설치 중 만난 에러 기록

3. Error.

3.1 GLIBCXX_3.4.22 Not Found

# 해결책
sudo add-apt-repository ppa:ubuntu-toolchain-r/test

sudo apt-get update

sudo apt-get upgrade

sudo apt-get dist-upgrade

"""
- 위의 명령문을 순차적으로 실행하면 문제해결 
- 마지막 명령문인 dist-upgrade만 실행해서 해결되었다는 분도 있지만 
  저는 순차적으로 실행해서 해결됨. 
- strings /usr/lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX   
  정상 설치시 GLIBCXX_3.4.22가 추가된것을 확인 가능. 
- 참고링크 https://askubuntu.com/questions/575505/glibcxx-3-4-20-not-found-how-to-fix-this-error
"""