TensorRT InferenceServer Client

AI & Data Science Deep Learning (Training & Inference) TensorRT
1

Hi,

I have modified the example code for grpc client (tensorrt inference server) for my purpose.
Unfortunately I am getting only (when I call grpc_stub.Infer(request)):

responses.append(grpc_stub.Infer(request))

request_status {
  code: INVALID_ARG
  msg: "unexpected size 0 for inference input 


I did print variable "request" and it's not empty (very large collection):

A\x00\x00\x90A\x00\x00,B\x00\x004B\x00\x00\xf0A\x00\x00\xaeB\x00\x00\x18B\x00\x00hB\x00\x004B\x00\x00\xb2B\x00\x00@B\x00\x00\x94B\x00\x00<B\x00\x00B\x00\x000B\x00\x00xB\x00\x00\x18B\x00\x00xB\x00\x00,B\x00\x00\x10A\x00\x00\x00@\x00\x000A\x00\x00\xa0@\x00\x000B\x00\x00\x98A\x00\x00\xe8A\x00\x00\x10A\x00\x00\xa8A\x00\x00XB\x00\x00\xb0A\x00\x00\xe0@\x00\x00B\x00\x00\x0cB\x00\x00\xe8A\x00\x00\xc8A\x00\x00\xa8A\x00\x00\x92B\x00\x00\x8aB\x00\x00<B\x00\x00\xa8A\x00\x00\x86B\x00\x00 A\x00\x00\xe0A\x00\x00(B\x00\x00\x00B\x00\x00\x8cB\x00\x00\xf0A\x00\x00\xc0A\x00\x00\x90A\x00\x00\x80A\x00\x00\xf8A\x00\x00\xc8A\x00\x00\x04B\x00\x00\x80A\x00\x00\x00\x00\x00\x00\xa6B\x00\x00\xf8A\x00\x00\xe8A\x00\x000B\x00\x00<B\x00\x00\xb0B\x00\x00\xf0A\x00\x00\xc0A\x00\x00\xc0A\x00\x00\x90A\x00\x00\x80A\x00\x00\xaeB\x00\x004B\x00\x00\xa4B\x00\x00<B\x00\x00\x9aB\x00\x00\x18B\x00\x00|B\x00\x00\x94B\x00\x00DB\x00\x00\x00B\x00\x00\x98A\x00\x00\xd0A\x00\x00\x88A\x00\x00$B\x00\x00\x1cB\x00\x00\xc0A\x00\x00\xd8A\x00\x00\x8aB\x00\x00\x98A\x00\x00|B\x00\x00\xceB\x00\x00$B\x00\x00\xb2B\x00\x00\xe0A\x00\x00\xccB\x00\x00\xf4B



Can anybody point me, where can be problem?

Thank you!input_1


I did print variable "request" and it's not empty (very large collection):

A\x00\x00\x90A\x00\x00,B\x00\x004B\x00\x00\xf0A\x00\x00\xaeB\x00\x00\x18B\x00\x00hB\x00\x004B\x00\x00\xb2B\x00\x00@B\x00\x00\x94B\x00\x00<B\x00\x00B\x00\x000B\x00\x00xB\x00\x00\x18B\x00\x00xB\x00\x00,B\x00\x00\x10A\x00\x00\x00@\x00\x000A\x00\x00\xa0@\x00\x000B\x00\x00\x98A\x00\x00\xe8A\x00\x00\x10A\x00\x00\xa8A\x00\x00XB\x00\x00\xb0A\x00\x00\xe0@\x00\x00B\x00\x00\x0cB\x00\x00\xe8A\x00\x00\xc8A\x00\x00\xa8A\x00\x00\x92B\x00\x00\x8aB\x00\x00<B\x00\x00\xa8A\x00\x00\x86B\x00\x00 A\x00\x00\xe0A\x00\x00(B\x00\x00\x00B\x00\x00\x8cB\x00\x00\xf0A\x00\x00\xc0A\x00\x00\x90A\x00\x00\x80A\x00\x00\xf8A\x00\x00\xc8A\x00\x00\x04B\x00\x00\x80A\x00\x00\x00\x00\x00\x00\xa6B\x00\x00\xf8A\x00\x00\xe8A\x00\x000B\x00\x00<B\x00\x00\xb0B\x00\x00\xf0A\x00\x00\xc0A\x00\x00\xc0A\x00\x00\x90A\x00\x00\x80A\x00\x00\xaeB\x00\x004B\x00\x00\xa4B\x00\x00<B\x00\x00\x9aB\x00\x00\x18B\x00\x00|B\x00\x00\x94B\x00\x00DB\x00\x00\x00B\x00\x00\x98A\x00\x00\xd0A\x00\x00\x88A\x00\x00$B\x00\x00\x1cB\x00\x00\xc0A\x00\x00\xd8A\x00\x00\x8aB\x00\x00\x98A\x00\x00|B\x00\x00\xceB\x00\x00$B\x00\x00\xb2B\x00\x00\xe0A\x00\x00\xccB\x00\x00\xf4B



Can anybody point me, where can be problem?

Thank you!, expecting 1572864"
  server_id: "inference:0"
  request_id: 38
}
meta_data {
}

I did print variable “request” and it’s not empty (very large collection):

A\x00\x00\x90A\x00\x00,B\x00\x004B\x00\x00\xf0A\x00\x00\xaeB\x00\x00\x18B\x00\x00hB\x00\x004B\x00\x00\xb2B\x00\x00@B\x00\x00\x94B\x00\x00<B\x00\x00`B\x00\x000B\x00\x00xB\x00\x00\x18B\x00\x00xB\x00\x00,B\x00\x00\x10A\x00\x00\x00@\x00\x000A\x00\x00\xa0@\x00\x000B\x00\x00\x98A\x00\x00\xe8A\x00\x00\x10A\x00\x00\xa8A\x00\x00XB\x00\x00\xb0A\x00\x00\xe0@\x00\x00`B\x00\x00\x0cB\x00\x00\xe8A\x00\x00\xc8A\x00\x00\xa8A\x00\x00\x92B\x00\x00\x8aB\x00\x00<B\x00\x00\xa8A\x00\x00\x86B\x00\x00 A\x00\x00\xe0A\x00\x00(B\x00\x00\x00B\x00\x00\x8cB\x00\x00\xf0A\x00\x00\xc0A\x00\x00\x90A\x00\x00\x80A\x00\x00\xf8A\x00\x00\xc8A\x00\x00\x04B\x00\x00\x80A\x00\x00\x00\x00\x00\x00\xa6B\x00\x00\xf8A\x00\x00\xe8A\x00\x000B\x00\x00<B\x00\x00\xb0B\x00\x00\xf0A\x00\x00\xc0A\x00\x00\xc0A\x00\x00\x90A\x00\x00\x80A\x00\x00\xaeB\x00\x004B\x00\x00\xa4B\x00\x00<B\x00\x00\x9aB\x00\x00\x18B\x00\x00|B\x00\x00\x94B\x00\x00DB\x00\x00\x00B\x00\x00\x98A\x00\x00\xd0A\x00\x00\x88A\x00\x00$B\x00\x00\x1cB\x00\x00\xc0A\x00\x00\xd8A\x00\x00\x8aB\x00\x00\x98A\x00\x00|B\x00\x00\xceB\x00\x00$B\x00\x00\xb2B\x00\x00\xe0A\x00\x00\xccB\x00\x00\xf4B

Can anybody point me, where can be problem?

Thank you!

2

Hello,

what type of model (tf/trt/caffe) is inferenced here? also, can you share the client changes you made?

3

It is a tensorflow model.

Modifications:
I am using opencv to load input image:

img = cv2.imread(filename,0)

instead of PIL

img = Image.open(filename)

I dont need to reshape the input image:

#if c == 1:
    #    sample_img = img.convert('L')
    #else:
    #    sample_img = img.convert('RGB')
    sample_img = img
    #resized_img = sample_img.resize((w, h), Image.BILINEAR)
    #resized = np.array(resized_img)
    resized = img

model_status {
  key: "xxx_netdef"
  value {
    config {
      name: "xxx_netdef"
      platform: "tensorflow_graphdef"
      version_policy {
        latest {
          num_versions: 1
        }
      }
      max_batch_size: 1
      input {
        name: "input_1"
        data_type: TYPE_FP32
        format: FORMAT_NHWC
        dims: 512
        dims: 768
        dims: 1
      }
      output {
        name: "subtract_1/sub"
        data_type: TYPE_FP32
        dims: 512
        dims: 768
        dims: 1
      }
      instance_group {
        name: "xxx_netdef_0"
        count: 4
        gpus: 0
        kind: KIND_GPU
      }
      default_model_filename: "model.pb"
    }
    version_status {
      key: 1
      value {
        ready_state: MODEL_READY
        infer_stats {
          key: 1
          value {
            failed {
              count: 28
              total_time_ns: 1582542
            }
          }
        }
      }
    }
  }
}

Input is an image and I am also expecting output as image.

4

Finally I solved the problem. I used 19.01 branch from git to build the client and it’s working.