How to use DLA with Tesla T4

AI & Data Science Deep Learning (Training & Inference) TensorRT
1

when i run sample mnist with DLA option, i got this.

./sample_mnist_api --useDLACore=0
Loading weights: …/…/…/data/mnist/mnistapi.wts
ERROR: Parameter check failed at: …/builder/builder.cpp::setDefaultDeviceType::228, condition: mHwContext.hasDLA() && mHwContext.getNbDLAEngines() > 0

Input:

@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@+ :@@@@@@@@
@@@@@@@@@@@@@@%= :. --%@@@@@
@@@@@@@@@@@@@%. -@= - :@@@@@
@@@@@@@@@@@@@: -@@#%@@ #@@@@
@@@@@@@@@@@@: #@@@@@@@-#@@@@
@@@@@@@@@@@= #@@@@@@@@=%@@@@
@@@@@@@@@@= #@@@@@@@@@:@@@@@
@@@@@@@@@+ -@@@@@@@@@%.@@@@@
@@@@@@@@@::@@@@@@@@@@±@@@@@
@@@@@@@@-.%@@@@@@@@@@.@@@@@
@@@@@@@@ @@@@@@@@@@@ @@@@@
@@@@@@@% %@@@@@@@@@%.-@@@@@@
@@@@@@@:@@@@@@@@@+. %@@@@@@
@@@@@@# @@@@@@@@@# .@@@@@@@
@@@@@@# @@@@@@@@= +@@@@@@@@
@@@@@@# @@@@@@%. .+@@@@@@@@@
@@@@@@# @@@@@. -%@@@@@@@@@@
@@@@@@# — =@@@@@@@@@@@@
@@@@@@# *%@@@@@@@@@@@@@
@@@@@@@%: -=%@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Output:

0: **********
1:
2:
3:
4:
5:
6:
7:
8:
9:

driver edtion:410.79
TensorRT edtion:5.0.2.6
cudnn:7.4.1.5
cuda:10.0

so, how to use DLA with tesla T4?

2

i mean how to use tensor core to speed up inference.
this a confusion. i wonder whether the tensor core is dla?

3

There are two DLA cores within one mobile GPU, “–useDLACore=0” means using DLA core #0, while “–useDLACore=1” means using DLA core #1.

DLA is only available in the mobile platform, but not for desktop GPU. This is the reason why you got mHwContext.hasDLA()==false.

Instructions for tensor cores are automatically invoked by TensorRT kernels, you can also use “./sample_mnist_api --fp16” or “./sample_mnist_api --int8” to speed up that sample.

Programming Tensor Cores in CUDA 9 | NVIDIA Technical Blog explains what tensor cores are and how to program them.