Skip to content

P
Paddle-Lite

PaddlePaddle / Paddle-Lite

通知 338
Star 4
Fork 1
P
Paddle-Lite
未验证 提交 e3afddc5 编写于 作者: myq406450149's avatar myq406450149 提交者： GitHub
浏览文件
操作

Merge pull request #4 from PaddlePaddle/develop

上级 34716531 f1ad382f
展开全部 隐藏空白更改
内联 并排
Showing with 77825 addition and 41883 deletion
.gitignore
浏览文件 @ e3afddc5
......@@ -35,6 +35,7 @@
build/
build_fpga/
docs/_build/
.idea/
......
.travis.yml
浏览文件 @ e3afddc5
language: cpp
cache: ccache
sudo: required
dist: trusty
dist: xenial
os:
- linux
......@@ -18,7 +18,7 @@ addons:
- clang-format-3.8
before_install:
- sudo pip install cpplint pre-commit
- sudo pip install cpplint pre-commit==1.10.3
- sudo ln -s /usr/bin/clang-format-3.8 /usr/bin/clang-format
# Download and install recent cmake
......
CMakeLists.txt
浏览文件 @ e3afddc5
......@@ -60,6 +60,7 @@ lite_option(LITE_WITH_X86 "Enable X86 in lite mode" ON)
lite_option(LITE_WITH_ARM "Enable ARM in lite mode" OFF)
lite_option(LITE_WITH_NPU "Enable NPU in lite mode" OFF)
lite_option(LITE_WITH_XPU "Enable XPU in lite mode" OFF)
lite_option(LITE_WITH_BM "Enable BM in lite mode" OFF)
lite_option(LITE_WITH_OPENMP "Enable OpenMP in lite framework" ON)
lite_option(LITE_WITH_OPENCL "Enable OpenCL support in lite" OFF)
lite_option(LITE_WITH_FPGA "Enable FPGA support in lite" OFF)
......@@ -73,8 +74,8 @@ lite_option(LITE_ON_MODEL_OPTIMIZE_TOOL "Build the model optimize tool" OFF)
lite_option(LITE_BUILD_EXTRA "Enable extra algorithm support in Lite, both kernels and operators" OFF)
lite_option(LITE_BUILD_TAILOR "Enable tailoring library according to model" OFF)
# cv build options
lite_option(LITE_WITH_CV "Enable build cv image in lite" OFF IF NOT LITE_WITH_ARM)
lite_option(LITE_WITH_CV "Enable build cv image in lite" OFF)
lite_option(LITE_WITH_STATIC_CUDA "Statically link cuda libraries." ON)
# TODO(Superjomn) Remove WITH_ANAKIN option if not needed latter.
if(ANDROID OR IOS OR ARMLINUX)
......@@ -169,6 +170,10 @@ endif()
########################################################################################
if(LITE_WITH_XPU)
include(xpu)
endif()
include(external/mklml) # download mklml package
include(external/xbyak) # download xbyak package
include(external/libxsmm) # download, build, install libxsmm
......@@ -188,10 +193,9 @@ if(LITE_WITH_CUDA)
include(cuda)
endif()
if(LITE_WITH_XPU)
include(xpu)
if(LITE_WITH_BM)
include(bm)
endif()
include(generic) # simplify cmake module
include(ccache) # set ccache for compilation
include(util) # set unittest and link libs
......
README.md
浏览文件 @ e3afddc5
......@@ -44,7 +44,7 @@ Framework compatibility: In addition to models trained on PaddlePaddle, those tr
Paddle Lite is designed to support a wide range of hardwares and devices, and it enables mixed execution of a single model on multiple devices, optimization on various phases, and leight-weighted applications on devices.
![img](https://github.com/Superjomn/_tmp_images/raw/master/images/paddle-lite-architecture.png)
![img](https://user-images.githubusercontent.com/45189361/70908123-6ce4fd00-2045-11ea-97e1-ad08446c5c86.png)
As is shown in the figure above, analysis phase includes Machine IR module, and it enables optimizations like Op fusion and redundant computation pruning. Besides, excecution phase only involves Kernal exevution, so it can be deployed on its own to ensure maximized light-weighted deployment.
......
README_cn.md
浏览文件 @ e3afddc5
......@@ -34,7 +34,7 @@ Paddle Lite为Paddle-Mobile的升级版，定位支持包括手机移动端在
PaddleLite 的架构设计着重考虑了对多硬件和平台的支持，并且强化了多个硬件在一个模型中混合执行的能力，多个层面的性能优化处理，以及对端侧应用的轻量化设计。
![](https://github.com/Superjomn/_tmp_images/raw/master/images/paddle-lite-architecture.png)
![](https://user-images.githubusercontent.com/45189361/70908123-6ce4fd00-2045-11ea-97e1-ad08446c5c86.png)
其中，Analysis Phase 包括了 MIR(Machine IR) 相关模块，能够对原有的模型的计算图针对具体的硬件列表进行算子融合、计算裁剪 在内的多种优化。Execution Phase 只涉及到Kernel 的执行，且可以单独部署，以支持极致的轻量级部署。
......
cmake/bm.cmake 0 → 100644
浏览文件 @ e3afddc5
# Copyright (c) 2019 PaddlePaddle Authors. All Rights Reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
if(NOT LITE_WITH_BM)
return()
endif()
if(NOT DEFINED BM_SDK_ROOT)
set(BM_SDK_ROOT $ENV{BM_SDK_ROOT})
if(NOT BM_SDK_ROOT)
message(FATAL_ERROR "Must set BM_SDK_ROOT or env BM_SDK_ROOT when LITE_WITH_BM=ON")
endif()
endif()
message(STATUS "BM_SDK_ROOT: ${BM_SDK_ROOT}")
find_path(BM_SDK_INC NAMES bmruntime_interface.h
PATHS ${BM_SDK_ROOT}/include/bmruntime NO_DEFAULT_PATH)
if(NOT BM_SDK_INC)
message(FATAL_ERROR "Can not find bmruntime_interface.h in ${BM_SDK_ROOT}/include")
endif()
include_directories("${BM_SDK_ROOT}/include/bmruntime")
include_directories("${BM_SDK_ROOT}/include/bmlib")
include_directories("${BM_SDK_ROOT}/include/bmcompiler")
include_directories("${BM_SDK_ROOT}/include/bmcpu")
include_directories("${BM_SDK_ROOT}/include/bmlog")
find_library(BM_SDK_RT_LIB NAMES bmrt
PATHS ${BM_SDK_ROOT}/lib/bmnn/pcie)
if(NOT BM_SDK_RT_LIB)
message(FATAL_ERROR "Can not find bmrt Library in ${BM_SDK_ROOT}")
else()
message(STATUS "Found bmrt Library: ${BM_SDK_RT_LIB}")
add_library(bmrt SHARED IMPORTED GLOBAL)
set_property(TARGET bmrt PROPERTY IMPORTED_LOCATION ${BM_SDK_RT_LIB})
endif()
find_library(BM_SDK_BM_LIB NAMES bmlib
PATHS ${BM_SDK_ROOT}/lib/bmnn/pcie)
if(NOT BM_SDK_BM_LIB)
message(FATAL_ERROR "Can not find bmlib Library in ${BM_SDK_ROOT}")
else()
message(STATUS "Found bmlib Library: ${BM_SDK_BM_LIB}")
add_library(bmlib SHARED IMPORTED GLOBAL)
set_property(TARGET bmlib PROPERTY IMPORTED_LOCATION ${BM_SDK_BM_LIB})
endif()
find_library(BM_SDK_COMPILER_LIB NAMES bmcompiler
PATHS ${BM_SDK_ROOT}/lib/bmcompiler)
if(NOT BM_SDK_COMPILER_LIB)
message(FATAL_ERROR "Can not find bmcompiler Library in ${BM_SDK_ROOT}")
else()
message(STATUS "Found bmcompiler Library: ${BM_SDK_COMPILER_LIB}")
add_library(bmcompiler SHARED IMPORTED GLOBAL)
set_property(TARGET bmcompiler PROPERTY IMPORTED_LOCATION ${BM_SDK_COMPILER_LIB})
endif()
find_library(BM_SDK_CPU_LIB NAMES bmcpu
PATHS ${BM_SDK_ROOT}/lib/bmnn/pcie)
if(NOT BM_SDK_CPU_LIB)
message(FATAL_ERROR "Can not find bmcpu Library in ${BM_SDK_ROOT}")
else()
message(STATUS "Found bmcpu Library: ${BM_SDK_CPU_LIB}")
add_library(bmcpu SHARED IMPORTED GLOBAL)
set_property(TARGET bmcpu PROPERTY IMPORTED_LOCATION ${BM_SDK_CPU_LIB})
endif()
set(bm_runtime_libs bmrt bmlib bmcompiler bmcpu CACHE INTERNAL "bm runtime libs")
set(bm_builder_libs bmrt bmlib bmcompiler bmcpu CACHE INTERNAL "bm builder libs")
cmake/configure.cmake
浏览文件 @ e3afddc5
......@@ -143,6 +143,10 @@ if (LITE_WITH_FPGA)
add_definitions("-DLITE_WITH_FPGA")
endif()
if (LITE_WITH_BM)
add_definitions("-DLITE_WITH_BM")
endif()
if (LITE_WITH_PROFILE)
add_definitions("-DLITE_WITH_PROFILE")
if (LITE_WITH_PRECISION_PROFILE)
......
cmake/cross_compiling/ios.cmake
浏览文件 @ e3afddc5
......@@ -120,6 +120,7 @@
#
## Lite settings
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -flto")
if (ARM_TARGET_OS STREQUAL "ios")
set(PLATFORM "OS")
elseif(ARM_TARGET_OS STREQUAL "ios64")
......
cmake/cross_compiling/npu.cmake
浏览文件 @ e3afddc5
......@@ -30,7 +30,7 @@ if(NOT NPU_DDK_INC)
message(FATAL_ERROR "Can not find HiAiModelManagerService.h in ${NPU_DDK_ROOT}/include")
endif()
include_directories("${NPU_DDK_ROOT}")
include_directories("${NPU_DDK_ROOT}/include")
set(NPU_SUB_LIB_PATH "lib64")
if(ARM_TARGET_ARCH_ABI STREQUAL "armv8")
......
cmake/cross_compiling/postproject.cmake
浏览文件 @ e3afddc5
......@@ -63,7 +63,7 @@ if (LITE_ON_TINY_PUBLISH)
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -fno-exceptions")
endif()
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -ffast-math -Ofast -Os -fomit-frame-pointer -fno-asynchronous-unwind-tables -fno-unwind-tables")
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -flto -fvisibility=hidden -fvisibility-inlines-hidden -fdata-sections -ffunction-sections")
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -fvisibility=hidden -fvisibility-inlines-hidden -ffunction-sections")
check_linker_flag(-Wl,--gc-sections)
endif()
......
cmake/cuda.cmake
浏览文件 @ e3afddc5
......@@ -174,15 +174,44 @@ if(NOT WITH_DSO)
endif(WIN32)
endif(NOT WITH_DSO)
get_filename_component(CUDA_LIB_PATH ${CUDA_curand_LIBRARY} DIRECTORY)
function(import_static_library alias path)
add_library(${alias} STATIC IMPORTED GLOBAL)
set_property(TARGET ${alias} PROPERTY IMPORTED_LOCATION ${path})
function(add_cuda_lib TARGET_NAME)
set(options STATIC SHARED)
set(oneValueArgs "NAME")
set(multiValueArgs "PATHS")
cmake_parse_arguments(add_cuda_lib "${options}" "${oneValueArgs}" "${multiValueArgs}" ${ARGN})
unset(ABS_PATH CACHE)
if (NOT add_cuda_lib_PATHS)
set(add_cuda_lib_PATHS CUDNN_CHECK_LIBRARY_DIRS)
endif()
find_library(ABS_PATH NAMES ${add_cuda_lib_NAME} PATHS ${${add_cuda_lib_PATHS}} NO_DEFAULT_PATH)
add_library(${TARGET_NAME} SHARED IMPORTED GLOBAL)
set_property(TARGET ${TARGET_NAME} PROPERTY IMPORTED_LOCATION ${ABS_PATH})
set(CUDA_MODULES ${CUDA_MODULES} ${TARGET_NAME} PARENT_SCOPE)
if (NOT ABS_PATH)
message(FATAL_ERROR "Can not find CUDA library: ${add_cuda_lib_NAME}")
endif()
endfunction()
import_static_library(cudart_static ${CUDA_LIB_PATH}/libcudart_static.a)
import_static_library(cublas_static ${CUDA_LIB_PATH}/libcublas_static.a)
import_static_library(curand_static ${CUDA_LIB_PATH}/libcurand_static.a)
import_static_library(culibos_static ${CUDA_LIB_PATH}/libculibos.a)
if(LITE_WITH_STATIC_CUDA)
message(STATUS "Static link CUDA toolkit.")
add_cuda_lib(cudart_static STATIC NAME libcudart_static.a)
add_cuda_lib(cublas_static STATIC NAME libcublas_static.a)
add_cuda_lib(curand_static STATIC NAME libcurand_static.a)
add_cuda_lib(culibos_static STATIC NAME libculibos.a)
if(NOT ${CUDA_VERSION} LESS 10.1)
add_cuda_lib(cublasLt_static STATIC NAME libcublasLt_static.a)
endif()
set_property(GLOBAL PROPERTY CUDA_MODULES cudnn_static ${CUDA_MODULES})
else()
message(STATUS "Dynamic Link CUDA toolkit.")
add_cuda_lib(cudart SHARED NAME libcudart.so)
add_cuda_lib(cublas SHARED NAME libcublas.so)
add_cuda_lib(curand SHARED NAME libcurand.so)
if(NOT ${CUDA_VERSION} LESS 10.1)
add_cuda_lib(cublasLt SHARED NAME libcublasLt.so)
endif()
set_property(GLOBAL PROPERTY CUDA_MODULES cudnn ${CUDA_MODULES})
endif()
# setting nvcc arch flags
select_nvcc_arch_flags(NVCC_FLAGS_EXTRA)
......
cmake/cudnn.cmake
浏览文件 @ e3afddc5
......@@ -32,9 +32,9 @@ list(APPEND CUDNN_CHECK_LIBRARY_DIRS
$ENV{CUDNN_ROOT}/lib64
$ENV{CUDNN_ROOT}/lib
/usr/lib
${CUDA_TOOLKIT_ROOT_DIR}
${CUDA_TOOLKIT_ROOT_DIR}/lib/x64
)
${CUDA_TOOLKIT_ROOT_DIR}
${CUDA_TOOLKIT_ROOT_DIR}/lib/x64
${CUDA_TOOLKIT_ROOT_DIR}/lib64)
if((${CUDA_VERSION} GREATER 10.0) OR (${CUDA_VERSION} EQUAL 10.0))
find_library(CUBLAS_LIBRARY NAMES libcublas.so PATHS ${CUDNN_CHECK_LIBRARY_DIRS} NO_DEFAULT_PATH)
......@@ -69,9 +69,15 @@ if(CUDNN_FOUND)
file(READ ${CUDNN_INCLUDE_DIR}/cudnn.h CUDNN_VERSION_FILE_CONTENTS)
get_filename_component(CUDNN_LIB_PATH ${CUDNN_LIBRARY} DIRECTORY)
add_library(cudnn_static STATIC IMPORTED GLOBAL)
set_property(TARGET cudnn_static PROPERTY IMPORTED_LOCATION
if(LITE_WITH_STATIC_CUDA)
add_library(cudnn_static STATIC IMPORTED GLOBAL)
set_property(TARGET cudnn_static PROPERTY IMPORTED_LOCATION
"${CUDNN_LIB_PATH}/libcudnn_static.a")
else()
add_library(cudnn SHARED IMPORTED GLOBAL)
set_property(TARGET cudnn PROPERTY IMPORTED_LOCATION
"${CUDNN_LIB_PATH}/libcudnn.so")
endif(LITE_WITH_STATIC_CUDA)
string(REGEX MATCH "define CUDNN_VERSION +([0-9]+)"
CUDNN_VERSION "${CUDNN_VERSION_FILE_CONTENTS}")
......
cmake/external/eigen.cmake
浏览文件 @ e3afddc5
INCLUDE(ExternalProject)
SET(EIGEN_SOURCECODE_DIR ${CMAKE_SOURCE_DIR}/third-party/eigen3)
SET(EIGEN_SOURCE_DIR ${THIRD_PARTY_PATH}/eigen3)
SET(EIGEN_INCLUDE_DIR ${EIGEN_SOURCE_DIR}/src/extern_eigen3)
INCLUDE_DIRECTORIES(${EIGEN_INCLUDE_DIR})
......@@ -16,9 +17,12 @@ if(WITH_AMD_GPU)
ExternalProject_Add(
extern_eigen3
${EXTERNAL_PROJECT_LOG_ARGS}
GIT_REPOSITORY "https://github.com/sabreshao/hipeigen.git"
GIT_TAG 7cb2b6e5a4b4a1efe658abb215cd866c6fb2275e
GIT_TAG
URL http://paddle-inference-dist.bj.bcebos.com/PaddleLite_ThirdParty%2Fhipeigen-upstream-702834151eaebcf955fd09ed0ad83c06.zip
DOWNLOAD_DIR ${EIGEN_SOURCECODE_DIR}
DOWNLOAD_NO_PROGRESS 1
PREFIX ${EIGEN_SOURCE_DIR}
DOWNLOAD_NAME "hipeigen-upstream-702834151eaebcf955fd09ed0ad83c06.zip"
UPDATE_COMMAND ""
CONFIGURE_COMMAND ""
BUILD_COMMAND ""
......@@ -29,12 +33,14 @@ else()
ExternalProject_Add(
extern_eigen3
${EXTERNAL_PROJECT_LOG_ARGS}
GIT_REPOSITORY "https://github.com/eigenteam/eigen-git-mirror"
# eigen on cuda9.1 missing header of math_funtions.hpp
# https://stackoverflow.com/questions/43113508/math-functions-hpp-not-found-when-using-cuda-with-eigen
GIT_TAG 917060c364181f33a735dc023818d5a54f60e54c
GIT_TAG
URL http://paddle-inference-dist.bj.bcebos.com/PaddleLite_ThirdParty%2Feigen-git-mirror-master-9ab917e9db99f5907d086aa73d5f9103.zip
DOWNLOAD_DIR ${EIGEN_SOURCECODE_DIR}
DOWNLOAD_NO_PROGRESS 1
PREFIX ${EIGEN_SOURCE_DIR}
DOWNLOAD_NAME "eigen"
DOWNLOAD_NAME "eigen-git-mirror-master-9ab917e9db99f5907d086aa73d5f9103.zip"
UPDATE_COMMAND ""
CONFIGURE_COMMAND ""
BUILD_COMMAND ""
......
cmake/external/xbyak.cmake
浏览文件 @ e3afddc5
......@@ -20,6 +20,7 @@ endif()
include(ExternalProject)
SET(XBYAK_SOURCECODE_DIR ${CMAKE_SOURCE_DIR}/third-party/xbyak)
set(XBYAK_PROJECT extern_xbyak)
set(XBYAK_PREFIX_DIR ${THIRD_PARTY_PATH}/xbyak)
set(XBYAK_INSTALL_ROOT ${THIRD_PARTY_PATH}/install/xbyak)
......@@ -38,8 +39,11 @@ ExternalProject_Add(
${XBYAK_PROJECT}
${EXTERNAL_PROJECT_LOG_ARGS}
DEPENDS ""
GIT_REPOSITORY "https://github.com/herumi/xbyak.git"
GIT_TAG "v5.661" # Jul 26th
URL http://paddle-inference-dist.bj.bcebos.com/PaddleLite_ThirdParty%2Fxbyak-5.66.zip
DOWNLOAD_DIR ${XBYAK_SOURCECODE_DIR}
DOWNLOAD_NAME "xbyak-5.66.zip"
DOWNLOAD_NO_PROGRESS 1
PREFIX ${XBYAK_PREFIX_DIR}
UPDATE_COMMAND ""
CMAKE_ARGS -DCMAKE_INSTALL_PREFIX=${XBYAK_INSTALL_ROOT}
......
cmake/external/xxhash.cmake
浏览文件 @ e3afddc5
INCLUDE(ExternalProject)
SET(XXHASH_SOURCECODE_DIR ${CMAKE_SOURCE_DIR}/third-party/xxhash)
set(XXHASH_SOURCE_DIR ${THIRD_PARTY_PATH}/xxhash)
set(XXHASH_INSTALL_DIR ${THIRD_PARTY_PATH}/install/xxhash)
set(XXHASH_INCLUDE_DIR "${XXHASH_INSTALL_DIR}/include")
......@@ -18,10 +19,12 @@ if(WIN32)
ExternalProject_Add(
extern_xxhash
${EXTERNAL_PROJECT_LOG_ARGS}
GIT_REPOSITORY "https://github.com/Cyan4973/xxHash"
GIT_TAG "v0.6.5"
URL http://paddle-inference-dist.bj.bcebos.com/PaddleLite_ThirdParty%2FxxHash-0.6.5.zip
DOWNLOAD_DIR ${XXHASH_SOURCECODE_DIR}
DOWNLOAD_NAME "xxHash-0.6.5.zip"
DOWNLOAD_NO_PROGRESS 1
PREFIX ${XXHASH_SOURCE_DIR}
DOWNLOAD_NAME "xxhash"
UPDATE_COMMAND ""
BUILD_IN_SOURCE 1
PATCH_COMMAND
......@@ -41,10 +44,12 @@ else()
ExternalProject_Add(
extern_xxhash
${EXTERNAL_PROJECT_LOG_ARGS}
GIT_REPOSITORY "https://github.com/Cyan4973/xxHash"
GIT_TAG "v0.6.5"
URL http://paddle-inference-dist.bj.bcebos.com/PaddleLite_ThirdParty%2FxxHash-0.6.5.zip
DOWNLOAD_DIR ${XXHASH_SOURCECODE_DIR}
DOWNLOAD_NO_PROGRESS 1
PREFIX ${XXHASH_SOURCE_DIR}
DOWNLOAD_NAME "xxhash"
DOWNLOAD_NAME "xxHash-0.6.5.zip"
UPDATE_COMMAND ""
CONFIGURE_COMMAND ""
BUILD_IN_SOURCE 1
......
cmake/lite.cmake
浏览文件 @ e3afddc5
......@@ -22,7 +22,7 @@ endfunction()
function (lite_deps TARGET)
set(options "")
set(oneValueArgs "")
set(multiValueArgs DEPS X86_DEPS CUDA_DEPS ARM_DEPS PROFILE_DEPS LIGHT_DEPS HVY_DEPS CL_DEPS FPGA_DEPS NPU_DEPS XPU_DEPS ARGS)
set(multiValueArgs DEPS X86_DEPS CUDA_DEPS ARM_DEPS PROFILE_DEPS LIGHT_DEPS HVY_DEPS CL_DEPS FPGA_DEPS BM_DEPS NPU_DEPS XPU_DEPS CV_DEPS ARGS)
cmake_parse_arguments(lite_deps "${options}" "${oneValueArgs}" "${multiValueArgs}" ${ARGN})
set(deps ${lite_deps_DEPS})
......@@ -44,7 +44,7 @@ function (lite_deps TARGET)
set(deps ${deps} ${var})
endforeach(var)
if(LITE_WITH_CV)
foreach(var ${lite_cv_deps})
foreach(var ${lite_deps_CV_DEPS})
set(deps ${deps} ${var})
endforeach(var)
endif()
......@@ -94,6 +94,12 @@ function (lite_deps TARGET)
endforeach(var)
endif()
if (LITE_WITH_BM)
foreach(var ${lite_deps_BM_DEPS})
set(deps ${deps} ${var})
endforeach(var)
endif()
set(${TARGET} ${deps} PARENT_SCOPE)
endfunction()
......@@ -115,10 +121,11 @@ file(WRITE ${offline_lib_registry_file} "") # clean
# LIGHT_DEPS: LITE_WITH_LIGHT_WEIGHT_FRAMEWORK
# HVY_DEPS: NOT LITE_WITH_LIGHT_WEIGHT_FRAMEWORK
# EXCLUDE_COMPILE_DEPS: TARGET will not be included in lite_compile_deps if this is not None
# CV_DEPS: LITE_WITH_CV
function(lite_cc_library TARGET)
set(options SHARED shared STATIC static MODULE module)
set(oneValueArgs "")
set(multiValueArgs SRCS DEPS X86_DEPS CUDA_DEPS CL_DEPS NPU_DEPS XPU_DEPS ARM_DEPS FPGA_DEPS PROFILE_DEPS LIGHT_DEPS
set(multiValueArgs SRCS DEPS X86_DEPS CUDA_DEPS CL_DEPS ARM_DEPS FPGA_DEPS BM_DEPS NPU_DEPS XPU_DEPS CV_DEPS PROFILE_DEPS LIGHT_DEPS
HVY_DEPS EXCLUDE_COMPILE_DEPS ARGS)
cmake_parse_arguments(args "${options}" "${oneValueArgs}" "${multiValueArgs}" ${ARGN})
......@@ -128,10 +135,12 @@ function(lite_cc_library TARGET)
X86_DEPS ${args_X86_DEPS}
CUDA_DEPS ${args_CUDA_DEPS}
CL_DEPS ${args_CL_DEPS}
NPU_DEPS ${args_NPU_DEPS}
XPU_DEPS ${args_XPU_DEPS}
BM_DEPS ${args_BM_DEPS}
ARM_DEPS ${args_ARM_DEPS}
CV_DEPS ${args_CV_DEPS}
FPGA_DEPS ${args_FPGA_DEPS}
NPU_DEPS ${args_NPU_DEPS}
XPU_DEPS ${args_XPU_DEPS}
PROFILE_DEPS ${args_PROFILE_DEPS}
LIGHT_DEPS ${args_LIGHT_DEPS}
HVY_DEPS ${args_HVY_DEPS}
......@@ -161,8 +170,8 @@ function(lite_cc_binary TARGET)
set(options " -g ")
endif()
set(oneValueArgs "")
set(multiValueArgs SRCS DEPS X86_DEPS CUDA_DEPS CL_DEPS ARM_DEPS FPGA_DEPS PROFILE_DEPS
LIGHT_DEPS HVY_DEPS EXCLUDE_COMPILE_DEPS ARGS)
set(multiValueArgs SRCS DEPS X86_DEPS CUDA_DEPS CL_DEPS ARM_DEPS FPGA_DEPS BM_DEPS NPU_DEPS XPU_DEPS PROFILE_DEPS
LIGHT_DEPS HVY_DEPS EXCLUDE_COMPILE_DEPS CV_DEPS ARGS)
cmake_parse_arguments(args "${options}" "${oneValueArgs}" "${multiValueArgs}" ${ARGN})
set(deps "")
......@@ -173,9 +182,13 @@ function(lite_cc_binary TARGET)
CL_DEPS ${args_CL_DEPS}
ARM_DEPS ${args_ARM_DEPS}
FPGA_DEPS ${args_FPGA_DEPS}
NPU_DEPS ${args_NPU_DEPS}
XPU_DEPS ${args_XPU_DEPS}
BM_DEPS ${args_BM_DEPS}
PROFILE_DEPS ${args_PROFILE_DEPS}
LIGHT_DEPS ${args_LIGHT_DEPS}
HVY_DEPS ${args_HVY_DEPS}
CV_DEPS ${CV_DEPS}
)
cc_binary(${TARGET} SRCS ${args_SRCS} DEPS ${deps})
target_compile_options(${TARGET} BEFORE PRIVATE -Wno-ignored-qualifiers)
......@@ -205,8 +218,8 @@ function(lite_cc_test TARGET)
endif()
set(options "")
set(oneValueArgs "")
set(multiValueArgs SRCS DEPS X86_DEPS CUDA_DEPS CL_DEPS ARM_DEPS FPGA_DEPS PROFILE_DEPS
LIGHT_DEPS HVY_DEPS EXCLUDE_COMPILE_DEPS
set(multiValueArgs SRCS DEPS X86_DEPS CUDA_DEPS CL_DEPS ARM_DEPS FPGA_DEPS BM_DEPS NPU_DEPS XPU_DEPS PROFILE_DEPS
LIGHT_DEPS HVY_DEPS EXCLUDE_COMPILE_DEPS CV_DEPS
ARGS
COMPILE_LEVEL # (basic|extra)
)
......@@ -225,9 +238,13 @@ function(lite_cc_test TARGET)
CL_DEPS ${args_CL_DEPS}
ARM_DEPS ${args_ARM_DEPS}
FPGA_DEPS ${args_FPGA_DEPS}
NPU_DEPS ${args_NPU_DEPS}
XPU_DEPS ${args_XPU_DEPS}
BM_DEPS ${args_BM_DEPS}
PROFILE_DEPS ${args_PROFILE_DEPS}
LIGHT_DEPS ${args_LIGHT_DEPS}
HVY_DEPS ${args_HVY_DEPS}
CV_DEPS ${args_CV_DEPS}
)
_lite_cc_test(${TARGET} SRCS ${args_SRCS} DEPS ${deps} ARGS ${args_ARGS})
# strip binary target to reduce size
......@@ -252,6 +269,7 @@ set(cuda_kernels CACHE INTERNAL "cuda kernels")
set(fpga_kernels CACHE INTERNAL "fpga kernels")
set(npu_kernels CACHE INTERNAL "npu kernels")
set(xpu_kernels CACHE INTERNAL "xpu kernels")
set(bm_kernels CACHE INTERNAL "bm kernels")
set(opencl_kernels CACHE INTERNAL "opencl kernels")
set(host_kernels CACHE INTERNAL "host kernels")
......@@ -262,12 +280,12 @@ if(LITE_BUILD_TAILOR)
file(STRINGS ${tailored_kernels_list_path} tailored_kernels_list)
endif()
# add a kernel for some specific device
# device: one of (Host, ARM, X86, NPU, FPGA, OPENCL, CUDA)
# device: one of (Host, ARM, X86, NPU, FPGA, OPENCL, CUDA, BM)
# level: one of (basic, extra)
function(add_kernel TARGET device level)
set(options "")
set(oneValueArgs "")
set(multiValueArgs SRCS DEPS X86_DEPS CUDA_DEPS CL_DEPS ARM_DEPS FPGA_DEPS PROFILE_DEPS
set(multiValueArgs SRCS DEPS X86_DEPS CUDA_DEPS CL_DEPS ARM_DEPS FPGA_DEPS BM_DEPS NPU_DEPS XPU_DEPS PROFILE_DEPS
LIGHT_DEPS HVY_DEPS EXCLUDE_COMPILE_DEPS
ARGS)
cmake_parse_arguments(args "${options}" "${oneValueArgs}" "${multiValueArgs}" ${ARGN})
......@@ -333,6 +351,12 @@ function(add_kernel TARGET device level)
endif()
set(fpga_kernels "${fpga_kernels};${TARGET}" CACHE INTERNAL "")
endif()
if ("${device}" STREQUAL "BM")
if (NOT LITE_WITH_BM)
return()
endif()
set(bm_kernels "${bm_kernels};${TARGET}" CACHE INTERNAL "")
endif()
if ("${device}" STREQUAL "OPENCL")
if (NOT LITE_WITH_OPENCL)
return()
......@@ -360,11 +384,13 @@ function(add_kernel TARGET device level)
lite_cc_library(${TARGET} SRCS ${args_SRCS}
DEPS ${args_DEPS}
X86_DEPS ${args_X86_DEPS}
XPU_DEPS ${args_XPU_DEPS}
CUDA_DEPS ${args_CUDA_DEPS}
CL_DEPS ${args_CL_DEPS}
ARM_DEPS ${args_ARM_DEPS}
FPGA_DEPS ${args_FPGA_DEPS}
NPU_DEPS ${args_NPU_DEPS}
XPU_DEPS ${args_XPU_DEPS}
BM_DEPS ${args_BM_DEPS}
PROFILE_DEPS ${args_PROFILE_DEPS}
LIGHT_DEPS ${args_LIGHT_DEPS}
HVY_DEPS ${args_HVY_DEPS}
......@@ -383,7 +409,7 @@ endif()
function(add_operator TARGET level)
set(options "")
set(oneValueArgs "")
set(multiValueArgs SRCS DEPS X86_DEPS CUDA_DEPS CL_DEPS ARM_DEPS FPGA_DEPS PROFILE_DEPS
set(multiValueArgs SRCS DEPS X86_DEPS CUDA_DEPS CL_DEPS ARM_DEPS FPGA_DEPS BM_DEPS NPU_DEPS XPU_DEPS PROFILE_DEPS
LIGHT_DEPS HVY_DEPS EXCLUDE_COMPILE_DEPS
ARGS)
cmake_parse_arguments(args "${options}" "${oneValueArgs}" "${multiValueArgs}" ${ARGN})
......@@ -409,11 +435,13 @@ function(add_operator TARGET level)
lite_cc_library(${TARGET} SRCS ${args_SRCS}
DEPS ${args_DEPS}
X86_DEPS ${args_X86_DEPS}
XPU_DEPS ${args_XPU_DEPS}
CUDA_DEPS ${args_CUDA_DEPS}
CL_DEPS ${args_CL_DEPS}
ARM_DEPS ${args_ARM_DEPS}
FPGA_DEPS ${args_FPGA_DEPS}
NPU_DEPS ${args_NPU_DEPS}
XPU_DEPS ${args_XPU_DEPS}
BM_DEPS ${args_BM_DEPS}
PROFILE_DEPS ${args_PROFILE_DEPS}
LIGHT_DEPS ${args_LIGHT_DEPS}
HVY_DEPS ${args_HVY_DEPS}
......
cmake/xpu.cmake
浏览文件 @ e3afddc5
......@@ -99,7 +99,7 @@ else()
set_property(TARGET xpu_sdk_llvm PROPERTY IMPORTED_LOCATION ${XPU_SDK_LLVM_FILE})
endif()
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -DDMLC_USE_GLOG=1")
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -DDMLC_USE_GLOG=1 -D_GLIBCXX_USE_CXX11_ABI=0")
set(xpu_runtime_libs xpu_sdk_xtcl xpu_sdk_tvm xpu_sdk_xpu_api xpu_sdk_xpu_rt xpu_sdk_xpu_jitc xpu_sdk_llvm CACHE INTERNAL "xpu runtime libs")
set(xpu_builder_libs xpu_sdk_xtcl xpu_sdk_tvm xpu_sdk_xpu_api xpu_sdk_xpu_rt xpu_sdk_xpu_jitc xpu_sdk_llvm CACHE INTERNAL "xpu builder libs")
docs/Makefile 0 → 100644
浏览文件 @ e3afddc5
# Minimal makefile for Sphinx documentation
#
# You can set these variables from the command line.
SPHINXOPTS =
SPHINXBUILD = sphinx-build
SOURCEDIR = .
BUILDDIR = _build
# Put it first so that "make" without argument is like "make help".
help:
@$(SPHINXBUILD) -M help "$(SOURCEDIR)" "$(BUILDDIR)" $(SPHINXOPTS) $(O)
.PHONY: help Makefile
# Catch-all target: route all unknown targets to Sphinx using the new
# "make mode" option. $(O) is meant as a shortcut for $(SPHINXOPTS).
%: Makefile
@$(SPHINXBUILD) -M $@ "$(SOURCEDIR)" "$(BUILDDIR)" $(SPHINXOPTS) $(O)
\ No newline at end of file
docs/README.md 0 → 100644
浏览文件 @ e3afddc5
请参考[PaddleLite文档开发规范](http://agroup.baidu.com/paddle-infer/md/article/2561104)。
docs/advanced_user_guides/add_layout.md 0 → 100644
浏览文件 @ e3afddc5
# 如何增加Layout
Paddle-Lite中Place包含了Target、Layout、Precision信息，用来注册和选择模型中的具体Kernel。下面以增加Place中的layout：`ImageDefault`、`ImageFolder`、`ImageNW`为例，讲解如何增加新Layout。
根据在`lite/core/`、`lite/api`目录下以`NHWC`为关键词检索代码，发现需要分别在以下的文件中加入Layout内容：
1. lite/api/paddle_place.h
2. lite/api/paddle_place.cc
3. lite/api/python/pybind/pybind.cc
4. lite/core/op_registry.h
5. lite/core/op_registry.cc
## 1. lite/api/paddle_place.h
在`enum class DataLayoutType`中加入对应的Layout，注意已有的Layout不能改变值，增加新Layout递增即可：
```cpp
enum class DataLayoutType : int {
kUnk = 0,
kNCHW = 1,
kNHWC = 3,
kImageDefault = 4, // for opencl image2d
kImageFolder = 5, // for opencl image2d
kImageNW = 6, // for opencl image2d
kAny = 2, // any data layout
NUM = 7, // number of fields.
};
```
## 2. lite/api/paddle_place.cc
本文件有3处修改，注意在` DataLayoutToStr`函数中加入对应Layout的字符串名，顺序为`lite/api/paddle_place.h`中枚举值的顺序：
```cpp
// 该文件第1处
const std::string& DataLayoutToStr(DataLayoutType layout) {
static const std::string datalayout2string[] = {
"unk", "NCHW", "any", "NHWC", "ImageDefault", "ImageFolder", "ImageNW"};
auto x = static_cast<int>(layout);
CHECK_LT(x, static_cast<int>(DATALAYOUT(NUM)));
return datalayout2string[x];
}
// 该文件第2处
const std::string& DataLayoutRepr(DataLayoutType layout) {
static const std::string datalayout2string[] = {"kUnk",
"kNCHW",
"kAny",
"kNHWC",
"kImageDefault",
"kImageFolder",
"kImageNW"};
auto x = static_cast<int>(layout);
CHECK_LT(x, static_cast<int>(DATALAYOUT(NUM)));
return datalayout2string[x];
}
// 该文件第3处
std::set<DataLayoutType> ExpandValidLayouts(DataLayoutType layout) {
static const std::set<DataLayoutType> valid_set({DATALAYOUT(kNCHW),
DATALAYOUT(kAny),
DATALAYOUT(kNHWC),
DATALAYOUT(kImageDefault),
DATALAYOUT(kImageFolder),
DATALAYOUT(kImageNW)});
if (layout == DATALAYOUT(kAny)) {
return valid_set;
}
return std::set<DataLayoutType>({layout});
}
```
## 3. lite/api/python/pybind/pybind.cc
```cpp
// DataLayoutType
py::enum_<DataLayoutType>(*m, "DataLayoutType")
.value("NCHW", DataLayoutType::kNCHW)
.value("NHWC", DataLayoutType::kNHWC)
.value("ImageDefault", DataLayoutType::kImageDefault)
.value("ImageFolder", DataLayoutType::kImageFolder)
.value("ImageNW", DataLayoutType::kImageNW)
.value("Any", DataLayoutType::kAny);
```
## 4. lite/core/op_registry.h
找到KernelRegister final中的`using any_kernel_registor_t =`，加入下面修改信息：
```cpp
// 找到KernelRegister final中的`using any_kernel_registor_t =`
// 加入如下内容：
KernelRegistryForTarget<TARGET(kOpenCL),
PRECISION(kFP16),
DATALAYOUT(kNCHW)> *, //
KernelRegistryForTarget<TARGET(kOpenCL),
PRECISION(kFP16),
DATALAYOUT(kNHWC)> *, //
KernelRegistryForTarget<TARGET(kOpenCL),
PRECISION(kFP16),
DATALAYOUT(kImageDefault)> *, //
KernelRegistryForTarget<TARGET(kOpenCL),
PRECISION(kFP16),
DATALAYOUT(kImageFolder)> *, //
KernelRegistryForTarget<TARGET(kOpenCL),
PRECISION(kFP16),
DATALAYOUT(kImageNW)> *, //
KernelRegistryForTarget<TARGET(kOpenCL),
PRECISION(kFloat),
DATALAYOUT(kImageDefault)> *, //
KernelRegistryForTarget<TARGET(kOpenCL),
PRECISION(kFloat),
DATALAYOUT(kImageFolder)> *, //
KernelRegistryForTarget<TARGET(kOpenCL),
PRECISION(kFloat),
DATALAYOUT(kImageNW)> *, //
KernelRegistryForTarget<TARGET(kOpenCL),
PRECISION(kAny),
DATALAYOUT(kImageDefault)> *, //
KernelRegistryForTarget<TARGET(kOpenCL),
PRECISION(kAny),
DATALAYOUT(kImageFolder)> *, //
KernelRegistryForTarget<TARGET(kOpenCL),
PRECISION(kAny),
DATALAYOUT(kImageNW)> *, //
```
## 5. lite/core/op_registry.cc
该文件有2处修改：
```cpp
// 该文件第1处
#define CREATE_KERNEL1(target__, precision__) \
switch (layout) { \
case DATALAYOUT(kNCHW): \
return Create<TARGET(target__), \
PRECISION(precision__), \
DATALAYOUT(kNCHW)>(op_type); \
case DATALAYOUT(kAny): \
return Create<TARGET(target__), \
PRECISION(precision__), \
DATALAYOUT(kAny)>(op_type); \
case DATALAYOUT(kNHWC): \
return Create<TARGET(target__), \
PRECISION(precision__), \
DATALAYOUT(kNHWC)>(op_type); \
case DATALAYOUT(kImageDefault): \
return Create<TARGET(target__), \
PRECISION(precision__), \
DATALAYOUT(kImageDefault)>(op_type); \
case DATALAYOUT(kImageFolder): \
return Create<TARGET(target__), \
PRECISION(precision__), \
DATALAYOUT(kImageFolder)>(op_type); \
case DATALAYOUT(kImageNW): \
return Create<TARGET(target__), \
PRECISION(precision__), \
DATALAYOUT(kImageNW)>(op_type); \
default: \
LOG(FATAL) << "unsupported kernel layout " << DataLayoutToStr(layout); \
}
// 该文件第2处
// 找到文件中的下面的函数
KernelRegistry::KernelRegistry()
: registries_(static_cast<int>(TARGET(NUM)) *
static_cast<int>(PRECISION(NUM)) *
static_cast<int>(DATALAYOUT(NUM)))
// 在该函数中加入新增Layout的下面内容
INIT_FOR(kOpenCL, kFP16, kNCHW);
INIT_FOR(kOpenCL, kFP16, kNHWC);
INIT_FOR(kOpenCL, kFP16, kImageDefault);
INIT_FOR(kOpenCL, kFP16, kImageFolder);
INIT_FOR(kOpenCL, kFP16, kImageNW);
INIT_FOR(kOpenCL, kFloat, kImageDefault);
INIT_FOR(kOpenCL, kFloat, kImageFolder);
INIT_FOR(kOpenCL, kFloat, kImageNW);
INIT_FOR(kOpenCL, kAny, kImageDefault);
INIT_FOR(kOpenCL, kAny, kImageFolder);
INIT_FOR(kOpenCL, kAny, kImageNW);
```
docs/advanced_user_guides/add_new_pass.md 0 → 100644
浏览文件 @ e3afddc5
# 新增Pass方法
本文从三个方面介绍了`Lite`中的`Pass`结构：**Pass是什么**、**Pass的实现与接口**、**Pass的一般注册流程**。最后以`Fc_fuse_pass`为例介绍了`fusion_pass`的作用与注册方法。
## 前述：Pass是什么？
**CxxPredictor加载模型后，在执行预测前会先优化模型。模型优化过程是通过Pass实现的。**
具体调用关系如下：
![图片](https://user-images.githubusercontent.com/45189361/69638690-20d21880-1096-11ea-8169-1d2c7e1a1609.png)
- `CreatePredictor(CxxConfig)`函数调用了Predictor->Build(CxxConfig)
- CxxPredictor的构建过程（Build）分为两步：
- Predictor->LoadModel() 加载模型文件到program中
- Predicotr->optimizer_.Run() 对Program中的原始图形结构进行优化
- 对图结构的优化是通过调用 `Pass->Apply(const std::unique_ptr<SSAGraph>& graph)`方法实现的。
**每一类Pass定义了一种优化过程**，包括：原模型中的kernel选取、OP融合、冗余OP去除、子图创建、内存优化、类型推导、类型转换等。
## Pass的实现与接口 ：Pass基类、PassManager和Pass注册
### 1、Pass基类：`paddle::lite::mir::Pass`
```c++
class Pass {
public:
// Pass的类型，Pass按照作用的不同可以分为三种
enum class Kind { //种类的作用不太清楚
// 1. 修改模型中的图拓扑结构的Pass
kProgramWise = 0,
// 2. 不修改图结构，修改状态的Pass
kStmtWise,
// 3. 不修改 IR，用于搜集信息和可视化信息的Pass.
kDebug,
};
// 主要实现函数：Apply 函数定义了 Pass 运行时执行的操作
virtual void Apply(const std::unique_ptr<SSAGraph>& graph) = 0;
bool is_program_pass() const { return kind_ == Kind::kProgramWise; }
bool is_stmt_pass() const { return kind_ == Kind::kStmtWise; }
virtual ~Pass() = default;
private:
const Kind kind_; // pass 的种类
std::string name_; // pass 的名称
std::set<TargetType> bound_targets_; // 指定了Pass运行的硬件平台，模型优化过程会根据当前硬件平台是否匹配筛选Pass。
std::unordered_map<std::string, std::set<lite_api::Place>> bound_kernels_; // 绑定的kernel
};
// Different kinds.
class ProgramPass : public Pass {
public:
ProgramPass() : Pass(Kind::kProgramWise) {}
};
class StmtPass : public Pass {
public:
StmtPass() : Pass(Kind::kStmtWise) {}
};
class DebugPass : public Pass {
public:
DebugPass() : Pass(Kind::kDebug) {}
};
```
**代码位置**：`lite/core/mir/pass.h`
**主要类成员**：
`const Kind kind_` : Pass类型。pass 有三种基本基本类型 ：修改图结构的`ProgramPass`、修改状态量的`StmtPass`和Debug过程采集信息与控制可视化的`DebugPass`。
`std::string name_` ：pass 的名称
`std::set<TargetType> bound_targets_` : Pass运行的硬件平台，optimizer.Run()优化过程会根据硬件平台选择匹配的Pass。------根据硬件平台自动选择需要的pass
`std::unordered_map<std::string, std::set<lite_api::Place>> bound_kernels_` : Pass 绑定的kernel (what's this used for)
**主要接口**：
`Pass::Apply(const std::unique_ptr& graph)` : Pass优化过程的具体操作，是新注册Pass需要实现的接口。输入为`SSAGraph`型指针，是对模型结构的拓扑表示。
### 2、Pass管理 `paddle::lite::mir::PassManager`
```c++
class PassManager {
public:
// 内部静态变量PassManager，用来存储使用的Pass和图优化操作
static PassManager& Global() {
static PassManager x;
return x;
}
// 执行所有的 Pass
void Run(const std::unique_ptr<SSAGraph>& graph) {
for (auto& pass : passes_) {
LOG(INFO) << "Running MIR pass " << pass->name();
pass->Apply(graph);
}
private:
std::list<std::unique_ptr> passes_; //存储所有的 Pass
std::map<std::string, mir::Pass*> pass_map_; //使用map变量存储 PassName::Pass
}
```
**代码位置**：`lite/core/mir/pass_manager.h`
**主要类成员**：
`std::list:unique_ptr> passes_;` : List类型，存储了所有已注册Pass。
`std::map<std::string, mir::Pass*> pass_map_; ` : Map类型，存储了所有"Pass名称-Pass类"键对，用于根据名称查找Pass。
**主要接口**：
`static PassManager& Global()` 返回PassManager全局静态变量,该变量存储了所有已注册的Pass
` bool AddNewPass(const std::string& name, Pass* pass)` 添加新的Pass到PassManager中
### 3、 Pass 注册 `paddle::lite::mir::PassRegistry`
**代码位置**：`lite/core/mir/pass_registry.h`
**主要接口**：
`REGISTER_MIR_PASS(name__, class__)` ：宏定义函数，用于注册Pass。注册Pass过程实现的是 `PassManager::Global().AddNewPass(name__, class__)`，将新注册Pass添加到全局变量`PassManager`中。
## Pass的一般注册流程与使用方法
### 1. Pass 注册流程
在`lite/core/mir`或其子目录下继承`Pass基类`，实现`Pass::Apply`接口，并使用宏`REGISTER_MIR_PASS(name__, class__)`将Pass注册到`PassManager`即完成了新Pass注册。
**以新建 **`new_demo_pass`**为例**，具体流程如下：
（1）在`lite/core/mir`路径下新建`example_pass.cc` 和 `new_demo_pass.h` 文件
（2）在`example_pass.h` 文件中继承Pass基类（ProgramPass、StmtPass或DebugPass）定义自己的Pass类。
```c++
#include "lite/core/mir/pass.h"
namespace paddle {
namespace lite {
namespace mir {
class ExamplePass : public ProgramPass {
void Apply(const std::unique_ptr<SSAGraph> &graph) override {}
...
};
} // namespace mir
} // namespace lite
} // namespace paddle
```
（3）在`example_pass.cc` 文件中实现`ExamplePass::Apply()`接口，并注册`ExamplePass`
```c++
#include "lite/core/mir/pass_registry.h"
#include "lite/core/mir/example_pass.h"
namespace paddle {
namespace lite {
namespace mir {
void ExamplePass::Apply(const std::unique_ptr<SSAGraph>& graph) {
...
}
} // namespace mir
} // namespace lite
} // namespace paddle
REGISTER_MIR_PASS(example_pass, paddle::lite::mir::ExamplePass)
.BindTargets({TARGET(kARM)}); // Pass执行的目标硬件平台
// .BindKernel("conv2d"); //Pass绑定的 kernel
```
（4）修改`lite/core/mir/CMakeLists.txt`文件，将`example_pass.cc` 编译到`mir_passes`库中
```cmake
lite_cc_library(mir_passes
SRCS
demo_pass.cc // 新建的Pass文件
...
memory_optimize_pass.cc
DEPS mir_pass types context ${mir_fusers} ${subgraph_passes})
```
### 2. Pass使用流程
将Pass注册到PassManager后不会自动生效。需要在`optimizer->run()` 函数中添加该Pass才会在模型优化过程中调用。
（1）在`paddle_use_passes.h`文件中调用该Pass
```cmake
#include "paddle_lite_factory_helper.h" // NOLINT
...
USE_MIR_PASS(new_demo_pass); //调用 new_demo_pass
```
（2）要想在优化模型时调用该Pass，需要在`optimizer->run()`函数中手动添加调用。
修改`lite/core/optimizer.h`文件，添加`new_demo_pass`到`Optimizer::Run()`函数；
```c++
class Optimizer {
public:
void Run(...) {
...
if (passes.empty()) {
RunPasses(std::vector<std::string>{
{"new_demo_pass" //将新注册的Pass添加在这里
...
}
...
}
```
（3）只有CxxPredictor才会在模型加载后根据Pass优化模型。
```c++
...
#include "paddle_use_passes.h" // 引用Pass优化模型
void RunModel() {
// 1. 创建 CxxConfig
CxxConfig config;
config.set_model_dir(FLAGS_model_dir);
config.set_valid_places(Place{TARGET(kARM), PRECISION(kFloat)});
// 2. 创建CxxPredictor,该过程包括加载模型和用Pass优化模型
std::shared_ptr> predictor =
Creat<CxxConfig>(config);
}
```
## Fusion Pass的定义与注册
`Fusion Pass`是一种常见图结构优化Pass，可将多个连续OP融合成单个等效OP，减少数据交换并简化图结构。Pass运行时调用`Fuser`自动查找并替换指定图结构，所以注册`FuserPass`时还需要实现对应的Fuser类。
下面以`fc_fuse_pass`为例，详细说明`FusionPass`的效果和注册方法。
### `fc_fuse_pass`的作用
将相邻的`mul`算子和 `element_wise add `算子 融合成一个 `FC` 算子
```c++
mul(X) = X * W
elementwise_add( mul(x) ) = X * W + Bias
//----------> after fusion
FC(X) = X * W +Bias
```
Pass 运行效果如下：
![图片](https://user-images.githubusercontent.com/45189361/69639193-12383100-1097-11ea-9063-21f030414080.png)
mul和elementwise_add的原有参数映射到FC的参数上：
![图片](https://user-images.githubusercontent.com/45189361/69638836-74446680-1096-11ea-9cdc-a961fa995dfe.png)
### `fc_fuse_pass`的注册方法
#### 1、创建FcFuser
（1）在`lite/core/mir/fusion`路径下新建`fc_fuser.cc` 和 `fc_fuser.h` 文件
（2）在`fc_fuser.h` 文件中继承`FuseBase`定义自己的Fuser类。
```c++
#include "lite/core/mir/pattern_matcher_high_api.h"
namespace paddle {
namespace lite {
namespace mir {
namespace fusion {
class FcFuser : public FuseBase {
public:
void BuildPattern() override;
void InsertNewNode(SSAGraph* graph, const key2nodes_t& matched) override;
private:
cpp::OpDesc GenOpDesc(const key2nodes_t& matched) override;
};
} // namespace fusion
} // namespace mir
} // namespace lite
} // namespace paddle
```
**主要接口**：
`FuseBase::BuildPattern` ： 描述需要替换位置的图结构（pattern），Fuser运行时会自动查找并替换该pattern。
`FuseBase::GenOpDesc` ： 创建融合后的等效Fused_op。
`FuseBase::InsertNewNode` ：用Fused_op替换原始图结构（pattern）。
对于 `FcFuser`：BuildPattern描述的Pattern是`mul+elementwise add`，GenOpDesc创建的FC_op，InsertNewNode函数的效果是用新建的`FC_op`替换模型中的`mul+elementwise add` pattern。
（3） 在`fc_fuser.cc`文件中实现 `BuildPattern()` 、`GenOpDesc()`、`InsertNewNode() `接口
下面以FcFuser为例介绍三种接口的实现：
```c++
// 1. BuildPattern函数，描述需要替换的图结构
// FcFuser::BuildPattern() 描述了 mul + element_wise add 图结构
void FcFuser::BuildPattern() {
// （1） 用OpNode描述和VarNode
// mul OP
auto* mul = OpNode("mul", "mul");
// mul OP 的输入和输出
auto* x = VarNode("x")->assert_is_op_input("mul", "X");
auto* W = VarNode("W")->assert_is_op_input("mul", "Y");
auto* mul_out = VarNode("mul_out");
// elementwise_add OP
auto* add = OpNode("add", "elementwise_add");
//elementwise_add 的输入
auto* b = VarNode("b")->assert_is_persistable_var();
// elementwise_add OP的输出（最终输出）
auto* Out = VarNode("Out");
//（2） 描述拓扑连接 （Fuse之前mul 和elementwise_add的连接）
std::vector<PMNode*> mul_inputs{W, x};
std::vector<PMNode*> add_inputs{mul_out, b};
mul_inputs >> *mul >> *mul_out;
add_inputs >> *add >> *Out;
//（3） 声明新的拓扑结构中将会被移除的节点，包括被fuse的OP和OP之间的中间变量
mul_out->AsIntermediate();
mul->AsIntermediate();
add->AsIntermediate();
}
// 2. GenOpDesc函数新建等效 Fused_op
// FcFuser::GenOpDesc() 新建了Fc_op
cpp::OpDesc FcFuser::GenOpDesc(const key2nodes_t& matched) {
// (1) 得到第一个OP节点的 OpDesc ，并清空输入输出信息
cpp::OpDesc op_desc = *matched.at("mul")->stmt()->op_info();
op_desc.mutable_inputs()->clear();
op_desc.mutable_outputs()->clear();
// (2) 修改OpDesc , 将OpType设置为 "fc" (FC OP 的OP_type)，
op_desc.SetType("fc");
// (3) 设置OpDesc中的Input、Output、Attrbute。分别连接到BuildPattern（）函数中创建的VarNode
op_desc.SetInput("Input", {matched.at("x")->arg()->name});
op_desc.SetInput("W", {matched.at("W")->arg()->name});
op_desc.SetInput("Bias", {matched.at("b")->arg()->name});
op_desc.SetOutput("Out", {matched.at("Out")->arg()->name});
op_desc.SetAttr(
"in_num_col_dims",
matched.at("mul")->stmt()->op_info()->GetAttr<int>("x_num_col_dims"));
return op_desc;
}
// 3. InsertNewNode函数用Fused OP 替换模型图中的原始 Pattern
// FcFuser::InsertNewNode() 用Fc_OP替换原始模型图中的 " mul + element_wise add "
void FcFuser::InsertNewNode(SSAGraph* graph, const key2nodes_t& matched) {
// (1) 创建FC OP的参数（OpDesc）
auto op_desc = GenOpDesc(matched);
// 创建一个 FC OP
auto fc_op = LiteOpRegistry::Global().Create("fc");
// 找到原拓扑结构中的scope (作用域)和 valid_places （可支持设备类型）
auto mul = matched.at("mul")->stmt()->op();
auto* scope = mul->scope();
auto& valid_places = mul->valid_places();
// (2) 将 FC OP的 scope和 valid_places设置与fuse前相同，并在图中创建该节点（node）
fc_op->Attach(op_desc, scope);
auto* new_op_node = graph->GraphCreateInstructNode(fc_op, valid_places);
// (3) 将FC节点连接到输入输出（var_node）
IR_NODE_LINK_TO(matched.at("W"), new_op_node);
IR_NODE_LINK_TO(matched.at("x"), new_op_node);
IR_NODE_LINK_TO(matched.at("b"), new_op_node);
IR_NODE_LINK_TO(new_op_node, matched.at("Out"));
}
```
#### 2、注册fc_fuse_pass
（1）在`lite/core/mir/fusion`路径下新建`fc_fuse_pass.cc` 和 `fc_fuse_pass.h` 文件
（2）在`fc_fuse_pass.h` 文件中，继承`ProgramPass`定义`FcFusePass`。
```c++
#include "lite/core/mir/pass.h"
namespace paddle {
namespace lite {
namespace mir {
class FcFusePass : public ProgramPass {
public:
void Apply(const std::unique_ptr<SSAGraph>& graph) override; namespace mir namespace lite namespace paddle
```
（3）在`fc_fuse_pass.cc` 文件中实现`FcFusePass::Apply()`接口，并注册`FcFusePass`
```c++
#include "lite/core/mir/pass_registry.h"
#include "lite/core/mir/example_pass.h"
namespace paddle {
namespace lite {
namespace mir {
void FcFusePass::Apply(const std::unique_ptr<SSAGraph>& graph) {
fusion::FcFuser fuser;
fuser(graph.get());namespace mir
} // namespace lite
} // namespace paddle
REGISTER_MIR_PASS(lite_fc_fuse_pass, paddle::lite::mir::FcFusePass)
.BindTargets({TARGET(kAny)}) // FcFusePass 可以在任何硬件平台执行
.BindKernel("fc"); // FcFusePass 绑定 fc_kernel
```
（4）修改`lite/core/mir/fusion/CMakeLists.txt`文件，将`fc_fuser.cc` 编译到`mir_fusers`库
```cmake
lite_cc_library(fuse_fc
SRCS fc_fuser.cc
DEPS pattern_matcher_high_api)
set(mir_fusers
fuse_fc
...
CACHE INTERNAL "fusers")
```
（5）修改`lite/core/mir/CMakeLists.txt`文件，将`fc_fuse_pass.cc` 编译到`mir_pass`库
```cmake
lite_cc_library(mir_passes
SRCS
fusion/fc_fuse_pass.cc
...
DEPS mir_pass types context ${mir_fusers} ${subgraph_passes})
```
#### 3、使用 fc_fuse_pass
（1） `lite/api/paddle_use_passes.h`使用`USE_LITE_PASS`宏来引入新加入的pass
```c++
USE_MIR_PASS(lite_fc_fuse_pass);
```
（2） 在`lite/core/optimizer.h`文件的`Optimizer::Run()`函数中添加新注册的pass
```C++
class Optimizer {
public:
void Run(Program&& program,
const std::vector<Place>& valid_places,
core::KernelPickFactor kernel_pick_factor,
const std::vector<std::string>& passes = {}) {
...
if (passes.empty()) {
RunPasses(std::vector<std::string>{
{"lite_fc_fuse_pass", // the newly registered pass
...
"argument_type_display_pass"}});
} else {
RunPasses(passes);
}
exec_scope_ = program.exec_scope();
}
```
（3） 以上修改完成后，在CreatePredictor（CxxConfig）创建CxxPredictor时，模型优化过程会调用`lite_fc_fuse_pass `，扫描`mul + element_wise add`结构并替换为等效的Fc_OP。
docs/advanced_user_guides/add_operation.md 0 → 100644
浏览文件 @ e3afddc5
# 新增OP的方法
以下以添加argmax为例，详细说明新增op的方法。
## 1. 添加OpParam 结构体以传导 Op 的输入和输出
- 这里命名为 `ArgmaxParam`
- 在 `paddlelite/lite/operators/op_params.h` 中添加 `ArgmaxParam` 结构体，代码如下：
```c++
struct ArgmaxParam {
lite::Tensor* X{};
lite::Tensor* Out{};
int Axis{0};
};
```
## 2. 添加 Argmax Op 并注册
- 在paddlelite/lite/operators/目录下新建argmax_op.h文件，主要代码如下：
```c++
class ArgmaxOpLite : public OpLite {
public:
ArgmaxOpLite() {}
explicit ArgmaxOpLite(const std::string &op_type) : OpLite(op_type) {}
bool CheckShape() const override;
bool InferShape() const override;
bool AttachImpl(const cpp::OpDesc &opdesc, lite::Scope *scope) override;
void AttachKernel(KernelBase *kernel) override { kernel->SetParam(param_); }
std::string DebugString() const override { return "argmax"; }
private:
mutable ArgmaxParam param_;
};
```
`ArgmaxOpLite` 继承 `OpLite` ，成员变量包括 `ArgmaxParam` 结构体，需要实现的接口包括 `CheckShape()` 、`InferShape()` 、`AttachImp()` 、`AttachKernel()` 和 `DebugString()` 函数。`AttachKernel()` 和 `DebugString() `函数较为简单，此处直接实现；
- 在 `paddlelite/lite/operators/` 目录下新建argmax_op.cc文件，需要具体实现`CheckShape()`、`InferShape()`和`AttachImp()`函数。`CheckShape()`函数检查输入是否符合要求，`InferShape()`函数基于输入推断得到输出的维度，`AttachImp()`函数绑定Op的输入输出。然后在argmax_op.cc文件中注册argmax，核心代码如下：
```c++
bool ArgmaxOpLite::CheckShape() const {
CHECK_OR_FALSE(param_.X);
CHECK_OR_FALSE(param_.Out);
CHECK_OR_FALSE(param_.Axis < (param_.X)->dims().size());
return true;
}
bool ArgmaxOpLite::InferShape() const {
auto x_dims = param_.X->dims();
int x_rank = x_dims.size();
int axis = param_.Axis;
if (axis < 0) axis += x_rank;
std::vector<int64_t> out_dims;
for (int64_t i = 0; i < axis; i++) {
out_dims.push_back(x_dims[i]);
}
for (int64_t i = axis + 1; i < x_rank; i++) {
out_dims.push_back(x_dims[i]);
}
// Set output dims
param_.Out->Resize(lite::DDim(out_dims));
return true;
}
bool ArgmaxOpLite::AttachImpl(const cpp::OpDesc &op_desc, lite::Scope *scope) {
auto x = op_desc.Input("X").front();
auto out = op_desc.Output("Out").front();
param_.X = scope->FindVar(x)->GetMutable<lite::Tensor>();
param_.Out = scope->FindVar(out)->GetMutable<lite::Tensor>();
param_.Axis = op_desc.GetAttr<int>("Axis");
return true;
}
REGISTER_LITE_OP(argmax, paddle::lite::operators::ArgmaxOpLite);
```
- 在paddlelite/lite/operators/CMakeLists.txt中添加```add_operator(argmax_op basic SRCS argmax_op.cc DEPS ${op_DEPS})```
## 3. 添加Argmax Kernel并绑定
以下以arm端argmax实现为例说明
- 在paddlelite/lite/kernels/arm/目录下新建argmax_compute.h文件，声明ArgmaxCompute类，并继承KernelLite，主要代码如下：
```c++
class ArgmaxCompute : public KernelLite<TARGET(kARM), PRECISION(kFloat)> {
public:
using param_t = operators::ArgmaxParam;
void Run() override;
virtual ~ArgmaxCompute() = default;
};
```
- 在paddlelite/lite/kernels/arm/目录下新建argmax_compute.cc文件，主要实现Run函数。`Run()`函数调用paddlelite/lite/bachends/arm/math/argmax.h中的`argmax_func()`函数，根据输入计算输出。最后在argmax_compute.cc文件中，我们绑定argmax的输入输出（为tensor的输入参数都需要绑定），代码如下：
```c++
void ArgmaxCompute::Run() {
auto& param = Param<operators::ArgmaxParam>();
lite::Tensor* input = param.X;
lite::Tensor* output = param.Out;
int axis = param.Axis;
lite::arm::math::argmax_func(input, axis, output);
return;
}
REGISTER_LITE_KERNEL(
argmax, kARM, kFloat, kNCHW, paddle::lite::kernels::arm::ArgmaxCompute, def)
.BindInput("X", {LiteType::GetTensorTy(TARGET(kARM))})
.BindOutput("Out", {LiteType::GetTensorTy(TARGET(kARM))})
.Finalize();
```
- 在paddlelite/lite/kernels/arm/CMakeLists.txt中添加
```cmake
add_kernel(argmax_compute_arm ARM basic SRCS argmax_compute.cc DEPS ${lite_kernel_deps} math_arm)
```
## 4. 添加Argmax实现
- 在paddlelite/lite/backends/arm/math/目录下新建argmax.h文件，声明`argmax_func()`函数，代码如下：
```c++
void argmax_func(const lite::Tensor* input, const int axis, lite::Tensor* output);
```
- 在paddlelite/lite/backends/arm/math/目录下新建argmax.cc文件，具体实现`argmax_func()`函数，代码如下：
```c++
void argmax_func(const lite::Tensor *input,
const int axis,
lite::Tensor *output) {
auto input_ddim = input->dims();
auto output_ddim = output->dims();
const int size = input_ddim[axis];
const int in_channel = input_ddim.count(axis, input_ddim.size());
const int out_channel = output_ddim.count(axis, output_ddim.size());
const int in_stride = input_ddim.count(axis + 1, input_ddim.size());
const int out_stride = input_ddim.count(0, axis);
for (int n = 0; n < out_stride; n++) {
for (int k = 0; k < in_stride; k++) {
const float *in_ptr = input->data<float>() + n * in_channel + k;
std::vector<std::pair<float, int>> vec;
vec.resize(size);
for (int i = 0; i < size; i++) {
vec[i] = std::make_pair(in_ptr[i * in_stride], i);
}
// sort
std::partial_sort(vec.begin(),
vec.begin() + 1,
vec.end(),
std::greater<std::pair<float, int>>());
// out
float *out_ptr = output->mutable_data<float>() + n * out_channel + k;
*out_ptr = vec[0].second;
}
}
}
```
- 在paddlelite/lite/backends/arm/math/CMakeFile.txt中的```math_arm library```中添加argmax.cc，在paddlelite/lite/backends/arm/math/funcs.h中添加```#include "lite/arm/math/argmax.h"```
## 5. 添加Argmax单测
- 在paddlelite/lite/tests/kernels目录下新建argmax_compute_test.cc文件，声明并实现ArgmaxComputeTester类；
- ArgmaxComputeTester类中主要包括PrepareOpDesc、PrepareData和RunBaseline函数。PrepareOpDesc函数设定单测op的类型和输入输出参数，PrepareData函数对输入tensor进行初始化，RunBaseline是基于输入计算得到输出，用于和框架计算的输出进行对比；
- 使用gtest添加单测，代码如下：
```c++
TEST(Argmax, precision) {
#ifdef LITE_WITH_ARM
LOG(INFO) << "test argmax arm";
Place place(TARGET(kARM));
for (int axis : {0, 1, 2, 3}) {
for (int n : {1, 3}) {
for (int c : {3, 6}) {
for (int h : {9, 18}) {
for (int w : {9, 18}) {
std::unique_ptr<arena::TestCase> tester(
new ArgmaxComputeTester(place, "def", axis, n, c, h, w));
arena::Arena arena(std::move(tester), place, 2e-5);
arena.TestPrecision();
}
}
}
}
}
#endif
}
```
- 在paddlelite/lite/tests/kernels/CMakeLists.txt中添加
```cmake
lite_cc_test(test_kernel_argmax_compute SRCS argmax_compute_test.cc DEPS arena_framework ${x86_kernels} ${arm_kernels} ${lite_ops} ${host_kernels})
```
## 6. 编译运行
- 在paddlelite目录中，执行```./lite/tools/ci_build.sh build_test_arm```，该脚本会创建手机模拟器，并编译运行所有单测（花费时间较久）。如果运行无误，则表明添加argmax成功。
docs/advanced_user_guides/model_quantization.md 0 → 100644
浏览文件 @ e3afddc5
# 模型量化
本文主要介绍使用Paddle-Lite加载PaddlePaddle产出的量化模型，并进行推理执行。我们以MobileNetV1模型为示例，首先介绍准备量化模型，然后介绍部署执行。
## 准备量化模型
PaddlePaddle使用量化训练和训练后量化两种方法将FP32模型量化成Int8模型，下面分别介绍两种方法如何产出量化模型。
### 量化训练
目前，PaddlePaddle框架的量化训练主要针对卷积层（包括二维卷积和Depthwise卷积）、和全连接层，对应算子是conv2d、depthwise_conv2d和mul，更多量化训练的原理请参考[文档](https://github.com/PaddlePaddle/models/blob/develop/PaddleSlim/docs/tutorial.md#1-quantization-aware-training%E9%87%8F%E5%8C%96%E4%BB%8B%E7%BB%8D)。Paddle-Lite支持运行PaddlePaddle框架量化训练产出的模型，可以进一步加快模型在移动端的执行速度。
温馨提示：如果您是初次接触PaddlePaddle框架，建议首先学习[新人入门](https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/beginners_guide/index_cn.html)和[使用指南](https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/user_guides/index_cn.html)。
您可以选择下载训练好的量化模型，或者使用PaddleSlim模型压缩工具训练得到量化模型。
#### 下载量化模型
官方发布了[MobileNetV1量化模型](https://paddle-inference-dist.bj.bcebos.com/int8%2Fpretrain%2Fmobilenet_v1_quant%2Ffloat.zip)，直接下载到本地。
```bash
wget https://paddle-inference-dist.bj.bcebos.com/int8%2Fpretrain%2Fmobilenet_v1_quant%2Ffloat.zip
```
#### 使用PaddleSlim模型压缩工具训练量化模型
##### 安装PaddlePaddle
根据操作系统、安装方式、Python版本和CUDA版本，按照[官方说明](https://paddlepaddle.org.cn/start)安装PaddlePaddle。例如：
Ubuntu 16.04.4 LTS操作系统，CUDA9，cuDNN7，GPU版本安装:
```bash
pip install paddlepaddle-gpu==1.6.0.post97 -i https://mirrors.aliyun.com/pypi/simple/
```
Ubuntu 16.04.4 LTS操作系统，CPU版本安装:
```bash
pip install paddlepaddle==1.6.0 -i https://mirrors.aliyun.com/pypi/simple/
```
##### 克隆量化训练所需的代码库
克隆[PaddlePaddle/models](https://github.com/PaddlePaddle/models)到本地，并进入models/PaddleSlim路径。
```bash
git clone https://github.com/PaddlePaddle/models.git
cd models/PaddleSlim
```
##### 数据准备
###### 训练数据准备
参考[models/PaddleCV/image_classification](https://github.com/PaddlePaddle/models/tree/develop/PaddleCV/image_classification#data-preparation)中的数据准备教程，下载训练数据，并且保存到PaddleSlim/data路径下。
###### 预训练模型准备
参考/models/PaddleSlim/run.sh脚本， 从[models/PaddleCV/image_classification](https://github.com/PaddlePaddle/models/tree/develop/fluid/PaddleCV/image_classification#supported-models-and-performances)下载MobileNetV1的预训练模型，并保存到PaddleSlim/pretrain路径下。
经过以上三步，PaddleSlim目录下的文件结构如下所示：
```bash
.
├── compress.py # 模型压缩任务主脚本，定义了压缩任务需要的模型相关信息
├── configs # 压缩任务的配置文件，包括:蒸馏、int8量化量化、filter剪切和组合策略的配置文件
├── data # 存放训练数据（需要用户自己创建）
│   └── ILSVRC2012
├── pretrain # 存放预训练模型参数，执行run.sh自动生成
│   ├── MobileNetV1_pretrained
│   ├── MobileNetV1_pretrained.tar
│   ├── ResNet50_pretrained
│   └── ResNet50_pretrained.tar
├── docs # 文档目录
├── light_nas
├── models # 模型网络结构的定义，如MobileNetV1
├── quant_low_level_api # 量化训练的底层API, 用于灵活定制量化训练的过程，适用于高阶用户
├── reader.py # 定义数据处理逻辑
├── README.md
├── run.sh # 模型压缩任务启动脚本
└── utility.py # 定义了常用的工具方法
```
##### 压缩脚本介绍
在`compress.py`中定义了执行压缩任务需要的所有模型相关的信息，这里对几个关键的步骤进行简要介绍：
###### 目标网络的定义
compress.py的以下代码片段定义了train program, 这里train program只有前向计算操作。
```python
out = model.net(input=image, class_dim=args.class_dim)
cost = fluid.layers.cross_entropy(input=out, label=label)
avg_cost = fluid.layers.mean(x=cost)
acc_top1 = fluid.layers.accuracy(input=out, label=label, k=1)
acc_top5 = fluid.layers.accuracy(input=out, label=label, k=5)
```
然后，通过clone方法得到eval_program, 用来在压缩过程中评估模型精度，如下：
```python
val_program = fluid.default_main_program().clone()
```
定义完目标网络结构，需要对其初始化，并根据需要加载预训练模型。
###### 定义feed_list和fetch_list
对于train program, 定义train_feed_list用于指定从train data reader中取的数据feed给哪些variable。定义train_fetch_list用于指定在训练时，需要在log中展示的结果。如果需要在训练过程中在log中打印accuracy信心，则将('acc_top1', acc_top1.name)添加到train_fetch_list中即可。
```python
train_feed_list = [('image', image.name), ('label', label.name)]
train_fetch_list = [('loss', avg_cost.name)]
```
> 注意： 在train_fetch_list里必须有loss这一项。
对于eval program. 同上定义eval_feed_list和train_fetch_list:
```python
val_feed_list = [('image', image.name), ('label', label.name)]
val_fetch_list = [('acc_top1', acc_top1.name), ('acc_top5', acc_top5.name)]
```
###### Compressor和量化配置文件
`compress.py`主要使用Compressor和yaml文件完成对模型的量化训练工作。Compressor类的定义如下：
```python
class Compressor(object):
def __init__(self,
place,
scope,
train_program,
train_reader=None,
train_feed_list=None,
train_fetch_list=None,
eval_program=None,
eval_reader=None,
eval_feed_list=None,
eval_fetch_list=None,
teacher_programs=[],
checkpoint_path='./checkpoints',
train_optimizer=None,
distiller_optimizer=None):
```
在定义Compressor对象时，需要注意以下问题：
* train program如果带反向operators和优化更新相关的operators, 参数train_optimizer需要设置为None.
* eval_program中parameter的名称需要与train_program中的parameter的名称完全一致。
* 最终保存的量化模型是在eval_program网络基础上进行剪枝保存的。所以，如果用户希望最终保存的模型可以用于inference, 则eval program需要包含推理阶段需要的各种operators.
* checkpoint保存的是float数据类型的模型。
`configs/quantization.yaml`量化配置文件示例如下：
```python
version: 1.0
strategies:
quantization_strategy:
class: 'QuantizationStrategy'
start_epoch: 0
end_epoch: 9
float_model_save_path: './output/float'
mobile_model_save_path: './output/mobile'
int8_model_save_path: './output/int8'
weight_bits: 8
activation_bits: 8
weight_quantize_type: 'abs_max'
activation_quantize_type: 'moving_average_abs_max'
save_in_nodes: ['image']
save_out_nodes: ['fc_0.tmp_2']
compressor:
epoch: 10
checkpoint_path: './checkpoints_quan/'
strategies:
- quantization_strategy
```
其中，可配置参数包括：
- **class:** 量化策略的类名称，目前仅支持`QuantizationStrategy`。
- **start_epoch:** 在start_epoch开始之前，量化训练策略会往train_program和eval_program插入量化operators和反量化operators。 从start_epoch开始，进入量化训练阶段。
- **end_epoch:** 在end_epoch结束之后，会保存用户指定格式的模型。注意：end_epoch之后并不会停止量化训练，而是继续训练直到epoch数等于compressor.epoch值为止。举例来说，当start_epoch=0，end_epoch=0，compressor.epoch=2时，量化训练开始于epoch0，结束于epoch1，但保存的模型是epoch0结束时的参数状态。
- **float_model_save_path:** 保存float数据格式的模型路径，即该路径下的模型参数范围为int8范围但参数数据类型为float32。如果设置为None, 则不存储float格式的模型，默认为None。**注意：Paddle-Lite即使用该目录下的模型进行量化模型推理优化，详见本文[使用Paddle-Lite运行量化模型推理](#二使用Paddle-Lite运行量化模型推理)部分。**
- **int8_model_save_path:** 保存int8数据格式的模型路径，即该路径下的模型参数范围为int8范围且参数数据类型为int8。如果设置为None, 则不存储int8格式的模型，默认为None.
- **mobile_model_save_path:** 保存兼容paddle-mobile框架的模型路径。如果设置为None, 则不存储paddle-mobile格式的模型，默认为None。目前paddle-mobile已升级为Paddle-Lite。
- **weight_bits:** 量化weight的bit数，注意偏置(bias)参数不会被量化。
- **activation_bits:** 量化activation的bit数。
- **weight_quantize_type:** weight量化方式，目前量化训练支持`abs_max`、 `channel_wise_abs_max`。
- **activation_quantize_type:** activation量化方式，目前量化训练支持`range_abs_max`、`moving_average_abs_max`。PaddlePaddle中还支持 `abs_max` 方法对激活进行量化，但是该方法动态计算输入的量化scale，这会增加计算量、减慢模型推理速度，所以lite不支持 `abs_max`激活量化方式。
- **save_in_nodes:** variable名称列表。在保存量化后模型的时候，需要根据save_in_nodes对eval programg 网络进行前向遍历剪枝。默认为eval_feed_list内指定的variable的名称列表。
- **save_out_nodes:** varibale名称列表。在保存量化后模型的时候，需要根据save_out_nodes对eval programg 网络进行回溯剪枝。默认为eval_fetch_list内指定的variable的名称列表。
> **备注：**
>
> 1）`abs_max`意为在训练的每个step及inference阶段均动态计算量化scale值。`channel_wise_abs_max`与`abs_max`类似，不同点在于它会对卷积权重进行分channel求取量化scale。换言之，`abs_max`属于tensor-wise量化，而`channel_wise_abs_max`属于channel-wise量化，详细说明请猛戳[此处](https://github.com/PaddlePaddle/FluidDoc/blob/develop/doc/fluid/design/quantization/training_quantization_model_format.md)。
>
> 2）`moving_average_abs_max`和`range_abs_max`意为在训练阶段计算出一个静态的量化scale值，并将其用于inference阶段。`moving_average_abs_max`使用窗口滑动平均的方法计算量化scale，而`range_abs_max`则使用窗口绝对值最大值的方式。
>
> 3）**目前，Paddle-Lite仅支持运行weight量化方式使用`abs_max`且activation量化方式使用`moving_average_abs_max`或`range_abs_max`产出的量化模型**。
##### 执行int8量化训练
修改run.sh，即注释掉`# enable GC strategy`与`# for sensitivity filter pruning`之间的内容并打开`#for quantization`相关的脚本命令（所需打开注释的命令如下所示）。
```bash
# for quantization
#---------------------------
export CUDA_VISIBLE_DEVICES=0
python compress.py \
--batch_size 64 \
--model "MobileNet" \
--pretrained_model ./pretrain/MobileNetV1_pretrained \
--compress_config ./configs/quantization.yaml \
--quant_only True
```
最后，运行`sh run.sh`命令开始int8量化训练。
上述量化训练过程完成后，若按照本文中所述`configs/quantization.yaml`文件内容配置的模型输出路径，则可在models/PaddleSlim/output目录下看到`float`、`int8`和`mobile`三个目录，其中：
* float目录: 参数范围为int8范围但参数数据类型为float32的量化模型。Paddle-Lite即使用该目录下的模型文件及参数进行量化模型的部署。
* int8目录: 参数范围为int8范围且参数数据类型为int8的量化模型。
* mobile目录：参数特点与int8目录相同且兼容paddle-mobile的量化模型（目前paddle-mobile已升级为Paddle-Lite）。
### 训练后量化
下面以MobileNetV1为例，介绍使用训练后量化方法产出量化模型。关于训练后量化的原理和详细使用方法，请参考[文档](https://github.com/PaddlePaddle/models/tree/develop/PaddleSlim/quant_low_level_api)。
> 该示例的代码放在[models/PaddleSlim/quant_low_level_api/](https://github.com/PaddlePaddle/models/tree/develop/PaddleSlim/quant_low_level_api)目录下。如果需要执行该示例，首先clone下来[models](https://github.com/PaddlePaddle/models.git)，安装具有训练后量化功能的PaddlePaddle。因为目前Lite支持支持对conv2d、depthwise_conv2d和mul量化，所以修改[run_post_training_quanzation.sh](https://github.com/PaddlePaddle/models/blob/develop/PaddleSlim/quant_low_level_api/run_post_training_quanzation.sh) 脚本，设置is_full_quantize=False，然后执行该脚本；执行结束后，量化模型保存在`mobilenetv1_int8_model`目录下。下面介绍详细步骤。
1）**准备模型和校准数据**
安装PaddlePaddle的develop分支编译的whl包，准备已经训练好的FP32预测模型。
准备校准数据，文件结构如下。val文件夹中有100张图片，val_list.txt文件中包含图片的label。
```bash
samples_100
└──val
└──val_list.txt
```
2）**配置校准数据生成器**
MobileNetV1的输入是图片和标签，所以配置读取校准数据的sample_generator，每次返回一张图片和一个标签。详细代码在[models/PaddleSlim/reader.py](https://github.com/PaddlePaddle/models/blob/develop/PaddleSlim/reader.py)。
3）**调用训练后量化**
调用训练后量化的核心代码如下，详细代码在[post_training_quantization.py](https://github.com/PaddlePaddle/models/blob/develop/PaddleSlim/quant_low_level_api/post_training_quantization.py)。
``` python
place = fluid.CUDAPlace(0) if args.use_gpu == "True" else fluid.CPUPlace()
exe = fluid.Executor(place)
sample_generator = reader.val(data_dir=args.data_path)
ptq = PostTrainingQuantization(
executor=exe,
sample_generator=sample_generator,
model_dir=args.model_dir,
model_filename=args.model_filename,
params_filename=args.params_filename,
batch_size=args.batch_size,
batch_nums=args.batch_nums,
algo=args.algo,
is_full_quantize=args.is_full_quantize == "True")
quantized_program = ptq.quantize()
ptq.save_quantized_model(args.save_model_path)
```
## 使用Paddle-Lite运行量化模型推理
#### 使用模型优化工具对量化模型进行优化
接下来，使用原始的量化模型生成适合在移动端直接部署的模型。
参考[源码编译](../source_compile)配置编译环境，确保可以编译成功。参考[模型转化方法](../model_optimize_tool)，首先编译model_optimize_tool工具，然后执行下面命令对量化训练的模型进行优化（注意，需要自行修改model_file、param_file和optimize_out）。
```bash
./model_optimize_tool \
--model_file=mobilenet_v1_quant/float/model \
--param_file=mobilenet_v1_quant/float/weights \
--optimize_out_type=naive_buffer \
--optimize_out=mobilenet_v1_quant_opt \
--valid_targets=arm \
--prefer_int8_kernel=true
```
如前所述，量化训练后，float目录下的模型参数范围为int8，但参数数据类型仍为float32类型，这样确实没有起到模型参数压缩的效果。但是，经过model\_optimize\_tool工具优化后对应的量化参数均会以int8类型重新存储达到参数压缩的效果，且模型结构也被优化（如进行了各种operator fuse操作）。
#### 在手机端准备量化模型文件
使用如下命令将mobilenet_v1_quant_opt目录下的量化模型文件导入到手机端：
```bash
adb push mobilenet_v1_quant_opt /data/local/tmp
```
#### 使用mobilenetv1\_light\_api运行优化后的量化模型
参考[源码编译](../source_compile)配置编译环境后，在Paddle-Lite执行如下命令获取轻量级API的demo：
```bash
cd /Paddle-Lite/build.lite.android.armv8.gcc/inference_lite_lib.android.armv8/demo/cxx/mobile_light
make clean && make -j
```
执行完上述命令后，可在`Paddle-Lite/build.lite.android.armv8.gcc/inference_lite_lib.android.armv8/demo/cxx/mobile_light/`路径下看到`mobilenetv1_light_api`可执行文件。将`mobilenetv1_light_api`导入到手机端并运行量化模型推理。执行命令如下：
```bash
adb push Paddle-Lite/build.lite.android.armv8.gcc/inference_lite_lib.android.armv8/demo/cxx/mobile_light/mobilenetv1_light_api /data/local/tmp
adb shell chmod +x /data/local/tmp/mobilenetv1_light_api
adb shell /data/local/tmp/mobilenetv1_light_api \
--model_dir=/data/local/tmp/mobilenet_v1_quant_opt
```
**程序运行结果如下：**
```bash
Output dim: 1000
Output[0]: 0.000228
Output[100]: 0.000260
Output[200]: 0.000250
Output[300]: 0.000560
Output[400]: 0.000950
Output[500]: 0.000275
Output[600]: 0.005143
Output[700]: 0.002509
Output[800]: 0.000538
Output[900]: 0.000969
```
在C++中使用Paddle-Lite API的方法请猛戳[此处](../cpp_demo)，用户也可参考[mobilenetv1_light_api.cc](https://github.com/PaddlePaddle/Paddle-Lite/blob/develop/lite/demo/cxx/mobile_light/mobilenetv1_light_api.cc)的代码示例。
### FAQ
**问题**：Compiled with WITH_GPU, but no GPU found in runtime
**解答**：检查本机是否支持GPU训练，如果不支持请使用CPU训练。如果在docker进行GPU训练，请使用nvidia_docker启动容器。
**问题**：Inufficient GPU memory to allocation. at [/paddle/paddle/fluid/platform/gpu_info.cc:262]
**解答**：正确设置run.sh脚本中`CUDA_VISIBLE_DEVICES`，确保显卡剩余内存大于需要内存。
docs/advanced_user_guides/support_operation_list.md 0 → 100644
浏览文件 @ e3afddc5
# 支持OP列表
## Ops
- affine_channel
- anchor_generator
- arg_max
- assign
- assign_value
- attention_padding_mask
- axpy
- batch_norm
- beam_search
- beam_search_decode
- bilinear_interp
- box_clip
- box_coder
- calib
- calib_once
- cast
- collect_fpn_proposals
- concat
- conditional_block
- conv2d
- conv2d_transpose
- crop
- decode_bboxes
- density_prior_box
- depthwise_conv2d
- distribute_fpn_proposals
- dropout
- elementwise_add
- elementwise_div
- elementwise_max
- elementwise_mul
- elementwise_sub
- equal
- exp
- expand
- fake_channel_wise_dequantize_max_abs
- fake_dequantize_max_abs
- fake_quantize_dequantize_moving_average_abs_max
- fake_quantize_moving_average_abs_max
- fake_quantize_range_abs_max
- fc
- feed
- fetch
- fill_constant
- fill_constant_batch_size_like
- flatten
- flatten2
- floor
- fusion_elementwise_add_activation
- fusion_elementwise_div_activation
- fusion_elementwise_max_activation
- fusion_elementwise_mul_activation
- fusion_elementwise_sub_activation
- gather
- generate_proposals
- graph_op
- greater_equal
- greater_than
- gru
- gru_unit
- hard_sigmoid
- im2sequence
- increment
- instance_norm
- io_copy
- io_copy_once
- is_empty
- layer_norm
- layout
- layout_once
- leaky_relu
- less_equal
- less_than
- lod_reset
- log
- logical_and
- logical_not
- logical_or
- logical_xor
- lookup_table
- lookup_table_v2
- lrn
- match_matrix_tensor
- matmul
- mean
- merge_lod_tensor
- mul
- multiclass_nms
- nearest_interp
- negative
- norm
- notequal
- pad2d
- pool2d
- power
- prelu
- prior_box
- range
- read_from_array
- reduce_max
- reduce_mean
- reduce_prod
- reduce_sum
- relu
- relu6
- relu_clipped
- reshape
- reshape2
- roi_align
- rsqrt
- scale
- search_aligned_mat_mul
- search_attention_padding_mask
- search_fc
- search_grnn
- search_group_padding
- search_seq_arithmetic
- search_seq_depadding
- search_seq_fc
- search_seq_softmax
- sequence_arithmetic
- sequence_concat
- sequence_expand
- sequence_expand_as
- sequence_pool
- sequence_reshape
- sequence_reverse
- sequence_softmax
- sequence_topk_avg_pooling
- shape
- shuffle_channel
- sigmoid
- slice
- softmax
- softsign
- split
- split_lod_tensor
- sqrt
- square
- squeeze
- squeeze2
- stack
- swish
- tanh
- top_k
- transpose
- transpose2
- uniform_random
- unsqueeze
- unsqueeze2
- var_conv_2d
- while
- write_to_array
- yolo_box
## Kernels
### Host kernels
- feed
- fetch
- flatten
- flatten2
- multiclass_nms
- reshape
- reshape2
### ARM kernels
- affine_channel
- anchor_generator
- arg_max
- assign
- assign_value
- axpy
- batch_norm
- beam_search
- beam_search_decode
- bilinear_interp
- box_clip
- box_coder
- cast
- collect_fpn_proposals
- concat
- conditional_block
- conv2d
- conv2d_transpose
- crop
- decode_bboxes
- density_prior_box
- depthwise_conv2d
- distribute_fpn_proposals
- dropout
- elementwise_add
- elementwise_div
- elementwise_max
- elementwise_mul
- elementwise_sub
- equal
- exp
- expand
- fc
- fill_constant
- fill_constant_batch_size_like
- floor
- fusion_elementwise_add_activation
- fusion_elementwise_div_activation
- fusion_elementwise_max_activation
- fusion_elementwise_mul_activation
- fusion_elementwise_sub_activation
- gather
- generate_proposals
- greater_equal
- greater_than
- gru
- gru_unit
- hard_sigmoid
- im2sequence
- increment
- instance_norm
- is_empty
- layer_norm
- layout
- layout_once
- leaky_relu
- less_equal
- less_than
- lod_reset
- log
- logical_and
- logical_not
- logical_or
- logical_xor
- lookup_table
- lookup_table_v2
- lrn
- matmul
- merge_lod_tensor
- mul
- nearest_interp
- negative
- norm
- not_equal
- pad2d
- pool2d
- power
- prelu
- prior_box
- range
- read_from_array
- reduce_max
- reduce_mean
- reduce_prod
- relu
- relu6
- relu_clipped
- roi_align
- rsqrt
- scale
- sequence_expand
- sequence_pool
- sequence_softmax
- shape
- shuffle_channel
- sigmoid
- slice
- softmax
- split
- split_lod_tensor
- squeeze
- squeeze2
- stack
- swish
- tanh
- top_k
- transpose
- transpose2
- unsqueeze
- unsqueeze2
- while
- write_to_array
- yolo_box
### X86 kernels
- batch_norm
- cast
- concat
- conv2d
- depthwise_conv2d
- dropout
- elementwise_add
- elementwise_sub
- fc
- fill_constant_batch_size_like
- gather
- gelu
- gru
- layer_norm
- match_matrix_tensor
- matmul
- mul
- pool2d
- reduce_sum
- relu
- reshape
- reshape2
- scale
- search_aligned_mat_mul
- search_attention_padding_mask
- search_fc
- search_grnn
- search_group_padding
- search_seq_arithmetic
- search_seq_depadding
- search_seq_fc
- search_seq_softmax
- sequence_arithmetic
- sequence_concat
- sequence_expand_as
- sequence_pool
- sequence_reverse
- sequence_topk_avg_pooling
- shape
- slice
- softmax
- softsign
- square
- squeeze
- squeeze2
- stack
- tanh
- transpose
- transpose2
- var_conv_2d
### CUDA kernels
- attention_padding_mask
- bilinear_interp
- calib
- concat
- conv
- dropout
- elementwise_add
- fusion_elementwise_add_activation
- fusion_elementwise_mul_activation
- elementwise_mul
- feed
- io_copy
- layout
- layout_once
- leaky_relu
- lookup_table
- match_matrix_tensor
- mul
- nearest_interp
- pool2d
- relu
- scale
- search_aligned_mat_mul
- search_fc
- search_grnn
- search_group_padding
- search_seq_depadding
- search_seq_fc
- sequence_arithmetic
- sequence_concat
- sequence_pool
- sequence_reverse
- sequence_topk_avg_pooling
- softmax
- transpose
- var_conv_2d
- yolo_box
### OpenCL kernels
- conv2d
- depthwise_conv2d
- elementwise_add
- fc
- fusion_elementwise_add_activation
- layout
- layout_once
- io_copy
- io_copy_once
- mul
- pool2d
- relu
docs/advanced_user_guides/x86.md 0 → 100644
浏览文件 @ e3afddc5
# 使用X86预测库
Paddle-Lite 支持在Docker或Linux环境编译x86预测库。环境搭建参考[环境准备](../installation/source_compile)。
(注意：非docker Linux环境需要是Ubuntu16.04)
## 编译
1、 下载代码
```bash
git clone https://github.com/PaddlePaddle/Paddle-Lite.git
#需要切换到 release/v2.0.0之后版本
git checkout <release_tag>
```
2、 源码编译
```bash
cd Paddle-Lite
./lite/tools/build.sh x86
```
## 编译结果说明
x86编译结果位于 `build.lite.x86/inference_lite_lib`
**具体内容**说明：
1、 `bin`文件夹：可执行工具文件 `test_model_bin`
2、 `cxx`文件夹：包含c++的库文件与相应的头文件
- `include` : 头文件
- `lib` : 库文件
- 打包的静态库文件：
- `libpaddle_api_full_bundled.a` ：包含 full_api 和 light_api 功能的静态库
- `libpaddle_api_light_bundled.a` ：只包含 light_api 功能的静态库
- 打包的动态态库文件：
- `libpaddle_full_api_shared.so` ：包含 full_api 和 light_api 功能的动态库
- `libpaddle_light_api_shared.so`：只包含 light_api 功能的动态库
3、 `third_party` 文件夹：第三方库文件
## x86预测API使用示例
```c++
#include <gflags/gflags.h>
#include <iostream>
#include <vector>
#include "paddle_api.h" // NOLINT
#include "paddle_use_kernels.h" // NOLINT
#include "paddle_use_ops.h" // NOLINT
#include "paddle_use_passes.h" // NOLINT
using namespace paddle::lite_api; // NOLINT
DEFINE_string(model_dir, "", "Model dir path.");
DEFINE_string(optimized_model_dir, "", "Optimized model dir.");
DEFINE_bool(prefer_int8_kernel, false, "Prefer to run model with int8 kernels");
int64_t ShapeProduction(const shape_t& shape) {
int64_t res = 1;
for (auto i : shape) res *= i;
return res;
}
void RunModel() {
// 1. Set CxxConfig
CxxConfig config;
config.set_model_file(FLAGS_model_dir + "model");
config.set_param_file(FLAGS_model_dir + "params");
config.set_valid_places({
lite_api::Place{TARGET(kX86), PRECISION(kFloat)}
});
// 2. Create PaddlePredictor by CxxConfig
std::shared_ptr<PaddlePredictor> predictor =
CreatePaddlePredictor<CxxConfig>(config);
// 3. Prepare input data
std::unique_ptr<Tensor> input_tensor(std::move(predictor->GetInput(0)));
input_tensor->Resize(shape_t({1, 3, 224, 224}));
auto* data = input_tensor->mutable_data<float>();
for (int i = 0; i < ShapeProduction(input_tensor->shape()); ++i) {
data[i] = 1;
}
// 4. Run predictor
predictor->Run();
// 5. Get output
std::unique_ptr<const Tensor> output_tensor(
std::move(predictor->GetOutput(0)));
std::cout << "Output dim: " << output_tensor->shape()[1] << std::endl;
for (int i = 0; i < ShapeProduction(output_tensor->shape()); i += 100) {
std::cout << "Output[" << i << "]:" << output_tensor->data<float>()[i] << std::endl;
}
}
int main(int argc, char** argv) {
google::ParseCommandLineFlags(&argc, &argv, true);
RunModel();
return 0;
}
```
docs/api_reference/cxx_api_doc.md 0 → 100644
浏览文件 @ e3afddc5
# C++ API文档
## CreatePaddlePredictor
```c++
template <typename ConfigT>
std::shared_ptr<PaddlePredictor> CreatePaddlePredictor(const ConfigT&);
```
`CreatePaddlePredictor`用来根据`MobileConfig`构建预测器。
示例：
```c++
// 设置MobileConfig
MobileConfig config;
config.set_model_dir(FLAGS_model_dir);
// 根据MobileConfig创建PaddlePredictor
std::shared_ptr<PaddlePredictor> predictor = CreatePaddlePredictor<MobileConfig>(config);
```
参数：
- `config(MobileConfig)` - 用于构建Predictor的配置信息。
返回：`PaddlePredictor`指针
返回类型：`std::shared_ptr<PaddlePredictor>`
## CxxConfig
```c++
class CxxConfig;
```
`CxxConfig`用来配置构建CxxPredictor的配置信息，如protobuf格式的模型地址、能耗模式、工作线程数、place信息等等。
示例：
```c++
config = CxxConfig()
# 设置模型目录，加载非combined模型时使用
config.set_model_dir(<your_model_dir_path>)
# 设置工作线程数
config.set_threads(4);
# 设置能耗模式
config.set_power_mode(PowerMode.LITE_POWER_NO_BIND)
# 设置valid places
places = [Place(TargetType.ARM, PrecisionType.FP32)]
config.set_valid_places(places)
# 根据CxxConfig创建CxxPredictor
predictor = create_paddle_predictor(config)
```
### `set_model_dir(model_dir)`
设置模型文件夹路径，当需要从磁盘加载非combined模型时使用。
参数：
- `model_dir(str)` - 模型文件夹路径
返回：`None`
返回类型：`None`
### `model_dir()`
返回设置的模型文件夹路径。
参数：
- `None`
返回：模型文件夹路径
返回类型：`str`
### `set_model_file(model_file)`
设置模型文件路径，加载combined形式模型时使用。
参数：
- `model_file(str)` - 模型文件路径
返回类型：`None`
### `model_file()`
获取设置模型文件路径，加载combined形式模型时使用。
参数：
- `None`
返回：模型文件路径
返回类型：`str`
### `set_param_file(param_file)`
设置模型参数文件路径，加载combined形式模型时使用。
参数：
- `param_file(str)` - 模型文件路径
返回类型：`None`
### `param_file()`
获取设置模型参数文件路径，加载combined形式模型时使用。
参数：
- `None`
返回：模型参数文件路径
返回类型：`str`
### `set_valid_places(valid_places)`
设置可用的places列表。
参数：
- `valid_places(list)` - 可用place列表。
返回类型：`None`
示例：
```c++
config = CxxConfig()
# 设置模型目录，加载非combined模型时使用
config.set_model_dir(<your_model_dir_path>)
# 设置valid places
# 注意，valid_places列表中Place的排序表明了用户对Place的偏好程度，如用户想优先使用ARM上Int8精度的
# kernel，则应把Place(TargetType.ARM, PrecisionType.INT8)置于valid_places列表的首位。
places = [Place(TargetType.ARM, PrecisionType.INT8),
Place(TargetType.ARM, PrecisionType.FP32)]
config.set_valid_places(places)
# 根据CxxConfig创建CxxPredictor
predictor = create_paddle_predictor(config)
```
### `set_power_mode(mode)`
设置CPU能耗模式。若不设置，则默认使用`PowerMode.LITE_POWER_HIGH`。
*注意：只在开启`OpenMP`时生效，否则系统自动调度。此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数：
- `mode(PowerMode)` - CPU能耗模式
返回：`None`
返回类型：`None`
### `power_mode()`
获取设置的CPU能耗模式。
*注意：此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数：
- `None`
返回：设置的CPU能耗模式
返回类型：`PowerMode`
### `set_threads(threads)`
设置工作线程数。若不设置，则默认使用单线程。
*注意：只在开启`OpenMP`的模式下生效，否则只使用单线程。此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数：
- `threads(int)` - 工作线程数
返回：`None`
返回类型：`None`
### `threads()`
获取设置的工作线程数。
*注意：此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数：
- `None`
返回：工作线程数
返回类型：`int`
### `set_x86_math_library_num_threads(threads)`
设置CPU Math库线程数，CPU核心数支持情况下可加速预测。默认为1，并且仅在x86下有效。
参数：
- `threads(int)` - CPU Math库线程数。
返回：`None`
返回类型：`None`
### `x86_math_library_num_threads()`
返回CPU Math库线程数，CPU核心数支持情况下可加速预测。仅在x86下有效。
参数：
- `None`
返回：CPU Math库线程数。
返回类型：`int`
## MobileConfig
```c++
class MobileConfig;
```
`MobileConfig`用来配置构建轻量级PaddlePredictor的配置信息，如NaiveBuffer格式的模型地址、模型的内存地址(从内存加载模型时使用)、能耗模式、工作线程数等等。
*注意：输入的模型需要使用[Model Optimize Tool](../model_optimize_tool)转化为NaiveBuffer格式的优化模型。*
示例：
```c++
MobileConfig config;
// 设置NaiveBuffer格式模型目录，从文件加载模型时使用
config.set_model_dir(FLAGS_model_dir);
// 设置工作线程数
config.set_threads(4);
// 设置能耗模式
config.set_power_mode(LITE_POWER_HIGH);
// 根据MobileConfig创建PaddlePredictor
std::shared_ptr<PaddlePredictor> predictor = CreatePaddlePredictor<MobileConfig>(config);
```
### `set_model_from_file(model_dir)`
设置模型文件，当需要从磁盘加载模型时使用。
参数：
- `model_dir(std::string)` - 模型文件路径
返回：`None`
返回类型：`void`
### `set_model_dir(model_dir)`
**注意**：Lite模型格式在release/v2.3.0之后修改，本接口为加载老格式模型的接口，将在release/v3.0.0废弃。建议替换为`set_model_from_file`接口。
设置模型文件夹路径，当需要从磁盘加载模型时使用。
参数：
- `model_dir(std::string)` - 模型文件夹路径
返回：`None`
返回类型：`void`
### `model_dir()`
返回设置的模型文件夹路径。
参数：
- `None`
返回：模型文件夹路径
返回类型：`std::string`
### `set_model_from_buffer(model_buffer)`
设置模型的内存数据，当需要从内存加载模型时使用。
参数：
- `model_buffer(std::string)` - 内存中的模型数据
返回：`None`
返回类型：`void`
### `set_model_buffer(model_buffer, model_buffer_size, param_buffer, param_buffer_size)`
**注意**：Lite模型格式在release/v2.3.0之后修改，本接口为加载老格式模型的接口，将在release/v3.0.0废弃。建议替换为`set_model_from_buffer`接口。
设置模型、参数的内存地址，当需要从内存加载模型时使用。
示例：
```c++
// 读取模型文件到内存
std::string model_buffer = ReadFile(FLAGS_model_path);
std::string params_buffer = lite::ReadFile(FLAGS_params_path);
// 设置MobileConfig
lite_api::MobileConfig config;
config.set_model_buffer(model_buffer.c_str(), model_buffer.size(),
params_buffer.c_str(), params_buffer.size());
// 根据MobileConfig创建PaddlePredictor
std::shared_ptr<PaddlePredictor> predictor = CreatePaddlePredictor<MobileConfig>(config);
```
参数：
- `model_buffer(const char*)` - 内存中模型结构数据。
- `model_buffer_size(size_t)` - 内存中模型结构数据的大小。
- `param_buffer(const char*)` - 内存中模型参数数据。
- `param_buffer_size(size_t)` - 内存中模型参数数据的大小。
返回：`None`
返回类型：`Void`
### `model_from_memory()`
是否从内存中加载模型，当使用`set_model_buffer`接口时返回`true`
参数：
- `None`
返回：是否从内存加载模型
返回类型：`bool`
### `model_buffer()`
获取内存中模型结构数据。
参数：
- `None`
返回：内存中模型结构数据
返回类型：`const std::string&`
### `param_buffer()`
获取内存中模型参数数据。
参数：
- `None`
返回：内存中模型结构数据
返回类型：`const std::string&`
### `set_power_mode(mode)`
设置CPU能耗模式。若不设置，则默认使用`LITE_POWER_HIGH`。
*注意：只在开启`OpenMP`时生效，否则系统自动调度。*
参数：
- `mode(PowerMode)` - CPU能耗模式
返回：`None`
返回类型：`void`
### `power_mode()`
获取设置的CPU能耗模式。
参数：
- `None`
返回：设置的CPU能耗模式
返回类型：`PowerMode`
### `set_threads(threads)`
设置工作线程数。若不设置，则默认使用单线程。
*注意：只在开启`OpenMP`的模式下生效，否则只使用单线程。*
参数：
- `threads(int)` - 工作线程数
返回：`None`
返回类型：`void`
### `threads()`
获取设置的工作线程数。
参数：
- `None`
返回：工作线程数
返回类型：`int`
## PaddlePredictor
```c++
class PaddlePredictor
```
`PaddlePredictor`是Paddle-Lite的预测器，由`CreatePaddlePredictor`根据`MobileConfig`进行创建。用户可以根据PaddlePredictor提供的接口设置输入数据、执行模型预测、获取输出以及获得当前使用lib的版本信息等。
示例：
```c++
int64_t ShapeProduction(const shape_t& shape) {
int64_t res = 1;
for (auto i : shape) res *= i;
return res;
}
// 设置MobileConfig
MobileConfig config;
config.set_model_dir(FLAGS_model_dir);
// 根据MobileConfig创建PaddlePredictor
std::shared_ptr<PaddlePredictor> predictor = CreatePaddlePredictor<MobileConfig>(config);
// 获得模型的输入和输出名称
std::vector<std::string> input_names = predictor->GetInputNames();
for (int i = 0; i < input_names.size(); i ++) {
printf("Input name[%d]: %s\n", i, input_names[i].c_str());
}
std::vector<std::string> output_names = predictor->GetOutputNames();
for (int i = 0; i < output_names.size(); i ++) {
printf("Output name[%d]: %s\n", i, output_names[i].c_str());
}
// 准备输入数据
// (1)根据index获取输入Tensor
std::unique_ptr<Tensor> input_tensor(std::move(predictor->GetInput(0)));
// (2)根据名称获取输入Tensor
// std::unique_ptr<Tensor> input_tensor(std::move(predictor->GetInputByName(input_names[0])));
input_tensor->Resize({1, 3, 224, 224});
auto* data = input_tensor->mutable_data<float>();
for (int i = 0; i < ShapeProduction(input_tensor->shape()); ++i) {
data[i] = 1;
}
// 执行预测
predictor->Run();
// 获取输出
// (1)根据index获取输出Tensor
std::unique_ptr<const Tensor> output_tensor(std::move(predictor->GetOutput(0)));
// (2)根据名称获取输出Tensor
// std::unique_ptr<const Tensor> output_tensor(std::move(predictor->GetOutput(output_names[0])));
printf("Output dim: %d\n", output_tensor->shape()[1]);
for (int i = 0; i < ShapeProduction(output_tensor->shape()); i += 100) {
printf("Output[%d]: %f\n", i, output_tensor->data<float>()[i]);
}
```
### `GetInput(index)`
获取输入Tensor指针，用来设置模型的输入数据。
参数：
- `index(int)` - 输入Tensor的索引
返回：第`index`个输入`Tensor`的指针
返回类型：`std::unique_ptr<Tensor>`
### `GetOutput(index)`
获取输出Tensor的指针，用来获取模型的输出结果。
参数：
- `index(int)` - 输出Tensor的索引
返回：第`index`个输出Tensor`的指针
返回类型：`std::unique_ptr<Tensor>`
### `GetInputNames()`
获取所有输入Tensor的名称。
参数：
- `None`
返回：所有输入Tensor的名称
返回类型：`std::vector<std::string>`
### `GetOutputNames()`
获取所有输出Tensor的名称。
参数：
- `None`
返回：所有输出Tensor的名称
返回类型：`std::vector<std::string>`
### `GetInputByName(name)`
根据名称获取输出Tensor的指针，用来获取模型的输出结果。
参数：
- `name(const std::string)` - 输入Tensor的名称
返回：输入Tensor`的指针
返回类型：`std::unique_ptr<Tensor>`
### `GetTensor(name)`
根据名称获取输出Tensor的指针。
**注意**：`GetTensor`接口是为开发者设计的调试接口，可以输出[转化](../model_optimize_tool)后模型中的任一节点。如果出现`GetTensor(InputName)`返回值为空`Tensor`，可能原因是以该`InputName`命名的Tensor在模型转化的**子图融合**过程被融合替换了。
参数：
- `name(const std::string)` - Tensor的名称
返回：指向`const Tensor`的指针
返回类型：`std::unique_ptr<const Tensor>`
### `Run()`
执行模型预测，需要在***设置输入数据后***调用。
参数：
- `None`
返回：`None`
返回类型：`void`
### `GetVersion()`
用于获取当前lib使用的代码版本。若代码有相应tag则返回tag信息，如`v2.0-beta`；否则返回代码的`branch(commitid)`，如`develop(7e44619)`。
参数：
- `None`
返回：当前lib使用的代码版本信息
返回类型：`std::string`
## TargetType
```c++
class TargetType;
```
`TargetType`为目标设备硬件类型，用户可以根据应用场景选择硬件平台类型。
枚举型变量`TargetType`的所有可能取值包括：
`{X86, CUDA, ARM, OpenCL, FPGA, NPU}`
## PrecisionType
```c++
class PrecisionType {FP32};
```
`PrecisionType`为模型中Tensor的数据精度，默认值为FP32(float32)。
枚举型变量`PrecisionType`的所有可能取值包括：
`{FP32, INT8, INT32, INT64}`
## DataLayoutType
```c++
class DataLayoutType {NCHW};
```
`DataLayoutType`为Tensor的数据格式，默认值为NCHW（number, channel, height, weigth）。
枚举型变量`DataLayoutType`的所有可能取值包括：
` {NCHW, NHWC}`
## Place
```c++
class Place{
TargetType target;
PrecisionType precision{FP32};
DataLayoutType layout{NCHW}
}
```
`Place`是`TargetType`、`PrecisionType`和`DataLayoutType`的集合，说明运行时的设备类型、数据精度和数据格式。
示例：
```C++
Place{TargetType(ARM), PrecisionType(FP32), DataLayoutType(NCHW)}
```
## PowerMode
```c++
enum PowerMode;
```
`PowerMode`为ARM CPU能耗模式，用户可以根据应用场景设置能耗模式获得最优的能效比。
示例：
```c++
MobileConfig config;
// 设置NaiveBuffer格式模型目录
config.set_model_dir(FLAGS_model_dir);
// 设置能耗模式
config.set_power_mode(LITE_POWER_HIGH);
// 根据MobileConfig创建PaddlePredictor
std::shared_ptr<PaddlePredictor> predictor = CreatePaddlePredictor<MobileConfig>(config);
```
PowerMode详细说明如下：
| 选项 | 说明 |
| :------------------: | ------------------------------------------------------------ |
| LITE_POWER_HIGH | 绑定大核运行模式。如果ARM CPU支持big.LITTLE，则优先使用并绑定Big cluster。如果设置的线程数大于大核数量，则会将线程数自动缩放到大核数量。如果系统不存在大核或者在一些手机的低电量情况下会出现绑核失败，如果失败则进入不绑核模式。 |
| LITE_POWER_LOW | 绑定小核运行模式。如果ARM CPU支持big.LITTLE，则优先使用并绑定Little cluster。如果设置的线程数大于小核数量，则会将线程数自动缩放到小核数量。如果找不到小核，则自动进入不绑核模式。 |
| LITE_POWER_FULL | 大小核混用模式。线程数可以大于大核数量。当线程数大于核心数量时，则会自动将线程数缩放到核心数量。 |
| LITE_POWER_NO_BIND | 不绑核运行模式（推荐）。系统根据负载自动调度任务到空闲的CPU核心上。 |
| LITE_POWER_RAND_HIGH | 轮流绑定大核模式。如果Big cluster有多个核心，则每预测10次后切换绑定到下一个核心。 |
| LITE_POWER_RAND_LOW | 轮流绑定小核模式。如果Little cluster有多个核心，则每预测10次后切换绑定到下一个核心。 |
## Tensor
```c++
class Tensor
```
Tensor是Paddle-Lite的数据组织形式，用于对底层数据进行封装并提供接口对数据进行操作，包括设置Shape、数据、LoD信息等。
*注意：用户应使用`PaddlePredictor`的`GetInput`和`GetOuput`接口获取输入/输出的`Tensor`。*
示例：
```c++
int64_t ShapeProduction(const shape_t& shape) {
int64_t res = 1;
for (auto i : shape) res *= i;
return res;
}
// 设置MobileConfig
MobileConfig config;
config.set_model_dir(FLAGS_model_dir);
// 根据MobileConfig创建PaddlePredictor
std::shared_ptr<PaddlePredictor> predictor = CreatePaddlePredictor<MobileConfig>(config);
// 准备输入数据, 获取输入Tensor
std::unique_ptr<Tensor> input_tensor(std::move(predictor->GetInput(0)));
// 设置输入Tensor维度信息
input_tensor->Resize({1, 3, 224, 224});
// 设置输入数据
auto* data = input_tensor->mutable_data<float>();
for (int i = 0; i < ShapeProduction(input_tensor->shape()); ++i) {
data[i] = 1;
}
// 执行预测
predictor->Run();
// 获取输出Tensor
std::unique_ptr<const Tensor> output_tensor(std::move(predictor->GetOutput(0)));
// 获取输出Tensor维度
printf("Output dim: %d\n", output_tensor->shape()[1]);
// 获取输出Tensor数据
for (int i = 0; i < ShapeProduction(output_tensor->shape()); i += 100) {
printf("Output[%d]: %f\n", i, output_tensor->data<float>()[i]);
}
```
### `Resize(shape)`
设置Tensor的维度信息。
参数：
- `shape(std::vector<int64_t>)` - 维度信息
返回：`None`
返回类型：`void`
### `shape()`
获取Tensor的维度信息。
参数：
- `None`
返回：Tensor的维度信息
返回类型：`std::vector<int64_t>`
### `data<T>()`
```c++
template <typename T>
const T* data() const;
```
获取Tensor的底层数据的常量指针，根据传入的不同模型类型获取相应数据。用于读取Tensor数据。
示例：
```c++
std::unique_ptr<const Tensor> output_tensor(std::move(predictor->GetOutput(0)));
// 如果模型中输出为float类型
output_tensor->data<float>()
```
参数：
- `None`
返回：`Tensor`底层数据常量指针
返回类型：`const T*`
### `mutable_data<T>()`
```c++
template <typename T>
T* mutable_data() const;
```
获取Tensor的底层数据的指针，根据传入的不同模型类型获取相应数据。用于设置Tensor数据。
示例：
```c++
std::unique_ptr<Tensor> input_tensor(std::move(predictor->GetInput(0)));
// 如果模型中输出为float类型
auto* data = input_tensor->mutable_data<float>();
// 设置Tensor数据
for (int i = 0; i < ShapeProduction(input_tensor->shape()); ++i) {
data[i] = 1;
}
```
参数：
- `None`
返回：`Tensor`底层数据指针
返回类型：`T*`
### `SetLoD(lod)`
设置Tensor的LoD信息。
参数：
- `lod(std::vector<std::vector<uint64_t>>)` - Tensor的LoD信息
返回：`None`
返回类型：`void`
### `lod()`
获取Tensor的LoD信息
参数：
- `None`
返回：`Tensor`的LoD信息
返回类型：`std::vector<std::vector<uint64_t>>`
docs/benchmark/benchmark.md 0 → 100644
浏览文件 @ e3afddc5
# Benchmark 数据
可以参考[benchmark_tools](benchmark_tools)，推荐**一键benchmark**。
## 测试环境
* 测试模型
* fp32模型
* mobilenet_v1
* mobilenet_v2
* squeezenet_v1.1
* mnasnet
* shufflenet_v2
* int8模型
* mobilenet_v1
* mobilenet_v2
* resnet50
* 测试机器(android ndk ndk-r17c)
* 骁龙855
* xiaomi mi9, snapdragon 855
* 4xA76(1@2.84GHz + 3@2.4GHz) + 4xA55@1.78GHz
* 骁龙845
* xiaomi mi8, 845
* 2.8GHz（大四核），1.7GHz（小四核）
* 骁龙835
* xiaomi mix2, snapdragon 835
* 2.45GHz（大四核），1.9GHz（小四核）
* 骁龙625
* oppo R9s, snapdragon625
* A53 x 8, big core@2.0GHz
* 骁龙653
* 360 N5, snapdragon 653
* 4 x A73@2.0GHz + 4 x A53@1.4GHz
* 麒麟970
* HUAWEI Mate10
* 测试说明
* branch: release/2.0.0
* warmup=10, repeats=30，统计平均时间，单位是ms
* 当线程数为1时，```DeviceInfo::Global().SetRunMode```设置LITE_POWER_HIGH，否者设置LITE_POWER_NO_BIND
* 模型的输入图像的维度是{1, 3, 224, 224}，输入图像的每一位数值是1
## 测试数据
### fp32模型测试数据
#### paddlepaddle model
骁龙855|armv7 | armv7 | armv7 |armv8 | armv8 |armv8
----| ---- | ---- | ---- | ---- |---- |----
threads num|1 |2 |4 |1 |2 |4
mobilenet_v1 |32.19 |18.81 |10.90 |30.92 |18.31 |10.15
mobilenet_v2 |22.91 |13.75 |8.64 |21.15 |12.79 |7.84
shufflenet_v2 |4.67 |3.37 |2.65 |4.43 |3.15 |2.66
squeezenet_v1.1 |25.10 |15.93 |9.68 |23.28 |14.61 |8.71
mnasnet |21.84 |13.14 |7.96 |19.61 |11.88 |7.55
骁龙835|armv7 | armv7 | armv7 |armv8 | armv8 |armv8
----| ---- | ---- | ---- | ---- |---- |----
threads num|1 |2 |4 |1 |2 |4
mobilenet_v1 |94.13 |52.17 |30.68 |88.28 |47.58 |26.64
mobilenet_v2 |61.24 |34.64 |22.36 |56.66 |32.19 |19.63
shufflenet_v2 |10.87 |6.92 |5.12 |10.41 |6.76 |4.97
squeezenet_v1.1 |73.61 |42.25 |24.44 |64.87 |38.43 |23.06
mnasnet |58.22 |33.43 |20.44 |53.43 |30.20 |18.09
麒麟980|armv7 | armv7 | armv7 |armv8 | armv8 |armv8
----| ---- | ---- | ---- | ---- |---- |----
threads num|1 |2 |4 |1 |2 |4
mobilenet_v1 |55.11 |28.24 |13.27 |34.24 |17.74 |12.41
mobilenet_v2 |37.03 |19.80 |51.94 |23.64 |12.98 |9.38
shufflenet_v2 |7.26 |4.94 |15.06 |5.32 |3.33 |2.82
squeezenet_v1.1 |42.73 |23.66 |57.39 |26.03 |14.53 |13.66
mnasnet |36.87 |20.15 |46.04 |21.85 |12.06 |8.68
麒麟970|armv7 | armv7 | armv7 |armv8 | armv8 |armv8
----| ---- | ---- | ---- | ---- |---- |----
threads num|1 |2 |4 |1 |2 |4
mobilenet_v1 |97.80 |52.64 |34.46 |94.51 |49.36 |28.43
mobilenet_v2 |66.55 |38.52 |23.19 |62.89 |34.93 |21.53
shufflenet_v2 |13.78 |8.11 |5.93 |11.95 |7.90 |5.91
squeezenet_v1.1 |77.64 |43.67 |25.72 |69.91 |40.66 |24.62
mnasnet |61.86 |34.62 |22.68 |59.61 |32.79 |19.56
#### caffe model
骁龙855|armv7 | armv7 | armv7 |armv8 | armv8 |armv8
----| ---- | ---- | ---- | ---- |---- |----
threads num|1 |2 |4 |1 |2 |4 |
mobilenet_v1 |32.42 |18.68 |10.86 |30.92 |18.35 |10.07 |
mobilenet_v2 |29.53 |17.76 |10.89 |27.19 |16.53 |9.75 |
shufflenet_v2 |4.61 |3.29 |2.61 |4.36 |3.11 |2.51 |
骁龙835|armv7 | armv7 | armv7 |armv8 | armv8 |armv8
----| ---- | ---- | ---- | ---- |---- |----
threads num|1 |2 |4 |1 |2 |4 |
mobilenet_v1 |92.52 |52.34 |30.37 |88.31 |49.75 |27.29 |
mobilenet_v2 |79.50 |45.67 |28.79 |76.13 |44.01 |26.13 |
shufflenet_v2 |10.94 |7.08 |5.16 |10.64 |6.83 |5.01 |
麒麟980|armv7 | armv7 | armv7 |armv8 | armv8 |armv8
----| ---- | ---- | ---- | ---- |---- |----
threads num|1 |2 |4 |1 |2 |4 |
mobilenet_v1 |55.36 |28.18 |13.31 |34.42 |17.93 |12.52 |
mobilenet_v2 |49.17 |26.10 |65.49 |30.50 |16.66 |11.72 |
shufflenet_v2 |8.45 |5.00 |15.65 |4.58 |3.14 |2.83 |
麒麟970|armv7 | armv7 | armv7 |armv8 | armv8 |armv8
----| ---- | ---- | ---- | ---- |---- |----
threads num|1 |2 |4 |1 |2 |4 |
mobilenet_v1 |97.85 |53.38 |33.85 |94.29 |49.42 |28.29 |
mobilenet_v2 |87.40 |50.25 |31.85 |85.55 |48.11 |28.24 |
shufflenet_v2 |12.16 |8.39 |6.21 |12.21 |8.33 |6.32 |
#### int8量化模型测试数据
骁龙855|armv7 | armv7 | armv7 |armv8 | armv8 |armv8
----| ---- | ---- | ---- | ---- |---- |----
threads num|1 |2 |4 |1 |2 |4 |
mobilenet_v1 |36.80 |21.58 |11.12 | 14.01 |8.13 |4.32 |
mobilenet_v2 |28.72 |19.08 |12.49 | 17.24 |11.55 |7.82 |
骁龙835|armv7 | armv7 | armv7 |armv8 | armv8 |armv8
----| ---- | ---- | ---- | ---- |---- |----
threads num|1 |2 |4 |1 |2 |4 |
mobilenet_v1 |60.76 |32.25 |16.66 |56.57 |29.84 |15.24 |
mobilenet_v2 |49.38 |31.10 |22.07 |47.52 |28.18 |19.24 |
麒麟970|armv7 | armv7 | armv7 |armv8 | armv8 |armv8
----| ---- | ---- | ---- | ---- |---- |----
threads num|1 |2 |4 |1 |2 |4 |
mobilenet_v1 |65.95 |34.39 |18.68 |60.86 |30.98 |16.31 |
mobilenet_v2 |68.87 |39.39 |24.43 |65.57 |37.31 |20.87 |
docs/benchmark/benchmark_tools.md 0 → 100644
浏览文件 @ e3afddc5
# Benchmark 测试方法
本文将会介绍，在**Ubuntu:16.04交叉编译环境**下，用安卓手机在终端测试Paddle-Lite的性能，并介绍两种Benchmark方法：
1. **一键Benchmark**：适用于想快速获得常见模型性能的用户，下载预编译好的benchmark可执行文件；
2. **逐步Benchmark**：将**一键Benchmark**流程拆解讲解。
## 环境准备
1. 准备[adb](https://developer.android.com/studio/command-line/adb)等必备软件：
```shell
sudo apt update
sudo apt install -y wget adb
```
2. 检查手机与电脑连接。安卓手机USB连上电脑，打开设置 -> 开启开发者模式 -> 开启USB调试 -> 允许（授权）当前电脑调试手机；
3. 在电脑终端输入`adb devices`命令，查看当前连接到的设备：
```shell
adb devices
```
命令成功执行，显示结果类似下面（序列码略有不同）：
```shell
List of devices attached
712QSDSEMMS7C device
```
## 一. 一键Benchmark
执行以下命令，完成Benchmark：
```shell
wget -c https://paddle-inference-dist.bj.bcebos.com/PaddleLite/benchmark_0/run_benchmark.sh
sh run_benchmark.sh
```
该`run_benchmark.sh`脚本会：
1. 下载模型，并上传手机：包含mobilenetv1/v2、shufflenetv2、squeezenetv1.1、mnasnet；
2. 下载pre-built android-armv7和android-armv8的可执行文件，并上传手机：`benchmark_bin_v7`和`benchmark_bin_v8`；
3. 自动执行另一个脚本`benchmark.sh`（多台手机连接USB，请在`benchmark.sh`脚本中对`adb`命令后加上测试手机的`serial number`）；
4. 从手机下载benchmark结果`result_armv7.txt`和`result_armv8.txt`，到当前目录，并显示Benchmark结果。
## 二. 逐步Benchmark
### 1. 获取benchmark可执行文件
benchmark_bin文件可以测试PaddleLite的性能，有下面两种方式获得。
#### 方式一：下载benchmark_bin可执行文件
```shell
# Download benchmark_bin for android-armv7
wget -c https://paddle-inference-dist.bj.bcebos.com/PaddleLite/benchmark_0/benchmark_bin_v7
# Download benchmark_bin for android-armv8
wget -c https://paddle-inference-dist.bj.bcebos.com/PaddleLite/benchmark_0/benchmark_bin_v8
```
#### 方式二：由源码编译benchmark_bin文件
根据[源码编译](../source_compile)准备编译环境，拉取PaddleLite最新release发布版代码，并在仓库根目录下，执行：
```shell
###########################################
# Build benchmark_bin for android-armv7 #
###########################################
./lite/tools/ci_build.sh \
--arm_os="android" \
--arm_abi="armv7" \
--arm_lang="gcc " \
build_arm
# `benchmark_bin` 在: <paddle-lite-repo>/build.lite.android.armv7.gcc/lite/api/benchmark_bin
###########################################
# Build benchmark_bin for android-armv8 #
###########################################
./lite/tools/ci_build.sh \
--arm_os="android" \
--arm_abi="armv8" \
--arm_lang="gcc " \
build_arm
# `benchmark_bin` 在: <paddle-lite-repo>/build.lite.android.armv8.gcc/lite/api/benchmark_bin
```
> **注意**：为了避免在docker内部访问不到手机的问题，建议编译得到benchmark_bin后退出到docker外面，并且将benchmark_bin文件拷贝到一个临时目录。然后在该临时目录下，按照下面步骤下载模型、拷贝脚本、测试。
### 2. 准备模型
PaddleLite为Benchmark准备好了[常见Benchmark模型](https://paddle-inference-dist.bj.bcebos.com/PaddleLite/benchmark_0/benchmark_models.tgz)。
执行以下命令，下载常见Benchmark模型并解压：
```shell
wget -c https://paddle-inference-dist.bj.bcebos.com/PaddleLite/benchmark_0/benchmark_models.tgz
tar zxvf benchmark_models.tgz
```
如果测试其他模型，请将模型文件放到 `benchmark_models` 文件夹中。
### 3. benchmark.sh脚本
benchmark测试的执行脚本`benchmark.sh` 位于源码中的`/PaddleLite/lite/tools/benchmark.sh`位置，测试时需要将`benchmark.sh`、 `benchmark_bin` 、 `benchmark_models` 文件复制到同一目录下。
### 4. 测试
从终端进入benchmark.sh、可执行文件（benchmark_bin_v7、benchmark_bin_v8）和模型文件（benchmark_models）所在文件夹。
如果 `benchmark_models` 中所有模型文件都已经使用 `model_optimize_tool` 进行转换，则使用 benchmark.sh 脚本执行如下命令进行测试：
```shell
# Benchmark for android-armv7
sh benchmark.sh ./benchmark_bin_v7 ./benchmark_models result_armv7.txt
# Benchmark for android-armv8
sh benchmark.sh ./benchmark_bin_v8 ./benchmark_models result_armv8.txt
```
如果 `benchmark_models` 中所有模型文件都没有使用 `model_optimize_tool` 进行转换，则执行下面的命令。`benchmark_bin` 会首先转换模型，然后加载模型进行测试。
```shell
# Benchmark for android-armv7
sh benchmark.sh ./benchmark_bin_v7 ./benchmark_models result_armv7.txt true
# Benchmark for android-armv8
sh benchmark.sh ./benchmark_bin_v8 ./benchmark_models result_armv8.txt true
```
测试结束后，armv7和armv8的结果，分别保存在当前目录下的`result_armv7.txt`和`result_armv8.txt`文件中。
**查看测试结果**
在当前目录的`result_armv7.txt`和`result_armv8.txt`文件，查看测试结果。
> 不同手机，不同版本，测试模型的性能数据不同。
```shell
run benchmark armv7
--------------------------------------
PaddleLite Benchmark
Threads=1 Warmup=10 Repeats=30
-- mnasnet avg = 159.8427 ms
-- mobilenet_v1 avg = 235.0072 ms
-- mobilenet_v2 avg = 173.0387 ms
-- shufflenet_v2 avg = 76.0040 ms
-- squeezenet_v11 avg = 164.2957 ms
Threads=2 Warmup=10 Repeats=30
-- mnasnet avg = 83.1287 ms
-- mobilenet_v1 avg = 121.6029 ms
-- mobilenet_v2 avg = 86.6175 ms
-- shufflenet_v2 avg = 41.5761 ms
-- squeezenet_v11 avg = 87.8678 ms
Threads=4 Warmup=10 Repeats=30
-- mnasnet avg = 73.3880 ms
-- mobilenet_v1 avg = 119.0739 ms
-- mobilenet_v2 avg = 85.3050 ms
-- shufflenet_v2 avg = 38.0762 ms
-- squeezenet_v11 avg = 64.2201 ms
--------------------------------------
run benchmark armv8
--------------------------------------
PaddleLite Benchmark
Threads=1 Warmup=10 Repeats=30
-- mnasnet avg = 165.3073 ms
-- mobilenet_v1 avg = 306.0188 ms
-- mobilenet_v2 avg = 195.1884 ms
-- shufflenet_v2 avg = 99.3692 ms
-- squeezenet_v11 avg = 156.6971 ms
Threads=2 Warmup=10 Repeats=30
-- mnasnet avg = 90.2290 ms
-- mobilenet_v1 avg = 157.0007 ms
-- mobilenet_v2 avg = 118.1607 ms
-- shufflenet_v2 avg = 68.6804 ms
-- squeezenet_v11 avg = 91.3090 ms
Threads=4 Warmup=10 Repeats=30
-- mnasnet avg = 179.9730 ms
-- mobilenet_v1 avg = 204.0684 ms
-- mobilenet_v2 avg = 181.6486 ms
-- shufflenet_v2 avg = 123.2728 ms
-- squeezenet_v11 avg = 412.9046 ms
--------------------------------------
```
docs/conf.py 0 → 100644
浏览文件 @ e3afddc5
# -*- coding: utf-8 -*-
#
# Configuration file for the Sphinx documentation builder.
#
# This file does only contain a selection of the most common options. For a
# full list see the documentation:
# http://www.sphinx-doc.org/en/master/config
# -- Path setup --------------------------------------------------------------
# If extensions (or modules to document with autodoc) are in another directory,
# add these directories to sys.path here. If the directory is relative to the
# documentation root, use os.path.abspath to make it absolute, like shown here.
#
import os
import sys
#sys.path.insert(0, os.path.abspath('.'))
import sphinx_rtd_theme
from recommonmark.parser import CommonMarkParser
from recommonmark.transform import AutoStructify
# -- Project information -----------------------------------------------------
project = u'Paddle-Lite'
copyright = u'2020, Paddle-Lite Developer'
author = u'Paddle-Lite Developer'
# The short X.Y version
version = u'latest'
# The full version, including alpha/beta/rc tags
release = u''
# -- General configuration ---------------------------------------------------
# If your documentation needs a minimal Sphinx version, state it here.
#
# needs_sphinx = '1.0'
# Add any Sphinx extension module names here, as strings. They can be
# extensions coming with Sphinx (named 'sphinx.ext.*') or your custom
# ones.
extensions = ['recommonmark', 'sphinx_markdown_tables']
# Add any paths that contain templates here, relative to this directory.
templates_path = ['_templates']
# The suffix(es) of source filenames.
# You can specify multiple suffix as a list of string:
#
source_suffix = ['.rst', '.md']
# The master toctree document.
master_doc = 'index'
# The language for content autogenerated by Sphinx. Refer to documentation
# for a list of supported languages.
#
# This is also used if you do content translation via gettext catalogs.
# Usually you set "language" from the command line for these cases.
language = None
# List of patterns, relative to source directory, that match files and
# directories to ignore when looking for source files.
# This pattern also affects html_static_path and html_extra_path.
exclude_patterns = [u'_build', 'Thumbs.db', '.DS_Store']
# The name of the Pygments (syntax highlighting) style to use.
pygments_style = None
# -- Options for HTML output -------------------------------------------------
# The theme to use for HTML and HTML Help pages. See the documentation for
# a list of builtin themes.
#
html_theme = 'sphinx_rtd_theme'
# Theme options are theme-specific and customize the look and feel of a theme
# further. For a list of options available for each theme, see the
# documentation.
#
# html_theme_options = {}
# Add any paths that contain custom static files (such as style sheets) here,
# relative to this directory. They are copied after the builtin static files,
# so a file named "default.css" will overwrite the builtin "default.css".
html_static_path = ['_static']
# Custom sidebar templates, must be a dictionary that maps document names
# to template names.
#
# The default sidebars (for documents that don't match any pattern) are
# defined by theme itself. Builtin themes are using these templates by
# default: ``['localtoc.html', 'relations.html', 'sourcelink.html',
# 'searchbox.html']``.
#
# html_sidebars = {}
# -- Options for HTMLHelp output ---------------------------------------------
# Output file base name for HTML help builder.
htmlhelp_basename = 'Paddle-Litedoc'
# -- Options for LaTeX output ------------------------------------------------
latex_elements = {
# The paper size ('letterpaper' or 'a4paper').
#
# 'papersize': 'letterpaper',
# The font size ('10pt', '11pt' or '12pt').
#
# 'pointsize': '10pt',
# Additional stuff for the LaTeX preamble.
#
# 'preamble': '',
# Latex figure (float) alignment
#
# 'figure_align': 'htbp',
}
# Grouping the document tree into LaTeX files. List of tuples
# (source start file, target name, title,
# author, documentclass [howto, manual, or own class]).
latex_documents = [
(master_doc, 'Paddle-Lite.tex', u'Paddle-Lite Documentation',
u'Paddle-Lite Developer', 'manual'),
]
# -- Options for manual page output ------------------------------------------
# One entry per manual page. List of tuples
# (source start file, name, description, authors, manual section).
man_pages = [
(master_doc, 'paddle-lite', u'Paddle-Lite Documentation',
[author], 1)
]
# -- Options for Texinfo output ----------------------------------------------
# Grouping the document tree into Texinfo files. List of tuples
# (source start file, target name, title, author,
# dir menu entry, description, category)
texinfo_documents = [
(master_doc, 'Paddle-Lite', u'Paddle-Lite Documentation',
author, 'Paddle-Lite', 'One line description of project.',
'Miscellaneous'),
]
# -- Options for Epub output -------------------------------------------------
# Bibliographic Dublin Core info.
epub_title = project
# The unique identifier of the text. This can be a ISBN number
# or the project homepage.
#
# epub_identifier = ''
# A unique identification for the text.
#
# epub_uid = ''
# A list of files that should not be packed into the epub file.
epub_exclude_files = ['search.html']
docs/index.rst 0 → 100644
浏览文件 @ e3afddc5
.. Paddle-Lite documentation master file, created by
sphinx-quickstart on Thu Feb 6 14:11:30 2020.
You can adapt this file completely to your liking, but it should at least
contain the root `toctree` directive.
Welcome to Paddle-Lite's documentation!
=======================================
.. toctree::
:maxdepth: 1
:caption: 简介
:name: sec-introduction
introduction/tech_highlights
introduction/architecture
.. toctree::
:maxdepth: 1
:caption: Benchmark数据和方法
:name: sec-benchmark
benchmark/benchmark
benchmark/benchmark_tools
.. toctree::
:maxdepth: 1
:caption: 安装
:name: sec-install
installation/source_compile
.. toctree::
:maxdepth: 1
:caption: 使用指南
:name: sec-user-guides
user_guides/model_optimize_tool
user_guides/library_tailoring
user_guides/cuda
user_guides/opencl
.. toctree::
:maxdepth: 1
:caption: 进阶使用指南
advanced_user_guides/support_operation_list
advanced_user_guides/add_operation
advanced_user_guides/add_layout
advanced_user_guides/model_quantization
advanced_user_guides/add_new_pass
advanced_user_guides/x86
.. toctree::
:maxdepth: 1
:caption: 开发者文档
.. toctree::
:maxdepth: 1
:caption: API文档
api_reference/cxx_api_doc
.. toctree::
:maxdepth: 1
:caption: FAQ
.. toctree::
:maxdepth: 1
:caption: paddle-mobile
docs/installation/library.md 0 → 100644
浏览文件 @ e3afddc5
# 预测库说明
Paddle-Lite的编译结果为预测库文件（包括静态库和动态库），具体编译过程参考[源码编译](./source_compile)。
Lite预测库分为**基础预测库**和**全量预测库**：基础预测库只打包了基础模型需要的基础算子，预测库体积较小；全量预测库打包了所有的Lite算子，可以支持更多的模型，但是预测库的体积也更大。 编译时由编译选项 `build_extra`(默认为OFF)控制，`--build_extra=OFF`时编译基础预测库，`--build_extra=ON`时编译全量的预测库。
## 基础预测库
### 编译方法
编译时设置`--build_extra=OFF` (默认值) 或不指定即可编译出基础预测库。例如：
```
./lite/tools/build.sh --arm_os=android --arm_abi=armv8 --arm_lang=gcc --android_stl=c++_static tiny_publish
```
### 基础预测库支持的功能
（1）支持基础CV模型
（2）支持基础的in8量化模型
（3）支持[benchmark测试](../benchmark/benchmark)
### 基础预测库支持的基础模型：
1. fluid基础模型（paddle model 提供的基础模型9个）
```
mobileNetV1 mnasnet yolov3 ssd_mobilenetv1 shufflenet_v2
mobileNetV2 resnet50 unet squeezenet_v11
```
2. int8量化模型模型
```
mobilenet_v1 mobilenet_v2 resnet50
```
### 特点
轻量级预测库，体积更小，支持常用的基础模型。
## 全量预测库
### 编译方法
编译时设置`--build_extra=ON` 即可编译出全量预测库。例如：
```
./lite/tools/build.sh --arm_os=android --arm_abi=armv8 --arm_lang=gcc --android_stl=c++_static --build_extra=ON tiny_publish
```
### 全量预测库功能
（1） 基础预测库所有功能
（2）支持所有Paddle-Lite中注册的所有算子
### 特点
支持更多的硬件平台和算子，可以支持更多模型但体量更大。
docs/installation/source_compile.md 0 → 100644
浏览文件 @ e3afddc5
# 源码编译
Paddle-Lite 提供了移动端的一键源码编译脚本 `lite/tools/build.sh`，编译流程如下：
1. 环境准备（选择其一）：Docker交叉编译环境、Linux交叉编译环境
2. 编译：调用`build.sh`脚本一键编译
## 一、环境准备
目前支持三种编译的环境：
1. Docker 容器环境，
2. Linux（推荐 Ubuntu 16.04）环境，
3. Mac OS 环境。
### 1、 Docker开发环境
[Docker](https://www.docker.com/) 是一个开源的应用容器引擎, 使用沙箱机制创建独立容器，方便运行不同程序。Docker初学者可以参考[Docker使用方法](https://thenewstack.io/docker-station-part-one-essential-docker-concepts-tools-terminology/)正确安装Docker。
#### 准备Docker镜像
有两种方式准备Docker镜像，推荐从Dockerhub直接拉取Docker镜像
```shell
# 方式一：从Dockerhub直接拉取Docker镜像
docker pull paddlepaddle/paddle-lite:2.0.0_beta
# 方式二：本地源码编译Docker镜像
git clone https://github.com/PaddlePaddle/Paddle-Lite.git
cd Paddle-Lite/lite/tools
mkdir mobile_image
cp Dockerfile.mobile mobile_image/Dockerfile
cd mobile_image
docker build -t paddlepaddle/paddle-lite .
# 镜像编译成功后，可用`docker images`命令，看到`paddlepaddle/paddle-lite`镜像。
```
#### 进入Docker容器
在拉取Paddle-Lite仓库代码的上层目录，执行如下代码，进入Docker容器：
```shell
docker run -it \
--name paddlelite_docker \
-v $PWD/Paddle-Lite:/Paddle-Lite \
--net=host \
paddlepaddle/paddle-lite /bin/bash
```
该命令的含义：将容器命名为`paddlelite_docker`即`<container-name>`，将当前目录下的`Paddle-Lite`文件夹挂载到容器中的`/Paddle-Lite`这个根目录下，并进入容器中。至此，完成Docker环境的准备。
#### Docker常用命令
```shell
# 退出容器但不停止/关闭容器：键盘同时按住三个键：CTRL + q + p
# 启动停止的容器
docker start <container-name>
# 从shell进入已启动的容器
docker attach <container-name>
# 停止正在运行的Docker容器
docker stop <container-name>
# 重新启动正在运行的Docker容器
docker restart <container-name>
# 删除Docker容器
docker rm <container-name>
```
### 2、Linux 开发环境
#### Android
##### 交叉编译环境要求
- gcc、g++、git、make、wget、python、adb
- Java environment
- cmake（建议使用3.10或以上版本）
- Android NDK (建议ndk-r17c)
##### 具体步骤
安装软件部分以 Ubuntu 为例，其他 Linux 发行版类似。
```shell
# 1. Install basic software
apt update
apt-get install -y --no-install-recommends \
gcc g++ git make wget python unzip adb curl
# 2. Prepare Java env.
apt-get install -y default-jdk
# 3. Install cmake 3.10 or above
wget -c https://mms-res.cdn.bcebos.com/cmake-3.10.3-Linux-x86_64.tar.gz && \
tar xzf cmake-3.10.3-Linux-x86_64.tar.gz && \
mv cmake-3.10.3-Linux-x86_64 /opt/cmake-3.10 && \
ln -s /opt/cmake-3.10/bin/cmake /usr/bin/cmake && \
ln -s /opt/cmake-3.10/bin/ccmake /usr/bin/ccmake
# 4. Download Android NDK for linux-x86_64
# Note: Skip this step if NDK installed
# recommand android-ndk-r17c-darwin-x86_64
# ref: https://developer.android.com/ndk/downloads
cd /tmp && curl -O https://dl.google.com/android/repository/android-ndk-r17c-linux-x86_64.zip
cd /opt && unzip /tmp/android-ndk-r17c-linux-x86_64.zip
# 5. Add environment ${NDK_ROOT} to `~/.bashrc`
echo "export NDK_ROOT=/opt/android-ndk-r17c" >> ~/.bashrc
source ~/.bashrc
```
#### ARM Linux
适用于基于 ARMv8 和 ARMv7 架构 CPU 的各种开发板，例如 RK3399，树莓派等，目前支持交叉编译和本地编译两种方式，对于交叉编译方式，在完成目标程序编译后，可通过 scp 方式将程序拷贝到开发板运行。
##### 交叉编译
###### 编译环境要求
- gcc、g++、git、make、wget、python、scp
- cmake（建议使用3.10或以上版本）
###### 具体步骤
安装软件部分以 Ubuntu 为例，其他 Linux 发行版类似。
```shell
# 1. Install basic software
apt update
apt-get install -y --no-install-recommends \
gcc g++ git make wget python unzip
# 2. Install arm gcc toolchains
apt-get install -y --no-install-recommends \
g++-arm-linux-gnueabi gcc-arm-linux-gnueabi \
g++-arm-linux-gnueabihf gcc-arm-linux-gnueabihf \
gcc-aarch64-linux-gnu g++-aarch64-linux-gnu
# 3. Install cmake 3.10 or above
wget -c https://mms-res.cdn.bcebos.com/cmake-3.10.3-Linux-x86_64.tar.gz && \
tar xzf cmake-3.10.3-Linux-x86_64.tar.gz && \
mv cmake-3.10.3-Linux-x86_64 /opt/cmake-3.10 && \
ln -s /opt/cmake-3.10/bin/cmake /usr/bin/cmake && \
ln -s /opt/cmake-3.10/bin/ccmake /usr/bin/ccmake
```
##### 本地编译（直接在RK3399或树莓派上编译）
###### 编译环境要求
- gcc、g++、git、make、wget、python
- cmake（建议使用3.10或以上版本）
###### 具体步骤
安装软件部分以 Ubuntu 为例，其他 Linux 发行版本类似。
```shell
# 1. Install basic software
apt update
apt-get install -y --no-install-recomends \
gcc g++ make wget python unzip
# 2. install cmake 3.10 or above
wget https://www.cmake.org/files/v3.10/cmake-3.10.3.tar.gz
tar -zxvf cmake-3.10.3.tar.gz
cd cmake-3.10.3
./configure
make
sudo make install
```
之后可通过cmake --version查看cmake是否安装成功。
至此，完成 Linux 交叉编译环境的准备。
### 3、Mac OS 开发环境
#### 交叉编译环境要求
- gcc、git、make、curl、unzip、java
- cmake（Android编译请使用3.10版本，IOS编译请使用3.15版本）
- 编译Android: Android NDK (建议ndk-r17c)
- 编译IOS: XCode(Version 10.1)
#### 具体步骤
```bash
# 1. Install basic software
brew install curl gcc git make unzip wget
# 2. Install cmake: mac上实现IOS编译和Android编译要求的cmake版本不一致,可以根据需求选择安装。
# （1）在mac环境编译 Paddle-Lite 的Android版本，需要安装cmake 3.10
# mkdir /usr/local/Cellar/cmake/ && cd /usr/local/Cellar/cmake/
# wget https://cmake.org/files/v3.10/cmake-3.10.2-Darwin-x86_64.tar.gz
# tar zxf ./cmake-3.10.2-Darwin-x86_64.tar.gz
# mv cmake-3.10.2-Darwin-x86_64/CMake.app/Contents/ ./3.10.2
# ln -s /usr/local/Cellar/cmake/3.10.2/bin/cmake /usr/local/bin/cmake
# （2）在mac环境编译 Paddle-Lite 的IOS版本，需要安装cmake 3.15
# mkdir /usr/local/Cellar/cmake/ && cd /usr/local/Cellar/cmake/
# cd /usr/local/Cellar/cmake/
# wget https://cmake.org/files/v3.15/cmake-3.15.2-Darwin-x86_64.tar.gz
# tar zxf ./cmake-3.15.2-Darwin-x86_64.tar.gz
# mv cmake-3.15.2-Darwin-x86_64/CMake.app/Contents/ ./3.15.2
# ln -s /usr/local/Cellar/cmake/3.15.2/bin/cmake /usr/local/bin/cmake
# 3. Download Android NDK for Mac
# recommand android-ndk-r17c-darwin-x86_64
# ref: https://developer.android.com/ndk/downloads
# Note: Skip this step if NDK installed
cd ~/Documents && curl -O https://dl.google.com/android/repository/android-ndk-r17c-darwin-x86_64.zip
cd ~/Library && unzip ~/Documents/android-ndk-r17c-darwin-x86_64.zip
# 4. Add environment ${NDK_ROOT} to `~/.bash_profile`
echo "export NDK_ROOT=~/Library/android-ndk-r17c" >> ~/.bash_profile
source ~/.bash_profile
# 5. Install Java Environment
brew cask install java
# 6. 编译IOS需要安装XCode(Version 10.1)，可以在App Store里安装。安装后需要启动一次并执行下面语句。
# sudo xcode-select -s /Applications/Xcode.app/Contents/Developer
```
至此，完成 Mac 交叉编译环境的准备。
**注意**: Mac上编译Paddle-Lite的full_publish版本时，Paddle-Lite所在路径中不可以含有中文字符
## 二、编译PaddleLite
### 下载代码
```shell
git clone https://github.com/PaddlePaddle/Paddle-Lite.git
cd Paddle-Lite
git checkout <release-version-tag>
```
### 编译模式与参数
编译脚本`./lite/tools/build.sh`，支持三种编译模式：
| 编译模式 | 介绍 | 适用对象 |
|:-------:|-----|:-------:|
| tiny_publish | 编译移动端部署库，无第三方库依赖 | 用户 |
| full_publish | 编译移动端部署库，有第三方依赖如protobuf、glags等，含有可将模型转换为无需protobuf依赖的naive buffer格式的工具，供tiny_publish库使用 | 用户 |
| test | 编译指定`arm_os`、`arm_abi`下的移动端单元测试 | 框架开发者 |
编译脚本`./lite/tools/build.sh`，追加参数说明：
| 参数 | 介绍 | 值 |
|-----------|-------------|-------------|
| --arm_os |必选，选择安装平台 | `android`、`ios`、`ios64`、`armlinux` |
| --arm_abi |必选，选择编译的arm版本，其中`armv7hf`为ARMLinux编译时选用| `armv8`、`armv7`、`armv7hf`(仅`armlinux`支持) |
| --arm_lang |arm_os=android时必选，选择编译器 | `gcc`、`clang`(`clang`当前暂不支持) |
| --android_stl |arm_os=android时必选，选择静态链接STL或动态链接STL | `c++_static`、`c++_shared`|
| --build_java | 可选，是否编译java预测库（默认为OFF） | `ON`、`OFF` |
| --build_extra | 可选，是否编译全量预测库（默认为OFF）。详情可参考[预测库说明](./library.html)。 | `ON`、`OFF` |
| target |必选，选择编译模式，`tiny_publish`为编译移动端部署库、`full_publish`为带依赖的移动端部署库、`test`为移动端单元测试、`ios`为编译ios端`tiny_publish` | `tiny_publish`、`full_publish`、`test`、 `ios` |
### 编译代码
**<font color="orange" >注意</font>**<font color="orange" >：非开发者建议在编译前使用</font>[**“加速第三方依赖库的下载”**](#id22)<font color="orange" >的方法，加速工程中第三方依赖库的下载与编译。 </font>
#### 编译`tiny publish`动态库
##### Android
```shell
./lite/tools/build.sh \
--arm_os=android \
--arm_abi=armv8 \
--build_extra=OFF \
--arm_lang=gcc \
--android_stl=c++_static \
--build_extra=OFF \
tiny_publish
```
##### IOS
```shell
./lite/tools/build.sh \
--arm_os=ios64 \
--arm_abi=armv8 \
--build_extra=OFF \
ios
```
**注意：mac环境编译IOS 时，cmake版本需要高于cmake 3.15；mac环境上编译Android时，cmake版本需要设置为cmake 3.10。**
ios tiny publish支持的编译选项：
* `--arm_os`: 可选ios或者ios64
* `--arm_abi`: 可选armv7和armv8（**注意**：当`arm_os=ios`时只能选择`arm_abi=armv7`，当`arm_os=ios64`时只能选择`arm_abi=armv8`）
* 如果mac编译过程中报错："Invalid CMAKE_DEVELOPER_ROOT: does not exist", 运行：
```shell
sudo xcode-select -s /Applications/Xcode.app/Contents/Developer
```
##### ARMLinux
```shell
./lite/tools/build.sh \
--build_extra=OFF \
--arm_os=armlinux \
--arm_abi=armv7hf \
--arm_lang=gcc \
--build_extra=OFF \
tiny_publish
```
- `--arm_abi`: 树莓派3b使用armv7hf，RK3399使用armv8
#### 编译`full publish`动态库
##### Android
```shell
./lite/tools/build.sh \
--arm_os=android \
--arm_abi=armv8 \
--build_extra=OFF \
--arm_lang=gcc \
--android_stl=c++_static \
--build_extra=OFF \
full_publish
```
##### ARMLinux
```shell
./lite/tools/build.sh \
--arm_os=armlinux \
--arm_abi=armv7hf \
--arm_lang=gcc \
--build_extra=OFF \
full_publish
```
- `--arm_abi`: 树莓派3b使用armv7hf，RK3399使用armv8
### 编译结果说明
**编译最终产物位置**在 `build.lite.xxx.xxx.xxx` 下的 `inference_lite_lib.xxx.xxx` ，如 Android 下 ARMv8 的产物位于`inference_lite_lib.android.armv8`：
![](https://user-images.githubusercontent.com/45189361/65375706-204e8780-dccb-11e9-9816-ab4563ce0963.png)
**目录内容**（可能）如下：
**Full_publish编译结果:**
![](https://user-images.githubusercontent.com/45189361/65375704-19c01000-dccb-11e9-9650-6856c7a5bf82.png)
**Tiny_publish结果:**
![](https://user-images.githubusercontent.com/45189361/65375726-3bb99280-dccb-11e9-9903-8ce255371905.png)
**IOS编译结果:**
![](https://user-images.githubusercontent.com/45189361/65375726-3bb99280-dccb-11e9-9903-8ce255371905.png)
**具体内容**说明：
1、 `bin`文件夹：可执行工具文件 `paddle_code_generator`、`test_model_bin`
2、 `cxx`文件夹：包含c++的库文件与相应的头文件
- `include` : 头文件
- `lib` : 库文件
- 打包的静态库文件：
- `libpaddle_api_full_bundled.a` ：包含 full_api 和 light_api 功能的静态库
- `libpaddle_api_light_bundled.a` ：只包含 light_api 功能的静态库
- 打包的动态态库文件：
- `libpaddle_full_api_shared.so` ：包含 full_api 和 light_api 功能的动态库
- `libpaddle_light_api_shared.so`：只包含 light_api 功能的动态库
3、 `demo`文件夹：示例 demo ，包含 C++ demo 和 Java demo。
- `cxx` ： C++示例 demo
- `mobile_full` : full_api 的使用示例
- `mobile_light` : light_api的使用示例
- `java` ：Java 示例 demo
- `android` : Java的 Android 示例
4、 `java` 文件夹：包含 Jni 的动态库文件与相应的 Jar 包
- `jar` : `PaddlePredictor.jar`
- `so` : Jni动态链接库 `libpaddle_lite_jni.so`
5、 `third_party` 文件夹：第三方库文件`gflags`
**注意：**
1、 只有当`--arm_os=android` 时才会编译出：
- Java库文件与示例：`Java`和`demo/java`
- 动态库文件:`libpaddle_full_api_shared.so`,`libpaddle_light_api_shared.so`
2、 `tiny_publish`编译结果不包括 C++ demo和 C++ 静态库，但提供 C++ 的 light_api 动态库、 Jni 动态库和Java demo
### 加速第三方依赖库的下载
移动端相关编译所需的第三方库均位于 `<PaddleLite>/third-party` 目录下，默认编译过程中，会利用`git submodule update --init --recursive`链上相关的第三方依赖的仓库。
为加速`full_publish`、`test`编译模式中对`protobuf`等第三方依赖的下载，`build.sh` 和 `ci_build.sh`支持了从国内 CDN 下载第三方依赖的压缩包。
使用方法：`git clone`完`Paddle-Lite`仓库代码后，手动删除本地仓库根目录下的`third-party`目录：
```shell
git clone https://github.com/PaddlePaddle/Paddle-Lite.git
git checkout <release-version-tag>
cd Paddle-Lite
rm -rf third-party
```
之后再根据本文档，进行后续编译时，便会忽略第三方依赖对应的`submodule`，改为下载第三方压缩包。
docs/introduction/architecture.md 0 → 100644
浏览文件 @ e3afddc5
# 架构设计
Mobile 在这次升级为 Lite 架构， 侧重多硬件、高性能的支持，其主要设计思想如下
- 引入 Type system，强化多硬件、量化方法、data layout 的混合调度能力
- 硬件细节隔离，通过不同编译开关，对支持的任何硬件可以自由插拔
- 引入 MIR(Machine IR) 的概念，强化带执行环境下的优化支持
- 优化期和执行期严格隔离，保证预测时轻量和高效率
架构图如下
![Paddle Inference Refactor1.0](https://user-images.githubusercontent.com/52520497/64949619-26e49580-d8ac-11e9-855a-514feb9b75af.png)
## 编译期和执行期严格隔离设计
- compile time 优化完毕可以将优化信息存储到模型中；execution time 载入并执行
- 两套 API 及对应的预测lib，满足不同场景
- `CxxPredictor` 打包了 `Compile Time` 和 `Execution Time`，可以 runtime 在具体硬件上做分析和优化，得到最优效果
- `MobilePredictor` 只打包 `Execution Time`，保持部署和执行的轻量
## `Execution Time` 轻量级设计和实现
- 每个 batch 实际执行只包含两个步骤执行
- `Op.InferShape`
- `Kernel.Run`，Kernel 相关参数均使用指针提前确定，后续无查找或传参消耗
- 设计目标，执行时，只有 kernel 计算本身消耗
- 轻量级 `Op` 及 `Kernel` 设计，避免框架额外消耗
- `Op` 只有 `CreateKernels` 和 `InferShape` 两个重要职能
- `Kernel` 只有 `Run` 职能
## 多硬件后端支持
- 硬件通用行为，使用 `TargetWrapper` 模块做适配器适配，对上层框架提供一致界面
- 框架上层策略保持硬件无关，如存储优化 (Memory optimize)，计算剪枝 (Computation prune) 等，任何硬件接入均可直接复用
- 框架支持了硬件通用行为，特定硬件细节不做过多约束，各硬件可以自行实现并接入框架
- 计算模式上目前支持两种主流模型，一种是类似 X86, ARM CPU 等非异构设备；一种是 GPU，或 FPGA 等异构设备（支持 stream, event异步执行模式以及跨设备拷贝）
---
## 多硬件及算法混合调度支持
`TensorTy` 用来表示 Tensor 类型
```c++
struct TensorTy {
TargetType target;
PrecisionType precision;
DataLayout layout;
int deviceid;
};
```
```c++
enum class TargetType { kARM, kX86, kCUDA, kOpenCL };
enum class PrecisionType { kFP32, kFP16, kInt8, kInt16 };
enum class DataLayout { kNCHW, kNHWC };
```
---
注册 Kernel，确定特定 Kernel 的输入输出特征
```c++
REGISTER_LITE_KERNEL(
mul, kARM, kFloat, kNCHW, arm::MulCompute, def)
.BindInput("X", {LiteType::GetTensorTy(kARM, kFloat, kNCHW)})
.BindInput("Y", {LiteType::GetTensorTy(kARM, kFloat, kNCHW))})
.BindOutput("Out", {LiteType::GetTensorTy(kARM, kFloat, kNCHW)})
.Finalize();
```
---
同一个 Op 的不同 Kernel 类似函数重载
用于支持任意的混合调度：
1. 标记模型中所有 tensor 的 Type
2. 标记 Kernel 的 硬件、执行精度、data layout 等信息
全局做类型推断，当发现 tensor 传递中有类型冲突，采用 type cast 操作，通过插入特定功能 Op 来实现正确的传导
![lite-7](https://user-images.githubusercontent.com/52520497/64949642-395ecf00-d8ac-11e9-8b69-ced1996abc3b.png)
---
## MIR 用于图分析优化
基于 Type System 的 SSA，通过 IR Pass 对计算图进行分析和优化：
- 支持对整个 graph 进行类型推断，发现类型冲突并加入 type cast op，来支持通用混合调度
- 计算剪枝 (Compute prune)，比如去掉 scale(1), assign op 等
- 存储优化 (Memory optimize)
- 操作熔合 (Operator fuse)（已经支持 fc, conv_bn, ele_add+act 等6种 fuse 策略）
- 支持量化处理（已支持 Int8预测）
docs/introduction/tech_highlights.md 0 → 100644
浏览文件 @ e3afddc5
# 技术特点
不同于普通的移动端预测基于类 Caffe 的架构，Lite 架构最早的设计目标来源于 Paddle Server 和 Mobile 两种场景的要求，其中 Server 端需要有完善的图分析和优化能力，而 Mobile 端要求有轻量级部署的能力，两种场景共同的要求是高性能，多硬件支持等。
基于上述要求，Lite 架构完整实现了相应的能力，重点描述如下。
## 多硬件支持
Lite 架构已经验证和完整支持从 Mobile 到 Server 多种硬件的支持需求，包括 ARM CPU, ARM GPU, Huawei NPU, Intel X86 CPU, NV GPU 等。 得益于对不同硬件适度的抽象，在Lite 框架本身清晰的同时支持不同硬件的特殊调度需求，使得Lite架构在框架的清晰程度和硬件的特定调度优化上达到很好的平衡，比如 Nvidia GPU 上复杂的 stream, event 分配，在 Lite 中可以清晰表示。
多种硬件的 Kernel 在代码层和执行层均互不干扰，用户可以自由插拔任何硬件的支持。
## 高性能
高性能来源于两方面，一是 Kernel 优化；二是框架执行。
Kernel 方面，我们对相应硬件上的 Kernel 通过指令集、操作熔合、算法改写等方式进行了深入优化。
框架执行方面，通过简化 Op 和 Kernel 的功能，使得执行期的框架开销极低；此外，框架极大的灵活性可以支持各种硬件的特定调度优化以提升整体效率。
## 量化支持
Lite 支持Paddle Slim 强大的量化训练完毕的模型，因此完整保留了量化计算的高性能以及量化训练的高精度。
## 强大的图分析和优化能力
在图分析优化上，不同于常规的移动端预测引擎基于 Python 脚本工具转化模型， Lite 架构上有完整基于 C++ 开发的 IR 及相应 Pass 集合，以支持操作熔合 (Operator fusion)，计算剪枝 (Computation pruning)，存储优化 (Memory optimization)，量化计算 (Quantitative computation) 等多类计算图优化。
更多的优化策略可以简单通过添加 Pass 的方式模块化支持。
## 轻量级部署
尽管图优化上有复杂的策略，但并不影响移动端的轻量级部署，图分析模块和最终的执行引擎可以拆开使用，最终部署只有一层薄薄的 Kernel 。
## 可支持任意硬件的混合调度
Lite 支持系统可见任意硬件的混合调度，目前已经支持 ARM CPU 和 ARM GPU 的 Kernel 自动混合调度，并验证了 X86 CPU 和 Nvidia GPU 间的混合调度。
支持混合调度的考量有两点：
1. 当系统内同时存在多种硬件可用时，混合调度可以充分利用各类硬件资源
2. 随着支持模型的增多，各硬件对kernel的支持丰富度不一，难免需要混合调度才能跑通
Lite架构通过从底层支持 `Type system` 的方式通用建模各类混合执行的行为，从而能够相对完备地支持混调。
docs/make.bat 0 → 100644
浏览文件 @ e3afddc5
@ECHO OFF
pushd %~dp0
REM Command file for Sphinx documentation
if "%SPHINXBUILD%" == "" (
set SPHINXBUILD=sphinx-build
)
set SOURCEDIR=.
set BUILDDIR=_build
if "%1" == "" goto help
%SPHINXBUILD% >NUL 2>NUL
if errorlevel 9009 (
echo.
echo.The 'sphinx-build' command was not found. Make sure you have Sphinx
echo.installed, then set the SPHINXBUILD environment variable to point
echo.to the full path of the 'sphinx-build' executable. Alternatively you
echo.may add the Sphinx directory to PATH.
echo.
echo.If you don't have Sphinx installed, grab it from
echo.http://sphinx-doc.org/
exit /b 1
)
%SPHINXBUILD% -M %1 %SOURCEDIR% %BUILDDIR% %SPHINXOPTS%
goto end
:help
%SPHINXBUILD% -M help %SOURCEDIR% %BUILDDIR% %SPHINXOPTS%
:end
popd
docs/requirements.txt 0 → 100644
浏览文件 @ e3afddc5
sphinx
recommonmark
sphinx_markdown_tables
sphinx_rtd_theme
docs/user_guides/cuda.md 0 → 100644
浏览文件 @ e3afddc5
# Lite基于CUDA的模型预测
Lite支持在x86_64，arm64架构上（如：TX2）进行CUDA的编译运行。
## 编译
**NOTE：** 如果是在TX2等NVIDIA嵌入式硬件上编译，请使用最新的[Jetpack](https://developer.nvidia.com/embedded/jetpack) 安装依赖库。
一： 下载代码
```
git clone https://github.com/PaddlePaddle/Paddle-Lite.git
```
二：编译
```
# 进入代码目录
cd Paddle-Lite
# 运行编译脚本
# 编译结束会在本目录下生成 build_cuda 目录
# 编译过程中如果提示找不到CUDA，CUDNN，请在环境变量设置CUDA_TOOLKIT_ROOT_DIR, CUDNN_ROOT
# CUDA_TOOLKIT_ROOT_DIR，CUDNN_ROOT分别表示CUDA，CUDNN的根目录
./lite/tools/build.sh cuda
# 如果使用python接口，需要打开build_python选项
./lite/tools/build.sh --build_python=ON cuda
```
编译结束会在 `build_cuda/inference_lite_lib/python/lib/` 目录下生成 `lite_core.so`。
## 运行
以下以Yolov3模型为例，介绍如何在Nvidia GPU硬件上运行模型。
一： 下载darknet_yolov3模型，模型信息请参考[这里](https://github.com/PaddlePaddle/models/tree/develop/PaddleCV/yolov3)
```
# 下载模型
wget https://paddle-inference-dist.cdn.bcebos.com/PaddleLite/yolov3_infer.tar.gz
tar -zxf yolov3_infer.tar.gz
# 下载图片样例
wget https://paddle-inference-dist.cdn.bcebos.com/PaddleLite/kite.jpg
```
二： 运行
**NOTE:**此处示例使用的是python接口，后续会开放C++接口以及示例。
``` python
#-*- coding: utf-8 -*-
from __future__ import print_function
import sys
import numpy as np
import cv2
sys.path.append('build_cuda/inference_lite_lib/python/lib')
from lite_core import *
def read_img(im_path, resize_h, resize_w):
im = cv2.imread(im_path).astype('float32')
im = cv2.cvtColor(im, cv2.COLOR_BGR2RGB)
h, w, _ = im.shape
im_scale_x = resize_h / float(w)
im_scale_y = resize_w / float(h)
out_img = cv2.resize(im, None, None, fx=im_scale_x, fy=im_scale_y, interpolation=cv2.INTER_CUBIC)
mean = np.array([0.485, 0.456, 0.406]).reshape((1, 1, -1))
std = np.array([0.229, 0.224, 0.225]).reshape((1, 1, -1))
out_img = (out_img / 255.0 - mean) / std
out_img = out_img.transpose((2, 0, 1))
return out_img
# 配置config
a = CxxConfig()
a.set_model_file('./yolov3_infer/__model__') # 指定模型文件路径
a.set_param_file('./yolov3_infer/__params__') # 指定参数文件路径
place_cuda = Place(TargetType.CUDA)
a.set_valid_places([place_cuda])
# 创建predictor
predictor = create_paddle_predictor(a)
# 设置输入
input_tensor = predictor.get_input(0);
height, width = 608, 608
input_tensor.resize([1, 3, height, width])
data = read_img('./kite.jpg', height, width).flatten()
input_tensor.set_float_data(data, TargetType.CUDA)
in2 = predictor.get_input(1);
in2.resize([1, 2])
in2.set_int32_data([height, width], TargetType.CUDA)
# 运行
predictor.run()
# 获取输出
output_tensor = predictor.get_output(0);
print (output_tensor.shape())
# [100L, 6L]
print (output_tensor.target())
# TargetType.Host
print (output_tensor.float_data()[:6])
# [0.0, 0.9862784743309021, 98.51927185058594, 471.2381286621094, 120.73092651367188, 578.33251953125]
```
**NOTE：** 对CUDA的支持还在持续开发中。
docs/user_guides/library_tailoring.md 0 → 100644
浏览文件 @ e3afddc5
# 裁剪预测库方法
Paddle-Lite支持**根据模型裁剪预测库**功能。Paddle-Lite的一般编译会将所有已注册的operator打包到预测库中，造成库文件体积膨胀；**裁剪预测库**能针对具体的模型，只打包优化后该模型需要的operator，有效降低预测库文件大小。
## 效果展示(Tiny_publish Android动态预测库体积)
| 测试模型 | 裁剪开关 | **libpaddle_lite_jni.so** |转化后模型中的OP|
| ------------------ | ---------------------------- | -------- |------------------|
| mobilenetv1（armv8） | 裁剪前--build_tailor=OFF | 1.5M | feed,etch,conv2d,depthwise_conv2d,fc,fpool2d,softmax |
| mobilenetv1（armv8） | 裁剪后--build_tailor=ON | 788K |feed,etch,conv2d,depthwise_conv2d,fc,fpool2d,softmax|
| mobilenetv2（armv8） | 裁剪前--build_tailor=OFF | 1.5M | feed,fetch,conv2d,depthwise_conv2d,elementwise_add,fc,pool2d,relu6,softmax |
| mobilenetv2（armv8） | 裁剪后--build_tailor=ON | 912K |feed,fetch,conv2d,depthwise_conv2d,elementwise_add,fc,pool2d,relu6,softmax|
| mobilenetv1（armv7） | 裁剪前--build_tailor=OFF | 938K |feed,fetch,concat,conv2d,dropout,fc,pool2d,softmax|
| mobilenetv1（armv7） | 裁剪后--build_tailor=ON | 607K |feed,fetch,concat,conv2d,dropout,fc,pool2d,softmax|
| mobilenetv2（armv7） | 裁剪前--build_tailor=OFF | 938K | feed,fetch,conv2d,depthwise_conv2d,elementwise_add,fc,pool2d,relu6,softmax |
| mobilenetv2（armv7） | 裁剪后--build_tailor=ON |687K |feed,fetch,conv2d,depthwise_conv2d,elementwise_add,fc,pool2d,relu6,softmax|
## 实现过程：
### 1、转化模型时记录优化后模型信息
说明：使用model_optimize_tool转化模型时，选择 `--record_tailoring_info =true` 会将优化后模型的OP和kernel信息保存到输出文件夹，这些信息将用于编译裁剪后的动态库。
注意：需要使用Paddle-Lite 最新版本（release/v2.0.0之后）代码编译出的model_optimize_tool
例如：
```bash
./model_optimize_tool --model_dir=./mobilenet_v1 --optimize_out_type=naive_buffer --optimize_out=mobilenet_v1NB --record_tailoring_info =true --valid_targets=arm
```
效果：优化后模型使用的OP和kernel信息被保存在 `mobilenet_v1NB`文件夹中的隐藏文件里了
### 2、根据模型信息编译裁剪后的预测库
说明：编译Paddle-Lite时选择`--build_tailor=ON` ，并且用 `–-opt_model_dir=` 指定优化后的模型的地址
例如：
```bash
./lite/tools/build.sh --arm_os=android --arm_abi=armv7 --arm_lang=gcc --android_stl=c++_static --build_extra=ON --build_tailor=ON --opt_model_dir=../mobilenet_v1NB full_publish
```
**注意**：上面命令中的`../mobilenet_v1NB`是第1步得到的转化模型的输出路径
**效果**：编译出来的动态库文件变小，且可以运行优化后的模型。
编译出的C++预测库文件位于 ：
`build.lite.android.armv7.gcc/inference_lite_lib.android.armv7/cxx/lib/`
编译出的Java预测库文件位于：
`build.lite.android.armv7.gcc/inference_lite_lib.android.armv7/java/so/`
### 3、运行裁剪后的预测库文件
注意：基于某一模型裁剪出的预测库只能支持优化工具转化后的该模型，例如根据mobilenetV1裁剪出的 full_api预测库只能运行以protobuf格式转化出的模型mobilenetV1_opt_nb， 裁剪出的light_api预测库只能运行以naive_buffer格式转化出的模型mobilenetV1_opt_nb， 运行其他模型可能会出现`segementation fault:undifined op or kernel`。 模型转化方法参考：[使用opt转化模型](./model_optimize_tool))。
**示例1**：使用裁剪后的light_api预测库运行mobilenetv1
1、执行第二步编译后，light_api的C++ 示例位于
`/Paddle-Lite/build.lite.android.armv7.gcc/inference_lite_lib.android.armv7/demo/cxx/mobile_light`
输入`make`命令执行编译可编译出可执行文件mobilenetv1_light_api
2、使用adb将mobilenetV1_NB模型和mobilenetv1_light_api传到手机后执行demo：
`./mobilenetv1_light_api --model_dir=./mobilenetV1_NB`
注意：`mobilenetV1_NB`是用`mobilenetV1`模型转化的naive_buffer格式模型(不需要设置` --record_tailoring_info =true`，转化流程参考：[使用opt转化模型](./model_optimize_tool))。
**示例2**：使用裁剪后的full_api预测库运行mobilenetv1
1、执行第二步编译后，full_api的C++ 示例位于
`/Paddle-Lite/build.lite.android.armv7.gcc/inference_lite_lib.android.armv7/demo/cxx/mobile_light`
替换mobilenetv1_full_api.cc代码内容：
```C++
#include <gflags/gflags.h>
#include <stdio.h>
#include <vector>
#include "paddle_api.h" // NOLINT
#include "paddle_use_kernels.h" // NOLINT
#include "paddle_use_ops.h" // NOLINT
#include "paddle_use_passes.h" // NOLINT
using namespace paddle::lite_api; // NOLINT
DEFINE_string(model_dir, "", "Model dir path.");
int64_t ShapeProduction(const shape_t& shape) {
int64_t res = 1;
for (auto i : shape) res *= i;
return res;
}
void RunModel() {
// 1. Set CxxConfig
CxxConfig config;
config.set_model_file(FLAGS_model_dir + "model");
config.set_param_file(FLAGS_model_dir + "params");
std::vector<Place> valid_places{Place{TARGET(kARM), PRECISION(kFloat)}};
config.set_valid_places(valid_places);
// 2. Create PaddlePredictor by CxxConfig
std::shared_ptr<PaddlePredictor> predictor =
CreatePaddlePredictor<CxxConfig>(config);
// 3. Prepare input data
std::unique_ptr<Tensor> input_tensor(std::move(predictor->GetInput(0)));
input_tensor->Resize(shape_t({1, 3, 224, 224}));
auto* data = input_tensor->mutable_data<float>();
for (int i = 0; i < ShapeProduction(input_tensor->shape()); ++i) {
data[i] = 1;
}
// 4. Run predictor
predictor->Run();
// 5. Get output
std::unique_ptr<const Tensor> output_tensor(
std::move(predictor->GetOutput(0)));
printf("Output dim: %d\n", output_tensor->shape()[1]);
for (int i = 0; i < ShapeProduction(output_tensor->shape()); i += 100) {
printf("Output[%d]: %f\n", i, output_tensor->data<float>()[i]);
}
}
int main(int argc, char** argv) {
google::ParseCommandLineFlags(&argc, &argv, true);
RunModel();
return 0;
}
```
2、使用adb将mobilenetV1_PB模型和mobilenetv1_full_api传到手机后执行demo：
`./mobilenetv1_full_api --model_dir=./mobilenetV1_PB`
注意：`mobilenetV1_PB`是用`mobilenetV1`模型转化的protobuf格式模型(不需要设置` --record_tailoring_info =true`，转化流程参考：[使用opt转化模型](./model_optimize_tool))。
## 按模型集合裁剪预测库
为了方便用户使用，我们同时提供了按模型集合进行预测库裁剪的功能。用户可以提供一个模型集合，Model Optimize Tool会根据用户所指定的模型集合分析其**优化后的**模型所需要的算子信息对预测库进行裁剪。使用此功能用户根据自己的需要使用模型集合来对预测库中的算子进行任意裁剪。
使用方法如下所示：
```shell
# 非combined模型集合
./model_optimize_tool \
--model_set_dir=<your_model_set_dir> \
--optimize_out_type=naive_buffer \
--optimize_out=<output_model_set_dir> \
--record_tailoring_info=true \
--valid_targets=arm
# combined模型集合
./model_optimize_tool \
--model_set_dir=<your_model_set_dir> \
--optimize_out_type=naive_buffer \
--model_filename=<model_topo_filename> \
--param_filename=<model_param_filename> \
--optimize_out=<output_model_set_dir> \
--record_tailoring_info=true \
--valid_targets=arm
```
经过以上步骤后会在`<output_model_set_dir>`中生成模型集合中各模型对应的NaiveBuffer格式的优化模型。此步会对模型集合中所需算子信息进行搜集并存储到`<output_model_set_dir>`中。下一步编译预测库的流程与使用单模型进行预测库裁剪步骤相同。
**注意：**
1. 模型集合**必须**均为combined参数模型或均为非combined参数模型。
2. 使用非combined参数模型时，模型拓扑文件名应为`__model__`，使用非combined参数模型时，集合中各模型的拓扑与参数名应相同，分别由`--model_filename`和`--param_filename`指定。
3. 模型集合**必须**均为INT8量化模型或均为非INT8量化模型。
4. 需要使用Paddle-Lite 最新版本（release/v2.1.0之后）代码编译出的model_optimize_tool。
docs/user_guides/model_optimize_tool.md 0 → 100644
浏览文件 @ e3afddc5
# 模型转化方法
Lite架构在预测过程中表现出来的高性能得益于其丰富的优化组件，其中包括量化、子图融合、混合调度、Kernel优选等等策略。为了使优化过程更加方便易用，我们提供了**opt**来自动完成优化步骤，输出一个轻量的、最优的可执行模型。具体使用方法介绍如下：
**注意**：release/v2.2.0之前的模型转化工具名称为`model_optimize_tool`，从release/v2.3开始模型转化工具名称修改为`opt`
## 准备opt
当前获得opt方法有三种：
1. 我们提供当前develop分支编译结果下载：[opt](https://paddlelite-data.bj.bcebos.com/model_optimize_tool/opt)、[opt_mac](https://paddlelite-data.bj.bcebos.com/model_optimize_tool/opt_mac)
release/v2.2.0之前版本的model_optimize_tool: [model_optimize_tool](https://paddlelite-data.bj.bcebos.com/model_optimize_tool/model_optimize_tool)、[model_optimize_tool_mac](https://paddlelite-data.bj.bcebos.com/model_optimize_tool/model_optimize_tool_mac)
2. 可以进入Paddle-Lite Github仓库的[release界面](https://github.com/PaddlePaddle/Paddle-Lite/releases)，选择release版本下载对应的转化工具`opt`
(release/v2.2.0之前的转化工具为model_optimize_tool、release/v2.3.0之后为opt)
3. 可以下载Paddle-Lite源码，从源码编译出opt工具
```bash
git clone https://github.com/PaddlePaddle/Paddle-Lite.git
cd Paddle-Lite
git checkout <release-version-tag>
./lite/tools/build.sh build_optimize_tool
```
编译结果位于`Paddle-Lite/build.opt/lite/api/opt`
**注意**：从源码编译opt前需要先[安装Paddle-Lite的开发环境](../installation/source_compile)。
## 使用opt
opt是x86平台上的可执行文件，需要在PC端运行：包括Linux终端和Mac终端。
### 帮助信息
执行opt时不加入任何输入选项，会输出帮助信息，提示当前支持的选项：
```bash
./opt
```
![](https://paddlelite-data.bj.bcebos.com/doc_images/1.png)
### 功能一：转化模型为Paddle-Lite格式
opt可以将PaddlePaddle支持的模型转化为Paddle-Lite支持的模型格式，期间执行的操作包括：将protobuf格式的模型文件转化为naive_buffer格式的模型文件，有效降低模型体积；执行“量化、子图融合、混合调度、Kernel优选”等图优化操作，提升其在Paddle-Lite上的运行速度、内存占用等性能指标。
模型优化过程：
（1）准备待优化的PaddlePaddle模型
PaddlePaddle模型有两种保存格式：
Combined Param：所有参数信息保存在单个文件`params`中，模型的拓扑信息保存在`__model__`文件中。
![opt_combined_model](https://paddlelite-data.bj.bcebos.com/doc_images%2Fcombined_model.png)
Seperated Param：参数信息分开保存在多个参数文件中，模型的拓扑信息保存在`__model__`文件中。
![opt_seperated_model](https://paddlelite-data.bj.bcebos.com/doc_images%2Fseperated_model.png)
(2) 终端中执行`opt`优化模型
**使用示例**：转化`mobilenet_v1`模型
```
./opt --model_dir=./mobilenet_v1 --valid_targets=arm --optimize_out_type=naive_buffer --optimize_out=mobilenet_v1_opt
```
以上命令可以将`mobilenet_v1`模型转化为arm硬件平台、naive_buffer格式的Paddle_Lite支持模型，优化后的模型文件为`mobilenet_v1_opt.nb`，转化结果如下图所示：
![opt_resulted_model](https://paddlelite-data.bj.bcebos.com/doc_images/2.png)
(3) **更详尽的转化命令**总结：
```shell
./opt \
--model_dir=<model_param_dir> \
--model_file=<model_path> \
--param_file=<param_path> \
--optimize_out_type=(protobuf|naive_buffer) \
--optimize_out=<output_optimize_model_dir> \
--valid_targets=(arm|opencl|x86|npu|xpu) \
--prefer_int8_kernel=(true|false) \
--record_tailoring_info =(true|false)
```
| 选项 | 说明 |
| ------------------- | ------------------------------------------------------------ |
| --model_dir | 待优化的PaddlePaddle模型（非combined形式）的路径 |
| --model_file | 待优化的PaddlePaddle模型（combined形式）的网络结构文件路径。 |
| --param_file | 待优化的PaddlePaddle模型（combined形式）的权重文件路径。 |
| --optimize_out_type | 输出模型类型，目前支持两种类型：protobuf和naive_buffer，其中naive_buffer是一种更轻量级的序列化/反序列化实现。若您需要在mobile端执行模型预测，请将此选项设置为naive_buffer。默认为protobuf。 |
| --optimize_out | 优化模型的输出路径。 |
| --valid_targets | 指定模型可执行的backend，默认为arm。目前可支持x86、arm、opencl、npu、xpu，可以同时指定多个backend(以空格分隔)，Model Optimize Tool将会自动选择最佳方式。如果需要支持华为NPU（Kirin 810/990 Soc搭载的达芬奇架构NPU），应当设置为npu, arm。 |
| --prefer_int8_kernel | 若待优化模型为int8量化模型（如量化训练得到的量化模型），则设置该选项为true以使用int8内核函数进行推理加速，默认为false。 |
| --record_tailoring_info | 当使用 [根据模型裁剪库文件](./library_tailoring.html) 功能时，则设置该选项为true，以记录优化后模型含有的kernel和OP信息，默认为false。 |
* 如果待优化的fluid模型是非combined形式，请设置`--model_dir`，忽略`--model_file`和`--param_file`。
* 如果待优化的fluid模型是combined形式，请设置`--model_file`和`--param_file`，忽略`--model_dir`。
* 优化后的模型包括__model__.nb和param.nb文件。
### 功能二：统计模型算子信息、判断是否支持
opt可以统计并打印出model中的算子信息、判断Paddle-Lite是否支持该模型。并可以打印出当前Paddle-Lite的算子支持情况。
（1）使用opt统计模型中算子信息
下面命令可以打印出mobilenet_v1模型中包含的所有算子，并判断在硬件平台`valid_targets`下Paddle-Lite是否支持该模型
`./opt --print_model_ops=true --model_dir=mobilenet_v1 --valid_targets=arm`
![opt_print_modelops](https://paddlelite-data.bj.bcebos.com/doc_images/3.png)
（2）使用opt打印当前Paddle-Lite支持的算子信息
`./opt --print_all_ops=true`
以上命令可以打印出当前Paddle-Lite支持的所有算子信息，包括OP的数量和每个OP支持哪些硬件平台：
![opt_print_allops](https://paddlelite-data.bj.bcebos.com/doc_images/4.png)
`./opt ----print_supported_ops=true --valid_targets=x86`
以上命令可以打印出当`valid_targets=x86`时Paddle-Lite支持的所有OP：
![opt_print_supportedops](https://paddlelite-data.bj.bcebos.com/doc_images/5.png)
## 其他功能：合并x2paddle和opt的一键脚本
**背景**：如果想用Paddle-Lite运行第三方来源（tensorflow、caffe、onnx）模型，一般需要经过两次转化。即使用x2paddle工具将第三方模型转化为PaddlePaddle格式，再使用opt将PaddlePaddle模型转化为Padde-Lite可支持格式。
为了简化这一过程，我们提供一键脚本，将x2paddle转化和opt转化合并：
**一键转化脚本**：[auto_transform.sh](https://paddlelite-data.bj.bcebos.com/model_optimize_tool/auto_transform.sh)
**环境要求**：使用`auto_transform.sh`脚本转化第三方模型时，需要先安装x2paddle环境，请参考[x2paddle环境安装方法](https://github.com/PaddlePaddle/X2Paddle#环境依赖) 安装x2paddle和其环境依赖项。
**使用方法**：
（1）打印帮助帮助信息：` ./auto_transform.sh`
（2）转化模型方法
```bash
USAGE:
auto_transform.sh combines the function of x2paddle and opt, it can
tranform model from tensorflow/caffe/onnx form into paddle-lite naive-buffer form.
----------------------------------------
example:
./auto_transform.sh --framework=tensorflow --model=tf_model.pb --optimize_out=opt_model_result
----------------------------------------
Arguments about x2paddle:
--framework=(tensorflow|caffe|onnx);
--model='model file for tensorflow or onnx';
--prototxt='proto file for caffe' --weight='weight file for caffe'
For TensorFlow:
--framework=tensorflow --model=tf_model.pb
For Caffe:
--framework=caffe --prototxt=deploy.prototxt --weight=deploy.caffemodel
For ONNX
--framework=onnx --model=onnx_model.onnx
Arguments about opt:
--valid_targets=(arm|opencl|x86|npu|xpu); valid targets on Paddle-Lite.
--fluid_save_dir='path to outputed model after x2paddle'
--optimize_out='path to outputed Paddle-Lite model'
----------------------------------------
```
docs/user_guides/opencl.md 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/CMakeLists.txt
浏览文件 @ e3afddc5
......@@ -5,9 +5,11 @@ message(STATUS "LIGHT_FRAMEWORK:\t${LITE_WITH_LIGHT_WEIGHT_FRAMEWORK}")
message(STATUS "LITE_WITH_CUDA:\t${LITE_WITH_CUDA}")
message(STATUS "LITE_WITH_X86:\t${LITE_WITH_X86}")
message(STATUS "LITE_WITH_ARM:\t${LITE_WITH_ARM}")
message(STATUS "LITE_WITH_OPENCL:\t${LITE_WITH_OPENCL}")
message(STATUS "LITE_WITH_NPU:\t${LITE_WITH_NPU}")
message(STATUS "LITE_WITH_XPU:\t${LITE_WITH_XPU}")
message(STATUS "LITE_WITH_FPGA:\t${LITE_WITH_FPGA}")
message(STATUS "LITE_WITH_BM:\t${LITE_WITH_BM}")
message(STATUS "LITE_WITH_PROFILE:\t${LITE_WITH_PROFILE}")
message(STATUS "LITE_WITH_CV:\t${LITE_WITH_CV}")
......@@ -65,6 +67,9 @@ if (LITE_WITH_LIGHT_WEIGHT_FRAMEWORK AND LITE_WITH_ARM)
if (LITE_WITH_FPGA)
set(INFER_LITE_PUBLISH_ROOT "${INFER_LITE_PUBLISH_ROOT}.fpga")
endif(LITE_WITH_FPGA)
if (LITE_WITH_BM)
set(INFER_LITE_PUBLISH_ROOT "${INFER_LITE_PUBLISH_ROOT}.bm")
endif(LITE_WITH_BM)
else()
set(INFER_LITE_PUBLISH_ROOT "${CMAKE_BINARY_DIR}/inference_lite_lib")
endif()
......@@ -160,7 +165,7 @@ if (LITE_WITH_LIGHT_WEIGHT_FRAMEWORK AND LITE_WITH_ARM)
COMMAND mkdir -p "${INFER_LITE_PUBLISH_ROOT}/include"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/api/paddle_*.h" "${INFER_LITE_PUBLISH_ROOT}/include"
COMMAND cp "${CMAKE_BINARY_DIR}/libpaddle_api_light_bundled.a" "${INFER_LITE_PUBLISH_ROOT}/lib"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/utils/cv/paddle_*.h" "${INFER_LITE_PUBLISH_ROOT}/cxx/include"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/utils/cv/paddle_*.h" "${INFER_LITE_PUBLISH_ROOT}/include"
)
add_dependencies(tiny_publish_lib bundle_light_api)
add_dependencies(publish_inference tiny_publish_lib)
......@@ -171,11 +176,17 @@ if (LITE_WITH_LIGHT_WEIGHT_FRAMEWORK AND LITE_WITH_ARM)
COMMAND mkdir -p "${INFER_LITE_PUBLISH_ROOT}/cxx/include"
COMMAND mkdir -p "${INFER_LITE_PUBLISH_ROOT}/cxx/lib"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/api/paddle_*.h" "${INFER_LITE_PUBLISH_ROOT}/cxx/include"
COMMAND cp "${CMAKE_BINARY_DIR}/libpaddle_api_light_bundled.a" "${INFER_LITE_PUBLISH_ROOT}/cxx/lib"
COMMAND cp "${CMAKE_BINARY_DIR}/lite/api/libpaddle_light_api_shared.so" "${INFER_LITE_PUBLISH_ROOT}/cxx/lib"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/utils/cv/paddle_*.h" "${INFER_LITE_PUBLISH_ROOT}/cxx/include"
)
add_dependencies(tiny_publish_cxx_lib paddle_light_api_shared)
add_dependencies(tiny_publish_cxx_lib bundle_light_api)
add_dependencies(publish_inference tiny_publish_cxx_lib)
if(NOT "${CMAKE_BUILD_TYPE}" STREQUAL "Debug")
add_custom_command(TARGET tiny_publish_cxx_lib POST_BUILD
COMMAND ${CMAKE_STRIP} "-s" ${INFER_LITE_PUBLISH_ROOT}/cxx/lib/libpaddle_light_api_shared.so)
endif()
endif()
endif()
endif()
......@@ -213,7 +224,16 @@ if (LITE_WITH_LIGHT_WEIGHT_FRAMEWORK AND LITE_WITH_ARM)
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/demo/cxx/makefiles/mobile_full/Makefile.${ARM_TARGET_OS}.${ARM_TARGET_ARCH_ABI}" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx/mobile_full/Makefile"
COMMAND cp -r "${CMAKE_SOURCE_DIR}/lite/demo/cxx/mobile_light" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/demo/cxx/makefiles/mobile_light/Makefile.${ARM_TARGET_OS}.${ARM_TARGET_ARCH_ABI}" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx/mobile_light/Makefile"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/api/paddle_*.h" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx/include"
COMMAND cp -r "${CMAKE_SOURCE_DIR}/lite/demo/cxx/ssd_detection" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/demo/cxx/makefiles/ssd_detection/Makefile.${ARM_TARGET_OS}.${ARM_TARGET_ARCH_ABI}" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx/ssd_detection/Makefile"
COMMAND cp -r "${CMAKE_SOURCE_DIR}/lite/demo/cxx/yolov3_detection" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/demo/cxx/makefiles/yolov3_detection/Makefile.${ARM_TARGET_OS}.${ARM_TARGET_ARCH_ABI}" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx/yolov3_detection/Makefile"
COMMAND cp -r "${CMAKE_SOURCE_DIR}/lite/demo/cxx/mobile_classify" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/demo/cxx/makefiles/mobile_classify/Makefile.${ARM_TARGET_OS}.${ARM_TARGET_ARCH_ABI}" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx/mobile_classify/Makefile"
COMMAND cp -r "${CMAKE_SOURCE_DIR}/lite/demo/cxx/test_cv" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/demo/cxx/makefiles/test_cv/Makefile.${ARM_TARGET_OS}.${ARM_TARGET_ARCH_ABI}" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx/test_cv/Makefile"
COMMAND cp -r "${CMAKE_SOURCE_DIR}/lite/demo/cxx/mask_detection" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/demo/cxx/makefiles/mask_detection/Makefile.${ARM_TARGET_OS}.${ARM_TARGET_ARCH_ABI}" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx/mask_detection/Makefile"
)
add_dependencies(publish_inference_android_cxx_demos logging gflags)
add_dependencies(publish_inference_cxx_lib publish_inference_android_cxx_demos)
......@@ -225,6 +245,16 @@ if (LITE_WITH_LIGHT_WEIGHT_FRAMEWORK AND LITE_WITH_ARM)
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/demo/cxx/README.md" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx"
COMMAND cp -r "${CMAKE_SOURCE_DIR}/lite/demo/cxx/mobile_light" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/demo/cxx/makefiles/mobile_light/Makefile.${ARM_TARGET_OS}.${ARM_TARGET_ARCH_ABI}" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx/mobile_light/Makefile"
COMMAND cp -r "${CMAKE_SOURCE_DIR}/lite/demo/cxx/ssd_detection" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/demo/cxx/makefiles/ssd_detection/Makefile.${ARM_TARGET_OS}.${ARM_TARGET_ARCH_ABI}" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx/ssd_detection/Makefile"
COMMAND cp -r "${CMAKE_SOURCE_DIR}/lite/demo/cxx/yolov3_detection" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/demo/cxx/makefiles/yolov3_detection/Makefile.${ARM_TARGET_OS}.${ARM_TARGET_ARCH_ABI}" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx/yolov3_detection/Makefile"
COMMAND cp -r "${CMAKE_SOURCE_DIR}/lite/demo/cxx/mobile_classify" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/demo/cxx/makefiles/mobile_classify/Makefile.${ARM_TARGET_OS}.${ARM_TARGET_ARCH_ABI}" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx/mobile_classify/Makefile"
COMMAND cp -r "${CMAKE_SOURCE_DIR}/lite/demo/cxx/test_cv" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/demo/cxx/makefiles/test_cv/Makefile.${ARM_TARGET_OS}.${ARM_TARGET_ARCH_ABI}" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx/test_cv/Makefile"
COMMAND cp -r "${CMAKE_SOURCE_DIR}/lite/demo/cxx/mask_detection" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx"
COMMAND cp "${CMAKE_SOURCE_DIR}/lite/demo/cxx/makefiles/mask_detection/Makefile.${ARM_TARGET_OS}.${ARM_TARGET_ARCH_ABI}" "${INFER_LITE_PUBLISH_ROOT}/demo/cxx/mask_detection/Makefile"
)
add_dependencies(tiny_publish_cxx_lib publish_inference_android_cxx_demos)
endif()
......
lite/api/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/_paddle_use_ops.h
浏览文件 @ e3afddc5
......@@ -108,7 +108,7 @@ USE_LITE_OP(while)
USE_LITE_OP(lod_reset)
USE_LITE_OP(lookup_table)
USE_LITE_OP(multiclass_nms)
USE_LITE_OP(graph_op)
USE_LITE_OP(subgraph)
USE_LITE_OP(sequence_expand)
USE_LITE_OP(sequence_pool)
USE_LITE_OP(reduce_max)
......
lite/api/android/jni/native/CMakeLists.txt
浏览文件 @ e3afddc5
......@@ -25,11 +25,12 @@ if (NOT LITE_ON_TINY_PUBLISH)
endif()
else()
add_library(paddle_lite_jni SHARED "")
set_target_properties(paddle_lite_jni PROPERTIES COMPILE_FLAGS "-flto -fdata-sections")
target_sources(paddle_lite_jni PUBLIC ${__lite_cc_files} paddle_lite_jni.cc tensor_jni.cc)
add_dependencies(paddle_lite_jni op_list_h kernel_list_h)
if (LITE_WITH_NPU)
# Need to add HIAI runtime libs (libhiai.so) dependency
target_link_libraries(paddle_lite_jni ${npu_runtime_libs})
target_link_libraries(paddle_lite_jni ${npu_builder_libs} ${npu_runtime_libs})
endif()
endif()
......
lite/api/android/jni/native/convert_util_jni.h
浏览文件 @ e3afddc5
......@@ -181,6 +181,7 @@ inline MobileConfig jmobileconfig_to_cpp_mobileconfig(JNIEnv *env,
MobileConfig config;
// set model dir
// NOTE: This is a deprecated API and will be removed in latter release.
jmethodID model_dir_method = env->GetMethodID(
mobileconfig_jclazz, "getModelDir", "()Ljava/lang/String;");
jstring java_model_dir =
......@@ -190,6 +191,27 @@ inline MobileConfig jmobileconfig_to_cpp_mobileconfig(JNIEnv *env,
config.set_model_dir(cpp_model_dir);
}
// set model from file
jmethodID model_file_method = env->GetMethodID(
mobileconfig_jclazz, "getModelFromFile", "()Ljava/lang/String;");
jstring java_model_file =
(jstring)env->CallObjectMethod(jmobileconfig, model_file_method);
if (java_model_file != nullptr) {
std::string cpp_model_file = jstring_to_cpp_string(env, java_model_file);
config.set_model_from_file(cpp_model_file);
}
// set model from buffer
jmethodID model_buffer_method = env->GetMethodID(
mobileconfig_jclazz, "getModelFromBuffer", "()Ljava/lang/String;");
jstring java_model_buffer =
(jstring)env->CallObjectMethod(jmobileconfig, model_buffer_method);
if (java_model_buffer != nullptr) {
std::string cpp_model_buffer =
jstring_to_cpp_string(env, java_model_buffer);
config.set_model_from_buffer(cpp_model_buffer);
}
// set threads
jmethodID threads_method =
env->GetMethodID(mobileconfig_jclazz, "getThreads", "()I");
......
lite/api/android/jni/native/tensor_jni.cc
浏览文件 @ e3afddc5
......@@ -120,6 +120,22 @@ JNIEXPORT jboolean JNICALL Java_com_baidu_paddle_lite_Tensor_nativeSetData___3B(
return JNI_TRUE;
}
JNIEXPORT jboolean JNICALL Java_com_baidu_paddle_lite_Tensor_nativeSetData___3I(
JNIEnv *env, jobject jtensor, jintArray buf) {
std::unique_ptr<Tensor> *tensor = get_writable_tensor_pointer(env, jtensor);
if (tensor == nullptr || (*tensor == nullptr)) {
return JNI_FALSE;
}
int64_t buf_size = (int64_t)env->GetArrayLength(buf);
if (buf_size != product((*tensor)->shape())) {
return JNI_FALSE;
}
int32_t *input = (*tensor)->mutable_data<int32_t>();
env->GetIntArrayRegion(buf, 0, buf_size, input);
return JNI_TRUE;
}
JNIEXPORT jfloatArray JNICALL
Java_com_baidu_paddle_lite_Tensor_getFloatData(JNIEnv *env, jobject jtensor) {
if (is_const_tensor(env, jtensor)) {
......@@ -148,6 +164,20 @@ Java_com_baidu_paddle_lite_Tensor_getByteData(JNIEnv *env, jobject jtensor) {
}
}
JNIEXPORT jintArray JNICALL
Java_com_baidu_paddle_lite_Tensor_getIntData(JNIEnv *env, jobject jtensor) {
if (is_const_tensor(env, jtensor)) {
std::unique_ptr<const Tensor> *tensor =
get_read_only_tensor_pointer(env, jtensor);
return cpp_array_to_jintarray(
env, (*tensor)->data<int32_t>(), product((*tensor)->shape()));
} else {
std::unique_ptr<Tensor> *tensor = get_writable_tensor_pointer(env, jtensor);
return cpp_array_to_jintarray(
env, (*tensor)->data<int32_t>(), product((*tensor)->shape()));
}
}
JNIEXPORT jboolean JNICALL Java_com_baidu_paddle_lite_Tensor_deleteCppTensor(
JNIEnv *env, jobject jtensor, jlong java_pointer) {
if (java_pointer == 0) {
......
lite/api/android/jni/native/tensor_jni.h
浏览文件 @ e3afddc5
......@@ -16,8 +16,8 @@
#include <jni.h>
/* Header for class com_baidu_paddle_lite_Tensor */
#ifndef PADDLE_FLUID_LITE_API_ANDROID_JNI_NATIVE_TENSOR_JNI_H_
#define PADDLE_FLUID_LITE_API_ANDROID_JNI_NATIVE_TENSOR_JNI_H_
#ifndef LITE_API_ANDROID_JNI_NATIVE_TENSOR_JNI_H_
#define LITE_API_ANDROID_JNI_NATIVE_TENSOR_JNI_H_
#ifdef __cplusplus
extern "C" {
#endif
......@@ -49,6 +49,14 @@ Java_com_baidu_paddle_lite_Tensor_getFloatData(JNIEnv *, jobject);
JNIEXPORT jbyteArray JNICALL
Java_com_baidu_paddle_lite_Tensor_getByteData(JNIEnv *, jobject);
/*
* Class: com_baidu_paddle_lite_Tensor
* Method: getIntData
* Signature: ()[I
*/
JNIEXPORT jintArray JNICALL
Java_com_baidu_paddle_lite_Tensor_getIntData(JNIEnv *, jobject);
/*
* Class: com_baidu_paddle_lite_Tensor
* Method: nativeResize
......@@ -73,6 +81,14 @@ JNIEXPORT jboolean JNICALL Java_com_baidu_paddle_lite_Tensor_nativeSetData___3F(
JNIEXPORT jboolean JNICALL Java_com_baidu_paddle_lite_Tensor_nativeSetData___3B(
JNIEnv *, jobject, jbyteArray);
/*
* Class: com_baidu_paddle_lite_Tensor
* Method: nativeSetData
* Signature: ([I)Z
*/
JNIEXPORT jboolean JNICALL Java_com_baidu_paddle_lite_Tensor_nativeSetData___3I(
JNIEnv *, jobject, jintArray);
/*
* Class: com_baidu_paddle_lite_Tensor
* Method: deleteCppTensor
......@@ -87,4 +103,4 @@ Java_com_baidu_paddle_lite_Tensor_deleteCppTensor(JNIEnv *, jobject, jlong);
#ifdef __cplusplus
}
#endif
#endif // PADDLE_FLUID_LITE_API_ANDROID_JNI_NATIVE_TENSOR_JNI_H_
#endif // LITE_API_ANDROID_JNI_NATIVE_TENSOR_JNI_H_
lite/api/apis_test.cc
浏览文件 @ e3afddc5
......@@ -62,7 +62,7 @@ TEST(CXXApi_LightApi, optim_model) {
TEST(CXXApi_LightApi, save_and_load_model) {
lite::Predictor cxx_api;
lite::LightPredictor light_api(FLAGS_optimized_model);
lite::LightPredictor light_api(FLAGS_optimized_model + ".nb", false);
// CXXAPi
{
......
lite/api/benchmark.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/cxx_api.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/cxx_api.h
浏览文件 @ e3afddc5
......@@ -29,6 +29,13 @@
namespace paddle {
namespace lite {
static const char TAILORD_OPS_SOURCE_LIST_FILENAME[] =
".tailored_ops_source_list";
static const char TAILORD_OPS_LIST_NAME[] = ".tailored_ops_list";
static const char TAILORD_KERNELS_SOURCE_LIST_FILENAME[] =
".tailored_kernels_source_list";
static const char TAILORD_KERNELS_LIST_NAME[] = ".tailored_kernels_list";
/*
* Predictor for inference, input a model, it will optimize and execute it.
*/
......
lite/api/cxx_api_impl.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/cxx_api_test.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/light_api.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/light_api.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/light_api_impl.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/lite_multithread_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/mobilenetv1_test.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/mobilenetv2_test.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/model_optimize_tool.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/api/model_test.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/opt.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/paddle_api.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/paddle_api.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/paddle_api_test.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/paddle_place.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/paddle_place.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/paddle_use_passes.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/python/pybind/pybind.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/resnet50_test_fpga.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/test_resnet50_lite_bm.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/api/test_step_rnn_lite_x86.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/concat.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/conv3x3_winograd_fp32_c4.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/conv3x3s2px_depthwise_fp32.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/conv5x5s2_depthwise_int8.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/conv_impl.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/conv_impl.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/funcs.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/funcs.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/gru_utils.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/layout.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/layout.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/packed_sgemm_c4.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/packed_sgemm_c4.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/pooling.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/pooling.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/reduce_prod.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/reduce_prod.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/sgemm.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/sgemm.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/sgemv.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/sgemv.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/slice.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/split.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/split_merge_lod_tenosr.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/arm/math/split_merge_lod_tenosr.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/bm/CMakeLists.txt 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/bm/target_wrapper.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/bm/target_wrapper.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/cuda/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/cuda/math/cudnn_pool.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/cuda/math/cudnn_pool.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/cuda/math/gemm.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/cuda/math/transpose.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/cuda/math/utils.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/KD/debugger.hpp 0 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/KD/dl_engine.cpp 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/KD/dl_engine.hpp 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/KD/layout.hpp
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/KD/llapi/filter.cpp 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/KD/pe.hpp
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/KD/pe_params.hpp
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/KD/pes/conv_process.hpp 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/KD/pes/crop_pe.cpp 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/KD/pes/elementwise_mul_pe.hpp 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/KD/pes/gru_pe.hpp 0 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/KD/pes/output_pe.hpp 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/KD/shape.hpp
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/KD/tensor.hpp
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/lite_tensor.cc 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/fpga/lite_tensor.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/npu/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/opencl/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/opencl/cl_caller.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/opencl/cl_caller.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/opencl/cl_kernel/buffer/concat_kernel.cl 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/opencl/cl_kernel/buffer/sigmoid_kernel.cl 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/opencl/cl_kernel/image/concat_kernel.cl 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/opencl/cl_kernel/image/relu6_kernel.cl 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/opencl/cl_kernel/image/reshape_kernel.cl 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/opencl/cl_kernel/image/scale_kernel.cl 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/opencl/cl_kernel/image/sigmoid_kernel.cl 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/opencl/cl_runtime.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/cpu_info.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/dynamic_loader.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/jit/README.en.md
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/jit/README.md
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/jit/gen/act.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/jit/gen/blas.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/jit/gen/gru.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/jit/gen/hopv.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/jit/gen/lstm.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/jit/gen/matmul.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/jit/gen/sgd.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/jit/gen_base.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/jit/gen_base.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/jit/registry.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/math/pooling.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/x86/parallel.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/xpu/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/backends/xpu/device.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/arena/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/arena/framework.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/arena/framework.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/context.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/device_info.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/framework.proto
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/kernel.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/lite.map
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/memory.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/memory.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/fusion/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/fusion/fc_fuser.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/fusion/fc_fuser.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/fusion/sequence_pool_concat_fuse_pass.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/fusion/sequence_pool_concat_fuse_pass.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/fusion/sequence_pool_concat_fuser.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/fusion/sequence_pool_concat_fuser.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/fusion/var_conv_2d_activation_fuse_pass.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/fusion/var_conv_2d_activation_fuser.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/fusion/var_conv_2d_activation_fuser.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/node.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/node.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/pass.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/pass_utils.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/pass_utils.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/pattern_matcher.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/pattern_matcher.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/ssa_graph.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/subgraph/subgraph_detector.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/subgraph/subgraph_detector.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/subgraph/subgraph_pass.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/subgraph/subgraph_pass.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/weight_quantization_preprocess_pass.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/mir/weight_quantization_preprocess_pass.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/op_registry.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/op_registry.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/optimizer.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/profile/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/profile/profiler.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/profile/profiler.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/profile/test_timer.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/profile/timer.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/program.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/program.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/tensor.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/tensor.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/core/version.h.in
浏览文件 @ e3afddc5
此差异已折叠。
lite/demo/cxx/Makefile.def
浏览文件 @ e3afddc5
此差异已折叠。
lite/demo/cxx/README.md
浏览文件 @ e3afddc5
此差异已折叠。
lite/demo/cxx/makefiles/test_cv/Makefile.android.armv7 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/demo/cxx/makefiles/test_cv/Makefile.android.armv8 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/demo/cxx/mask_detection/mask_detection.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/demo/cxx/mobile_classify/mobile_classify.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/demo/cxx/ssd_detection/ssd_detection.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/demo/cxx/test_cv/README.md 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/demo/cxx/test_cv/test_img_prepross.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/demo/cxx/test_cv/test_model_cv.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/demo/cxx/yolov3_detection/yolov3_detection.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/fluid/eigen.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/cast_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/collect_fpn_proposals_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/compare_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/compare_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/conditional_block_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/conv_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/conv_depthwise.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/conv_gemmlike.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/conv_winograd.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/conv_winograd.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/distribute_fpn_proposals_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/distribute_fpn_proposals_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/fc_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/fc_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/gather_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/grid_sampler_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/grid_sampler_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/instance_norm_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/instance_norm_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/layout_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/layout_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/matmul_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/merge_lod_tensor_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/merge_lod_tensor_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/merge_lod_tensor_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/mul_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/pool_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/reduce_prod_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/reduce_prod_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/shape_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/slice_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/slice_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/split_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/split_lod_tensor_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/split_lod_tensor_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/split_lod_tensor_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/arm/while_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/CMakeLists.txt 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/CMakeLists.txt 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/act_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/batch_norm_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/concat_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/conv_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/dropout_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/elementwise_ops.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/graph.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/graph.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/mul_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/norm_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/pool_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/prior_box_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/reshape_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/scale_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/softmax_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/transpose_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/bridges/utility.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/bm/subgraph_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/conv_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/elementwise_add_compute.cu 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/cuda/elementwise_compute.cu 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/elementwise_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/feed_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/feed_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/layout_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/layout_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/mul_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/pool_compute.cu
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/pool_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/search_fc_compute.cu 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/search_fc_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/search_grnn_compute.cu 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/search_grnn_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/search_grnn_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/search_group_padding_compute.cu 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/search_group_padding_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/search_group_padding_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/sequence_pool_concat_compute.cu 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/sequence_pool_concat_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/sequence_topk_avg_pooling_compute.cu 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/cuda/softmax_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/CMakeLists.txt 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/calib_compute.cc 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/concat_compute.cc 0 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/concat_compute.h 0 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/conv_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/conv_compute.h 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/dropout_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/elementwise_compute.cc 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/fc_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/fc_compute.h 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/feed_compute.cc 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/feed_compute.h 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/fetch_compute.cc 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/fetch_compute.h 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/gru_compute.cc 0 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/gru_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/im2sequence_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/im2sequence_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/io_copy_compute.cc 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/layout_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/mul_compute.cc 0 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/multiclass_nms_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/multiclass_nms_compute.h 0 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/norm_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/norm_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/pooling_compute.cc 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/pooling_compute_test.cc 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/prior_box_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/prior_box_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/reshape_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/reshape_compute.h 0 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/scale_compute.cc 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/scale_compute.h 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/softmax_compute.cc 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/transpose_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/fpga/transpose_compute.h 0 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/act_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/argmax_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/concat_op_test.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/npu/bridges/conv_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/conv_op_test.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/npu/bridges/dropout_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/engine.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/fc_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/fc_op_test.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/npu/bridges/graph.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/graph.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/instance_norm_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/layer_norm_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/matmul_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/mul_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/mul_op_test.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/npu/bridges/pad2d_op_test.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/npu/bridges/paddle_use_bridges.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/pool_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/pool_op_test.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/npu/bridges/reduce_mean_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/reduce_mean_op_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/registry.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/reshape_op_test.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/npu/bridges/softmax_op_test.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/npu/bridges/sqrt_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/square_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/bridges/test_helper.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/npu/bridges/transpose_op_test.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/npu/bridges/unsqueeze_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/npu/graph_compute.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/npu/subgraph_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/concat_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/concat_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/concat_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/conv_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/conv_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/conv_image2d_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/elementwise_mul_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/elementwise_mul_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/elementwise_mul_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/image_helper.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/nearest_interp_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/nearest_interp_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/pool_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/relu_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/reshape_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/reshape_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/scale_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/scale_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/sigmoid_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/opencl/sigmoid_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/concat_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/conv_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/fc_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/gather_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/gather_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/gather_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/gru_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/gru_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/layer_norm_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/layer_norm_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/mean_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/mul_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/mul_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/pool_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/reduce_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/reshape_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/search_grnn_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/softmax_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/softmax_compute.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/x86/stack_compute.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/act_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/act_op_test.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/xpu/bridges/cast_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/conv_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/dropout_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/gather_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/graph.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/graph.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/layer_norm_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/lookup_table_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/matmul_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/mul_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/paddle_use_bridges.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/pool_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/registry.h 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/xpu/bridges/reshape_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/scale_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/slice_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/stack_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/bridges/test_helper.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/xpu/bridges/transpose_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/graph_compute.cc 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/kernels/xpu/subgraph_compute.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/kernels/xpu/subgraph_compute.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/model_parser/compatible_pb.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/model_parser/cpp/var_desc.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/model_parser/model_parser.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/model_parser/model_parser.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/model_parser/pb/var_desc.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/model_parser/pb/var_desc.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/activation_ops.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/batch_norm_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/collect_fpn_proposals_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/collect_fpn_proposals_op.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/compare_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/concat_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/conditional_block_op.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/conv_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/conv_op.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/conv_transpose_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/conv_transpose_op.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/distribute_fpn_proposals_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/distribute_fpn_proposals_op.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/dropout_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/fc_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/fc_op.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/fill_constant_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/grid_sampler_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/grid_sampler_op.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/gru_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/instance_norm_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/instance_norm_op.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/interpolate_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/layer_norm_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/lookup_table_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/merge_lod_tensor_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/merge_lod_tensor_op.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/mul_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/multiclass_nms_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/op_params.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/pool_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/pool_op.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/reduce_ops.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/reduce_prod_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/reduce_prod_op.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/reshape_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/reshape_op.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/search_fc_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/sequence_pool_concat_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/sequence_pool_concat_op.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/slice_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/split_lod_tensor_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/split_lod_tensor_op.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/split_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/subgraph_op.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/transpose_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/operators/var_conv_2d_op.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/cv/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/cv/cv_basic.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/cv/image_convert_test.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/batch_norm_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/conv_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/conv_transpose_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/dropout_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/fill_constant_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/gather_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/grid_sampler_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/instance_norm_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/interp_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/layer_norm_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/lookup_table_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/mul_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/pool_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/reduce_prod_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/reduce_sum_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/reshape_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/softmax_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/kernels/transpose_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/math/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/math/layout_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/math/sgemm_c4_compute_test.cc 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/utils/naive_math_impl.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/tests/utils/timer.h 已删除 100644 → 0
浏览文件 @ 34716531
此差异已折叠。
lite/tools/Dockerfile.gcc82-cuda10.1-cudnn7 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tools/benchmark.sh
浏览文件 @ e3afddc5
此差异已折叠。
lite/tools/build.sh
浏览文件 @ e3afddc5
此差异已折叠。
lite/tools/build_bm.sh 0 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
lite/tools/build_npu.sh
浏览文件 @ e3afddc5
此差异已折叠。
lite/tools/build_xpu.sh
浏览文件 @ e3afddc5
此差异已折叠。
lite/tools/ci_build.sh
浏览文件 @ e3afddc5
此差异已折叠。
lite/tools/cmake_tools/record_supported_kernel_op.py 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/tools/debug/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/tools/debug/debug_utils.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/utils/cv/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
lite/utils/cv/image2tensor.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/utils/cv/image_convert.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/utils/cv/image_flip.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/utils/cv/image_flip.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/utils/cv/image_resize.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/utils/cv/image_resize.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/utils/cv/image_rotate.cc
浏览文件 @ e3afddc5
此差异已折叠。
lite/utils/cv/image_rotate.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/utils/env.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
lite/utils/io.h
浏览文件 @ e3afddc5
此差异已折叠。
lite/utils/replace_stl/stream.cc
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/common/log.h
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/common/types.cpp
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/common/types.h
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/fpga/V2/bias_scale.cpp
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/fpga/V2/image.cpp
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/fpga/V2/pe.cpp 100755 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/fpga/common/driver.cpp 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/fpga/common/fpga_common.h 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/framework/cl/cl_engine.h
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/framework/cl/cl_helper.h
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/framework/cl/cl_image.h
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/framework/cl/cl_scope.h
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/framework/cl/cl_tool.h
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/framework/context.h
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/framework/executor.cpp
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/framework/load_ops.h
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/framework/loader.cpp
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/framework/operator.cpp
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/io/api_paddle_mobile.cc
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/io/api_paddle_mobile.h
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/io/opencl_interface.cpp
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/io/opencl_interface.h
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/io/paddle_mobile.h
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/operators/expand_op.cpp 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/operators/expand_op.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/operators/grid_sampler_op.cpp 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/operators/grid_sampler_op.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/operators/kernel/cl/cl_kernel/conv_kernel.inc.cl 100755 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/operators/kernel/cl/cl_kernel/expend.cl 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/operators/kernel/cl/expand_kernel.cpp 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/operators/kernel/cl/grid_sampler_kernel.cpp 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/operators/kernel/expand_kernel.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/operators/kernel/fpga/V2/concat_kernel.cpp 100644 → 100755
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/operators/kernel/fpga/V2/elementwise_add_kernel.cpp 100755 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/operators/kernel/grid_sampler_kernel.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/src/operators/op_param.h
浏览文件 @ e3afddc5
此差异已折叠。
mobile/test/CMakeLists.txt
浏览文件 @ e3afddc5
此差异已折叠。
mobile/test/common/test_log.cpp
浏览文件 @ e3afddc5
此差异已折叠。
mobile/test/executor_for_test.h
浏览文件 @ e3afddc5
此差异已折叠。
mobile/test/executor_for_test_opencl.h 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/test/net/test_inference_api_v2.cpp 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/test/net/test_mobilenet_male2fe.cpp 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/test/net/test_net_multi_feed.cpp 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/test/operators/test_expend_op.cpp 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
mobile/tools/op.cmake
浏览文件 @ e3afddc5
此差异已折叠。
mobile/tools/python/fluidtools/run_multi_feed.py 0 → 100644
浏览文件 @ e3afddc5
此差异已折叠。
Markdown is supported
0% 或 .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑！
想要评论请 注册 或