日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關咨詢
選擇下列產(chǎn)品馬上在線溝通
服務時間：8:30-17:00
你可能遇到了下面的問題
關閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
什么?C語言動態(tài)庫免費大放送了?

看到有同學說 Lua 庫少, 需要自己造輪子. 其實不是這樣的, 今天給大家看一個魔法, 這個魔法可以讓你非常方便的在 luajit 里面使用高性能的 C/CPP 庫, 從而避免自己造輪子的痛苦.

海州網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)公司！從網(wǎng)頁設計、網(wǎng)站建設、微信開發(fā)、APP開發(fā)、成都響應式網(wǎng)站建設公司等網(wǎng)站項目制作，到程序開發(fā)，運營維護。創(chuàng)新互聯(lián)公司自2013年創(chuàng)立以來到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗，來保證我們的工作的順利進行。專注于網(wǎng)站建設就選創(chuàng)新互聯(lián)公司。

這個魔法是 FFI ( Foreign function interface ), 我并不打算仔細講 FFI 原理, 所以簡單來說, FFI 實現(xiàn)了跨語言的二進制接口. 它的優(yōu)點是高效方便. 直接調(diào)用 ABI, 缺點也很明顯, 出了問題直接會掛掉, 因此數(shù)據(jù)跨臨界區(qū)前仔細檢查就可以了.

我們今天直接找個 C 語言庫, 然后利用 FFI 在 luajit 里面調(diào)用這個函數(shù)庫作為個大家的演示.

什么? 這里竟然躺著一個高性能 base64 庫?

我們以這個 repo 為例: https:// github.com/aklomp/base6 4 . 這是一個 C 編寫的 Base64 編碼/解碼庫, 而且支持SIMD.

可以簡單運行下這個庫的 benchmark:

 
 
 
    
  
  
  
  1. karminski@router02:/data/works/base64$ make clean && SSSE3_CFLAGS=-mssse3 AVX2_CFLAGS=-mavx2 make && make -C test
    2. 
  
  
  
  2. ...
    3. 
  
  
  
  3. Testing with buffer size 100 KB, fastest of 10 * 100
    4. 
  
  
  
  4. AVX2    encode  12718.47 MB/sec
    5. 
  
  
  
  5. AVX2    decode  14542.81 MB/sec
    6. 
  
  
  
  6. plain   encode  3657.40 MB/sec
    7. 
  
  
  
  7. plain   decode  3433.23 MB/sec
    8. 
  
  
  
  8. SSSE3   encode  7269.55 MB/sec
    9. 
  
  
  
  9. SSSE3   decode  8173.10 MB/sec
    10. 
  
  
  
  10. ...
    11.

我的 CPU 是 Intel(R) Xeon(R) CPU E3-1246 v3 @ 3.50GHz, 可以看到CPU如果支持 AVX2 的話, 可以達到 12GB/s 以上, 這個性能非常強悍, 甚至連普通的SSD都跟不上了.

我們需要的第一步是把這個 repo 編譯為動態(tài)庫. 但是這個 repo 并沒有提供動態(tài)庫的編譯選項, 所以我們魔改下這個項目的 Makefile.

 
 
 
    
  
  
  
  1. CFLAGS += -std=c99 -O3 -Wall -Wextra -pedantic
    2. 
  
  
  
  2. 
  
  
  
  3. # Set OBJCOPY if not defined by environment:
    4. 
  
  
  
  4. OBJCOPY ?= objcopy
    5. 
  
  
  
  5. 
  
  
  
  6. OBJS = \
    7. 
  
  
  
  7.   lib/arch/avx2/codec.o \
    8. 
  
  
  
  8.   lib/arch/generic/codec.o \
    9. 
  
  
  
  9.   lib/arch/neon32/codec.o \
    10. 
  
  
  
  10.   lib/arch/neon64/codec.o \
    11. 
  
  
  
  11.   lib/arch/ssse3/codec.o \
    12. 
  
  
  
  12.   lib/arch/sse41/codec.o \
    13. 
  
  
  
  13.   lib/arch/sse42/codec.o \
    14. 
  
  
  
  14.   lib/arch/avx/codec.o \
    15. 
  
  
  
  15.   lib/lib.o \
    16. 
  
  
  
  16.   lib/codec_choose.o \
    17. 
  
  
  
  17.   lib/tables/tables.o
    18. 
  
  
  
  18. 
  
  
  
  19. SOOBJS = \
    20. 
  
  
  
  20.   lib/arch/avx2/codec.so \
    21. 
  
  
  
  21.   lib/arch/generic/codec.so \
    22. 
  
  
  
  22.   lib/arch/neon32/codec.so \
    23. 
  
  
  
  23.   lib/arch/neon64/codec.so \
    24. 
  
  
  
  24.   lib/arch/ssse3/codec.so \
    25. 
  
  
  
  25.   lib/arch/sse41/codec.so \
    26. 
  
  
  
  26.   lib/arch/sse42/codec.so \
    27. 
  
  
  
  27.   lib/arch/avx/codec.so \
    28. 
  
  
  
  28.   lib/lib.so \
    29. 
  
  
  
  29.   lib/codec_choose.so \
    30. 
  
  
  
  30.   lib/tables/tables.so
    31. 
  
  
  
  31. 
  
  
  
  32. HAVE_AVX2   = 0
    33. 
  
  
  
  33. HAVE_NEON32 = 0
    34. 
  
  
  
  34. HAVE_NEON64 = 0
    35. 
  
  
  
  35. HAVE_SSSE3  = 0
    36. 
  
  
  
  36. HAVE_SSE41  = 0
    37. 
  
  
  
  37. HAVE_SSE42  = 0
    38. 
  
  
  
  38. HAVE_AVX    = 0
    39. 
  
  
  
  39. 
  
  
  
  40. # The user should supply compiler flags for the codecs they want to build.
    41. 
  
  
  
  41. # Check which codecs we're going to include:
    42. 
  
  
  
  42. ifdef AVX2_CFLAGS
    43. 
  
  
  
  43.   HAVE_AVX2 = 1
    44. 
  
  
  
  44. endif
    45. 
  
  
  
  45. ifdef NEON32_CFLAGS
    46. 
  
  
  
  46.   HAVE_NEON32 = 1
    47. 
  
  
  
  47. endif
    48. 
  
  
  
  48. ifdef NEON64_CFLAGS
    49. 
  
  
  
  49.   HAVE_NEON64 = 1
    50. 
  
  
  
  50. endif
    51. 
  
  
  
  51. ifdef SSSE3_CFLAGS
    52. 
  
  
  
  52.   HAVE_SSSE3 = 1
    53. 
  
  
  
  53. endif
    54. 
  
  
  
  54. ifdef SSE41_CFLAGS
    55. 
  
  
  
  55.   HAVE_SSE41 = 1
    56. 
  
  
  
  56. endif
    57. 
  
  
  
  57. ifdef SSE42_CFLAGS
    58. 
  
  
  
  58.   HAVE_SSE42 = 1
    59. 
  
  
  
  59. endif
    60. 
  
  
  
  60. ifdef AVX_CFLAGS
    61. 
  
  
  
  61.   HAVE_AVX = 1
    62. 
  
  
  
  62. endif
    63. 
  
  
  
  63. ifdef OPENMP
    64. 
  
  
  
  64.   CFLAGS += -fopenmp
    65. 
  
  
  
  65. endif
    66. 
  
  
  
  66. 
  
  
  
  67. 
  
  
  
  68. .PHONY: all analyze clean
    69. 
  
  
  
  69. 
  
  
  
  70. all: bin/base64 lib/libbase64.o lib/libbase64.so
    71. 
  
  
  
  71. 
  
  
  
  72. bin/base64: bin/base64.o lib/libbase64.o lib/libbase64.so
    73. 
  
  
  
  73.     $(CC) $(CFLAGS) -o $@ $^
    74. 
  
  
  
  74. 
  
  
  
  75. lib/libbase64.o: $(OBJS)
    76. 
  
  
  
  76.     $(LD) -r -o $@ $^
    77. 
  
  
  
  77.     $(OBJCOPY) --keep-global-symbols=lib/exports.txt $@
    78. 
  
  
  
  78. 
  
  
  
  79. lib/libbase64.so: $(SOOBJS)
    80. 
  
  
  
  80.     $(LD) -shared -fPIC -o $@ $^
    81. 
  
  
  
  81.     $(OBJCOPY) --keep-global-symbols=lib/exports.txt $@
    82. 
  
  
  
  82. 
  
  
  
  83. lib/config.h:
    84. 
  
  
  
  84.     @echo "#define HAVE_AVX2   $(HAVE_AVX2)"    > $@
    85. 
  
  
  
  85.     @echo "#define HAVE_NEON32 $(HAVE_NEON32)" >> $@
    86. 
  
  
  
  86.     @echo "#define HAVE_NEON64 $(HAVE_NEON64)" >> $@
    87. 
  
  
  
  87.     @echo "#define HAVE_SSSE3  $(HAVE_SSSE3)"  >> $@
    88. 
  
  
  
  88.     @echo "#define HAVE_SSE41  $(HAVE_SSE41)"  >> $@
    89. 
  
  
  
  89.     @echo "#define HAVE_SSE42  $(HAVE_SSE42)"  >> $@
    90. 
  
  
  
  90.     @echo "#define HAVE_AVX    $(HAVE_AVX)"    >> $@
    91. 
  
  
  
  91. 
  
  
  
  92. $(OBJS): lib/config.h
    93. 
  
  
  
  93. 
  
  
  
  94. $(SOOBJS): lib/config.h
    95. 
  
  
  
  95. 
  
  
  
  96. # o
    97. 
  
  
  
  97. lib/arch/avx2/codec.o:   CFLAGS += $(AVX2_CFLAGS)
    98. 
  
  
  
  98. lib/arch/neon32/codec.o: CFLAGS += $(NEON32_CFLAGS)
    99. 
  
  
  
  99. lib/arch/neon64/codec.o: CFLAGS += $(NEON64_CFLAGS)
    100. 
  
  
  
  100. lib/arch/ssse3/codec.o:  CFLAGS += $(SSSE3_CFLAGS)
    101. 
  
  
  
  101. lib/arch/sse41/codec.o:  CFLAGS += $(SSE41_CFLAGS)
    102. 
  
  
  
  102. lib/arch/sse42/codec.o:  CFLAGS += $(SSE42_CFLAGS)
    103. 
  
  
  
  103. lib/arch/avx/codec.o:    CFLAGS += $(AVX_CFLAGS)
    104. 
  
  
  
  104. # so
    105. 
  
  
  
  105. lib/arch/avx2/codec.so:   CFLAGS += $(AVX2_CFLAGS)
    106. 
  
  
  
  106. lib/arch/neon32/codec.so: CFLAGS += $(NEON32_CFLAGS)
    107. 
  
  
  
  107. lib/arch/neon64/codec.so: CFLAGS += $(NEON64_CFLAGS)
    108. 
  
  
  
  108. lib/arch/ssse3/codec.so:  CFLAGS += $(SSSE3_CFLAGS)
    109. 
  
  
  
  109. lib/arch/sse41/codec.so:  CFLAGS += $(SSE41_CFLAGS)
    110. 
  
  
  
  110. lib/arch/sse42/codec.so:  CFLAGS += $(SSE42_CFLAGS)
    111. 
  
  
  
  111. lib/arch/avx/codec.so:    CFLAGS += $(AVX_CFLAGS)
    112. 
  
  
  
  112. 
  
  
  
  113. %.o: %.c
    114. 
  
  
  
  114.     $(CC) $(CFLAGS) -o $@ -c $<
    115. 
  
  
  
  115. 
  
  
  
  116. %.so: %.c
    117. 
  
  
  
  117.     $(CC) $(CFLAGS) -shared -fPIC -o $@ -c $<
    118. 
  
  
  
  118. 
  
  
  
  119. analyze: clean
    120. 
  
  
  
  120.     scan-build --use-analyzer=`which clang` --status-bugs make
    121. 
  
  
  
  121. 
  
  
  
  122. clean:
    123. 
  
  
  
  123.     rm -f bin/base64 bin/base64.o lib/libbase64.o lib/libbase64.so lib/config.h $(OBJS)
    124.

看不懂沒關系, Makefile 是如此的復雜, 我也看不懂, 僅僅是憑著感覺修改的, 然后他就恰好能運行了... 注意 Makefile 的縮進一定要用 "\t", 否則不符合語法會報錯.

然后我們進行編譯:

 
 
 
    
  
  
  
  1. AVX2_CFLAGS=-mavx2 SSSE3_CFLAGS=-mssse3 SSE41_CFLAGS=-msse4.1 SSE42_CFLAGS=-msse4.2 AVX_CFLAGS=-mavx make lib/libbase64.so
    2.

這樣我們就得到了libbase64.so 動態(tài)庫 (在 lib 里面). 這里還順便開啟了各種 SIMD 選項. 如果不需要的話可以關閉.

魔改開始

當然這只是魔法, 不是煉金術, 所以是需要付出努力的, 我們要手動實現(xiàn)動態(tài)庫的橋接, 首先我們需要查看我們要調(diào)用的函數(shù)需要什么參數(shù). 這兩個定義很簡單, 我們需要傳入:

 
 
 
    
  
  
  
  1. const char *src
    2. 
  
  
  
  2. size_t srclen
    3. 
  
  
  
  3. char *out
    4. 
  
  
  
  4. size_t *outlen
    5. 
  
  
  
  5. int flags
    6. 
 
 
 
 
 
 
    
  
  
  
  1. void base64_encode(const char *src, size_t srclen, char *out, size_t *outlen, int flags);
    2. 
  
  
  
  2. int  base64_decode(const char *src, size_t srclen, char *out, size_t *outlen, int flags);
    3.

然后我們就可以開始編寫 ffi 橋接程序了. 首先把需要的庫全都包含進來, 注意, 多用 local 沒壞處, 使用 local 可以有效從局部查詢, 避免低效的全局查詢. 甚至其他包中的函數(shù)都可以 local 一下來提升性能.

動態(tài)庫的話用專用的 ffi.load 來引用.

然后定義一個 _M 用來包裹我們的庫. 這里跟 JavaScript 很像, JavaScript 在瀏覽器里有 window, Lua 有 _G. 我們要盡可能避免封裝好的庫直接扔給全局, 因此封裝起來是個好辦法.

 
 
 
    
  
  
  
  1. -- init
    2. 
  
  
  
  2. local ffi        = require "ffi"
    3. 
  
  
  
  3. local floor      = math.floor
    4. 
  
  
  
  4. local ffi_new    = ffi.new
    5. 
  
  
  
  5. local ffi_str    = ffi.string
    6. 
  
  
  
  6. local ffi_typeof = ffi.typeof
    7. 
  
  
  
  7. local C          = ffi.C
    8. 
  
  
  
  8. local libbase64  = ffi.load("./libbase64.so") -- change this path when needed.
    9. 
  
  
  
  9. 
  
  
  
  10. local _M = { _VERSION = '0.0.1' }
    11.

然后是用 ffi.cdef 聲明 ABI 接口, 這里更簡單, 直接把源代碼的頭文件中的函數(shù)聲明拷過來就完事了:

 
 
 
    
  
  
  
  1. -- cdef
    2. 
  
  
  
  2. ffi.cdef[[
    3. 
  
  
  
  3. void base64_encode(const uint8_t *src, size_t srclen, uint8_t *out, size_t *outlen, size_t flags);
    4. 
  
  
  
  4. int  base64_decode(const uint8_t *src, size_t srclen, uint8_t *out, size_t *outlen, size_t flags);
    5. 
  
  
  
  5. ]]
    6.

接下來是最重要的類型轉(zhuǎn)換:

 
 
 
    
  
  
  
  1. -- define types
    2. 
  
  
  
  2. local uint8t    = ffi_typeof("uint8_t[?]") -- uint8_t *
    3. 
  
  
  
  3. local psizet    = ffi_typeof("size_t[1]")  -- size_t *
    4. 
  
  
  
  4. 
  
  
  
  5. -- package function
    6. 
  
  
  
  6. function _M.base64_encode(src, flags)
    7. 
  
  
  
  7.     local dlen   = floor((#src * 8 + 4) / 6)
    8. 
  
  
  
  8.     local out    = ffi_new(uint8t, dlen)
    9. 
  
  
  
  9.     local outlen = ffi_new(psizet, 1)
    10. 
  
  
  
  10.     libbase64.base64_encode(src, #src, out, outlen, flags)
    11. 
  
  
  
  11.     return ffi_str(out, outlen[0])
    12. 
  
  
  
  12. 
  
  
  
  13. end 
    14. 
  
  
  
  14. 
  
  
  
  15. function _M.base64_decode(src, flags)
    16. 
  
  
  
  16.     local dlen   = floor((#src + 1) * 6 / 8)
    17. 
  
  
  
  17.     local out    = ffi_new(uint8t, dlen)
    18. 
  
  
  
  18.     local outlen = ffi_new(psizet, 1)
    19. 
  
  
  
  19.     libbase64.base64_decode(src, #src, out, outlen, flags)
    20. 
  
  
  
  20.     return ffi_str(out, outlen[0])
    21. 
  
  
  
  21. end
    22.

我們用 ffi_typeof 來定義需要映射的數(shù)據(jù)類型, 然后用 ffi_new 來將其實例化, 分配內(nèi)存空間. 具體來講:

我們定義了2種數(shù)據(jù)類型, 其中, local uint8t = ffi_typeof("uint8_t[?]") 類型用來傳輸字符串, 后面的問號是給 local out = ffi_new(uint8t, dlen) 中的 ffi_new 函數(shù)準備的, 它的第二個參數(shù)可以指定實例化該數(shù)據(jù)類型時的長度. 這樣我們就得到了一個空的字符串數(shù)組, 用來裝 C 函數(shù)返回的結果. 這里的 dlen 計算出了源字符串 base64 encode 之后的長度, 分配該長度即可.

同樣, local psizet = ffi_typeof("size_t[1]") 指定了一個 size_t * 類型. C 語言里面數(shù)組就是指針, 即 size_t[0] 與 site_t* 是等價的. 因此我們分只有一個元素的 size_t 數(shù)組就得到了指向 size_t 類型的指針. 然后在 local outlen = ffi_new(psizet, 1) 的時候后面的參數(shù)寫的也是1, 不過這里寫什么已經(jīng)無所謂了, 它只是不支持傳進去空, 所以我們相當于傳了個 placeholder.

在使用這個值的時候, 我們也是按照數(shù)組的模式去使用的: return ffi_str(out, outlen[0]) .

需要注意的是, 一定要將 require "ffi" 以及 ffi.load 放在代碼最底層, 否則會出現(xiàn) table overflow 的情況.

最后, 這個文件是這樣子的:

 
 
 
    
  
  
  
  1. --[[
    2. 
  
  
  
  2.  
    3. 
  
  
  
  3.     ffi-base64.lua
    4. 
  
  
  
  4.     
    5. 
  
  
  
  5.     @version    20201228:1
    6. 
  
  
  
  6.     @author     karminski 
    7. 
  
  
  
  7. 
  
  
  
  8. ]]--
    9. 
  
  
  
  9. 
  
  
  
  10. -- init
    11. 
  
  
  
  11. local ffi        = require "ffi"
    12. 
  
  
  
  12. local floor      = math.floor
    13. 
  
  
  
  13. local ffi_new    = ffi.new
    14. 
  
  
  
  14. local ffi_str    = ffi.string
    15. 
  
  
  
  15. local ffi_typeof = ffi.typeof
    16. 
  
  
  
  16. local C          = ffi.C
    17. 
  
  
  
  17. local libbase64  = ffi.load("./libbase64.so") -- change this path when needed.
    18. 
  
  
  
  18. 
  
  
  
  19. local _M = { _VERSION = '0.0.1' }
    20. 
  
  
  
  20. 
  
  
  
  21. 
  
  
  
  22. -- cdef
    23. 
  
  
  
  23. ffi.cdef[[
    24. 
  
  
  
  24. void base64_encode(const uint8_t *src, size_t srclen, uint8_t *out, size_t *outlen, size_t flags);
    25. 
  
  
  
  25. int  base64_decode(const uint8_t *src, size_t srclen, uint8_t *out, size_t *outlen, size_t flags);
    26. 
  
  
  
  26. ]]
    27. 
  
  
  
  27. 
  
  
  
  28. -- define types
    29. 
  
  
  
  29. local uint8t    = ffi_typeof("uint8_t[?]") -- uint8_t *
    30. 
  
  
  
  30. local psizet    = ffi_typeof("size_t[1]")  -- size_t *
    31. 
  
  
  
  31. 
  
  
  
  32. -- package function
    33. 
  
  
  
  33. function _M.base64_encode(src, flags)
    34. 
  
  
  
  34.     local dlen   = floor((#src * 8 + 4) / 6)
    35. 
  
  
  
  35.     local out    = ffi_new(uint8t, dlen)
    36. 
  
  
  
  36.     local outlen = ffi_new(psizet, 1)
    37. 
  
  
  
  37.     libbase64.base64_encode(src, #src, out, outlen, flags)
    38. 
  
  
  
  38.     return ffi_str(out, outlen[0])
    39. 
  
  
  
  39. 
  
  
  
  40. end 
    41. 
  
  
  
  41. 
  
  
  
  42. function _M.base64_decode(src, flags)
    43. 
  
  
  
  43.     local dlen   = floor((#src + 1) * 6 / 8)
    44. 
  
  
  
  44.     local out    = ffi_new(uint8t, dlen)
    45. 
  
  
  
  45.     local outlen = ffi_new(psizet, 1)
    46. 
  
  
  
  46.     libbase64.base64_decode(src, #src, out, outlen, flags)
    47. 
  
  
  
  47.     return ffi_str(out, outlen[0])
    48. 
  
  
  
  48. end 
    49. 
  
  
  
  49. 
  
  
  
  50. return _M
    51.

好了, 大功告成, 我們寫個 demo 調(diào)用一下試試:

 
 
 
    
  
  
  
  1. -- main.lua
    2. 
  
  
  
  2. local ffi_base64 = require "ffi-base64" 
    3. 
  
  
  
  3. 
  
  
  
  4. local target = "https://cdxwcx.com"
    5. 
  
  
  
  5. 
  
  
  
  6. local r = ffi_base64.base64_encode(target, 0)
    7. 
  
  
  
  7. print("base64 encode result: \n"..r)
    8. 
  
  
  
  8. 
  
  
  
  9. local r = ffi_base64.base64_decode(r, 0)
    10. 
  
  
  
  10. print("base64 decode result: \n"..r)
    11. 
 
 
 
 
 
 
    
  
  
  
  1. root@router02:/data/works/libbase64-ffi# luajit -v
    2. 
  
  
  
  2. LuaJIT 2.1.0-beta3 -- Copyright (C) 2005-2020 Mike Pall. https://luajit.org/
    3. 
  
  
  
  3. root@router02:/data/works/libbase64-ffi# luajit ./main.lua 
    4. 
  
  
  
  4. base64 encode result: 
    5. 
  
  
  
  5. aHR0cHM6Ly9leGFtcGxlLmNvbQ==
    6. 
  
  
  
  6. base64 decode result: 
    7. 
  
  
  
  7. https://cdxwcx.com
    8.

搞定! 是不是很簡單? 類似的 FFI 庫還有很多, 各個語言也有不同程度的支持. 大家都可以嘗試一下.

最后, 當你遇到類似的問題的時候, 就可以回憶起來, 還有 FFI 這樣一件趁手的兵(魔)器(法)在你的武器庫里面.


分享標題：什么?C語言動態(tài)庫免費大放送了?
文章來源：http://www.5511xx.com/article/ccdegpp.html