目前工作方向发生了挺大的变化，现在已经从Researcher慢慢过渡到了Developer。现在主要是负责一些SDK相关的设计和开发工作，最常使用到的就是C/C++。众所周知，C/C++是最复杂，最强大的一套编程工具，当然其中的概念和坑也是十分的多。这一系列的文章主要是记录我对编译、链接、动静态库、符号表、ABI、以及调试等的理解。
关于编译链接等的知识，可以参考这本经典的参考书：《程序员的自我修养——链接、装载与库》。不过呢，如果只是阅读而不实践的话，很多的知识很难记住。但一般也只需要了解相关的概念，在遇到问题的时候能够想到坑的突破点，其实就已经足够了。
这个是参考了一张Saber的插画。之后绘画的时候是一点都没有再看原图。和官方的Saber比，脸是不太一样。
端午节，画了两天，才画了一张带颜色的图，感觉颜色啥的，好难画，阴影的过渡有待进步~
昨天晚上，终于把Nier的一周目打通了。最后2B小姐姐的眼罩居然掉了。真心好看。所以今天呢，就在没有任何参考的情况下，自己练习了一下头像，感觉效果似乎还可以。难道说，我的插画生涯终于要开始了吗，嘻嘻。
感觉最近的更新频率略高啊～哈哈～
这次的带来的是一个十分简单便利的C++计时库。
项目地址：https://github.com/miaoerduo/tictoc 欢迎Start和提MR。
项目中有详细的说明和Demo，可以很直观的体验到这个库的易用性。
先看一下效果，如果我们正确使用的话，大致会出现类似下面的信息：
|
1 2 3 4 5 6 |
demo.cpp @ main [ 8, 13] elapsed: 0.025 s 24.786 ms 24786 us demo.cpp @ main [ 8, 18] elapsed: 0.049 s 48.709 ms 48709 us demo.cpp @ main [ 8, 23] elapsed: 0.072 s 72.211 ms 72211 us demo.cpp @ main [ 8, 24] elapsed: 0.072 s 72.225 ms 72225 us demo.cpp @ main [ 30, 36] elapsed: 0.022 s 21.747 ms 21747 us demo.cpp @ main [ 36, 41] elapsed: 0.021 s 21.463 ms 21463 us |
可以显示，我们的每个区域的代码（包括行号）的消耗时间。精确到微秒。
起因是这样的，之前有很长时间的工作内容是优化一些特定的函数，保证新旧的SDK的速度的对齐。然后C++虽然有一些工具可以分析运行状态，但通常还是简单的打印时间来的方便 /* Print大法好 */ 。之后，和工程的小伙伴一起Debug的时候，就发现他写了一个头文件，然后用绝对路径的方式去include，而头文件里面就是各种常用的小工具，而最常用到的就是时间的打印。
嗯，很久没有写博客了，最近的工作都是偏开发性质的，以至于没有时间对自己感兴趣的领域进行探索，感觉个人的成长停滞了一些。如何在枯燥的工作中，提取出有助于自己成长的养分，对于每个人来说都是不小的考验。
这次，带来的是之前编写的一下挺简单的库，用来简化流水线作业的小框架。
Github: https://github.com/miaoerduo/easy-pipeline 欢迎Star和提交MR。
起因是这样的，组内有一个需求，需要挖掘视频中的检测难样本，这样可以极大地减少标注的量，从而降低成本。难样本挖掘的策略，简单来说就是如果视频的前几帧和后几帧都能检测到目标，而就只有当前帧没有检测到，就说明当前帧很可能存在漏检（没有检测本到该检测到的目标）；反之，如果前后都没有检测到目标，而当前帧检测到了，那就很可能是误检（检测到不是目标的东西）。
将下面的内容写入自己的~/.vimrc文件即可。
针对自动跳转到上次关闭位置的这个功能，我在Ubuntu 14这个系统上失败了一次。是由于viminfo文件的权限不对。使用ls -l ~/.viminfo。如果发现其创建用户不是当前用户的话，那么可以将其删除。下次打开vim的时候会自动新建。这样就搞定了！
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 |
"自动跳到上次的行 if has("autocmd") au BufReadPost * if line("'\"") > 1 && line("'\"") <= line("$") | exe "normal! g'\"" | endif endif "显示行号 set nu set backspace=indent,eol,start "去掉vi一致性 filetype plugin indent on " 定义F9为粘贴模式 set pastetoggle=<F9> "设置编码 set encoding=utf-8 set fencs=utf-8,ucs-bom,shift-jis,gb18030,gbk,gb2312,cp936 set fileencodings=utf-8,ucs-bom,chinese "语言设置 set langmenu=zh_CN.UTF-8 "设置语法高亮 syntax enable syntax on "设置配色方案 "colorscheme evening "高亮显示匹配的括号 set showmatch "设置缩进 set tabstop=4 set expandtab retab! set softtabstop=4 set shiftwidth=4 set autoindent set cindent if &term=="xterm" set t_Co=8 set t_Sb=^[[4%dm set t_Sf=^[[3%dm endif "打开文件类型自动检测功能 filetype on "设置taglist let Tlist_Show_One_File=0 "显示多个文件的tags let Tlist_File_Fold_Auto_Close=1 "非当前文件，函数列表折叠隐藏 let Tlist_Exit_OnlyWindow=1 "在taglist是最后一个窗口时退出vim let Tlist_Use_SingleClick=1 "单击时跳转 let Tlist_GainFocus_On_ToggleOpen=1 "打开taglist时获得输入焦点 let Tlist_Process_File_Always=1 "不管taglist窗口是否打开，始终解析文件中的tag "设置WinManager插件 let g:winManagerWindowLayout='FileExplorer|TagList' nmap wm :WMToggle<cr> map <silent> <F9> :WMToggle<cr> "将F9绑定至WinManager,即打开WimManager "设置CSCOPE set cscopequickfix=s-,c-,d-,i-,t-,e- "设定是否使用quickfix窗口显示cscope结果 "设置一键编译 map <F6> :make<CR> "设置自动补全 filetype plugin indent on "打开文件类型检测 set completeopt=longest,menu "关掉智能补全时的预览窗口 "启动vim时如果存在tags则自动加载 if exists("tags") set tags=./tags endif "设置按F12就更新tags的方法 map <F12> :call Do_CsTag()<CR> nmap <C-@>s :cs find s <C-R>=expand("<cword>")<CR><CR>:copen<CR> nmap <C-@>g :cs find g <C-R>=expand("<cword>")<CR><CR> nmap <C-@>c :cs find c <C-R>=expand("<cword>")<CR><CR>:copen<CR> nmap <C-@>t :cs find t <C-R>=expand("<cword>")<CR><CR>:copen<CR> nmap <C-@>e :cs find e <C-R>=expand("<cword>")<CR><CR>:copen<CR> nmap <C-@>f :cs find f <C-R>=expand("<cfile>")<CR><CR>:copen<CR> nmap <C-@>i :cs find i ^<C-R>=expand("<cfile>")<CR>$<CR>:copen<CR> nmap <C-@>d :cs find d <C-R>=expand("<cword>")<CR><CR>:copen<CR> function Do_CsTag() let dir = getcwd() if filereadable("tags") if(g:iswindows==1) let tagsdeleted=delete(dir."\\"."tags") else let tagsdeleted=delete("./"."tags") endif if(tagsdeleted!=0) echohl WarningMsg | echo "Fail to do tags! I cannot delete the tags" | echohl None return endif endif if has("cscope") silent! execute "cs kill -1" endif if filereadable("cscope.files") if(g:iswindows==1) let csfilesdeleted=delete(dir."\\"."cscope.files") else let csfilesdeleted=delete("./"."cscope.files") endif if(csfilesdeleted!=0) echohl WarningMsg | echo "Fail to do cscope! I cannot delete the cscope.files" | echohl None return endif endif if filereadable("cscope.out") if(g:iswindows==1) let csoutdeleted=delete(dir."\\"."cscope.out") else let csoutdeleted=delete("./"."cscope.out") endif if(csoutdeleted!=0) echohl WarningMsg | echo "Fail to do cscope! I cannot delete the cscope.out" | echohl None return endif endif if(executable('ctags')) "silent! execute "!ctags -R --c-types=+p --fields=+S *" silent! execute "!ctags -R --c++-kinds=+p --fields=+iaS --extra=+q ." endif if(executable('cscope') && has("cscope") ) if(g:iswindows!=1) silent! execute "!find . -name '*.h' -o -name '*.c' -o -name '*.cpp' -o -name '*.java' -o -name '*.cs' > cscope.files" else silent! execute "!dir /s/b *.c,*.cpp,*.h,*.java,*.cs >> cscope.files" endif silent! execute "!cscope -b" execute "normal :" if filereadable("cscope.out") execute "cs add cscope.out" endif endif endfunction "设置默认shell set shell=bash "设置VIM记录的历史数 set history=1000 "设置当文件被外部改变的时侯自动读入文件 if exists("&autoread") set autoread endif "设置ambiwidth set ambiwidth=double "设置文件类型 set ffs=unix,dos,mac "设置增量搜索模式 set incsearch "设置静音模式 set noerrorbells set novisualbell set t_vb= "不要备份文件 set nobackup set nowb |
另外，附上Ubuntu下，VIM 8升级的命令：
|
1 2 3 |
sudo add-apt-repository ppa:jonathonf/vim sudo apt update sudo apt install vim |
先贴上一张昨晚的作品，这样这篇博客会自动有个插图。：P
左边的男生是想象着随便画的，右边的女生其实是参考的一个插画画的，画的和原图一点都不像就是了。
之前一直在博客里面记录一下自己学习的技术技能，最近写博客的频率已经降到了一个很可怕的数值。一方面是工作的内容过于枯燥，没有什么新技术的使用，不知道要写些什么有意思的内容，另一方面就是工作确实太忙了，写一篇博客需要至少半天的时间，平时肯定是没有的，周末又要陪女票大人出去逛街。这真是现实和生活之间的巨大的矛盾啊，果然有句话是对的：成人的世界里，没有容易二字。实在伐开心。
当然是有的，而且工作量很小。
首先，我们使用pytorch存储模型会使用 torch.save 这个函数，直接将模型的state_dict()保存下来。类似下面的代码：
|
1 2 3 4 5 6 |
torch.save({ 'state_dict': model.state_dict(), 'other': other_data }, 'model.pth' ) |
读取参数的代码也十分简单：
|
1 2 3 4 5 6 |
model = Model() with open('model.pth', 'rb') as fp: param = torch.load(fp) model.load_state_dict(param['state_dict']) |
而低版本的pytorch就是在load_state_dict这里报了错。
我们首先要知道，model.state_dict()的返回值究竟是什么。
这里我直接给出结论：
model.state_dict()的返回值是一个collections.OrderedDict对象，它的键是一个字符串，它的值是Tensor的对象。所以造成兼容性问题的其实是Tensor对象的不兼容。
那么是不是可以将Tensor转化成一个新的非Pytorch内置的数据类型呢？这样就可以避免兼容性问题。
numpy.ndarray就是我们需要的中间态。
首先，我们需要将state_dict的参数转换成numpy.ndarray保存下来。这里使用高版本的pytorch。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
import torch from collections import OrderedDict import pickle with open('model.pth', 'rb') as fp: param = torch.load(fp) state_dict = param['state_dict'] numpy_state_dict = OrderedDict() for key, tensor in state_dict.items(): numpy_state_dict[key] = tensor.cpu().numpy() with open('state_dict.pic', 'wb') as fp: pickle.dump(numpy_state_dict, fp) |
之后，用低版本的pytorch载入这个numpy的state_dict。
|
1 2 3 4 5 6 7 8 9 10 11 12 |
import pickle import torch with open('numpy_state_dict.pic', 'rb') as fp: state_dict = pickle.load(fp) # numpy.ndarray -> tensor for key, ndarr in state_dict.items(): state_dict[key] = torch.Tensor(ndarr) model = Model() model.load_state_dict(state_dict) |
对于这个问题，还有很多的解决方案，这里是比较简单的一种。
PS. 这是目前为止，写的最快的一篇博客了。。。
转载请注明出处，谢谢！