2021-06-17 记事

2021-06-17 记事 Focal Loss的定义 ------------- 理论定义:Focal Loss可以看作是一个损失函数，它使容易分类的样本权重降低，而对难分类的样本权重增加。 pandas转json > > > > > > > > > > > > result = df.to\_json(orient="recor…

文档中段落级别的文本标注任务

文档对段落级别的文本标注任务如果直接上crf显然是不可想像的。 想法： 句子分类借助bert的cls对句子分类。 cls输出向量拼接经过crf。 ``` 可以保持序列的连贯，而且训练的压力相对小很多。 如果没有可用的数据集，完全可以用摘要算法生成些样本作为测试。 在经过人工筛选，没准可以提取不错的摘要。 ```

Anaconda-- conda 创建、激活、退出、删除虚拟环境

在Anaconda中conda可以理解为一个工具，也是一个可执行命令，其核心功能是包管理与环境管理。所以对虚拟环境进行创建、删除等操作需要使用conda命令。 [Managing environments — conda 4.9.2.post34+dc0c8d48 documentation](https://www.notion.so/Managing…

2021-06-15 记事replit

Replit是一个学习程序语言的在线交互式环境，它支持16种程序语言，包括了QBasic、Forth、Ruby、Scheme、Python、Lua等。用户可以直接在浏览器上学习和体验这些语言。 Code, create, and learn together Use our free, collaborative, in-browser IDE to c…

GPU使用状态监控

GPU usage monitoring (CUDA) For Nvidia GPUs there is a tool `nvidia-smi` that can show memory usage, GPU utilization and temperature of GPU. 0.5是刷新间隔 `watch -n 0.5 nvidia-smi`…

使用nvcc查看cuda版本

`lua nvcc --version` (or `/usr/local/cuda/bin/nvcc --version`) gives the CUDA compiler version (which matches the toolkit version).

docker设置系统的环境变量

docker run --env ELASTICSEARCH\_HOST = http://17.16.10.213:9200 -d -p 8888:8080 ela --env 指定docker的环境变量 key=value 使用docker run --env = 来修改环境变量

Linux解压tar.gz和tar.bz2的命令

解压tar.gz和tar.bz2不同压缩文件的命令如下： **1 解压tar.gz文件** `tar -zxvf ×××.tar.gz` **2 解压tar.bz2文件** `tar -jxvf ×××.tar.bz2`

2021-06-08 记事

2021-06-08 记事 lm-scorer --------- lm-scorer 语言评分包。 ================ `pip install lm-scorer` https://pypi.org/project/lm-scorer/ AutoGluon中输出分类和概率 ----------------- 参考地址 …

neptune记录训练过程 kaggle添加验证信息等

2021-06-16 记事 #Neptune 记录训练日志 --------------- ```python from pytorch\_lightning import Trainer from pytorch\_lightning.loggers import NeptuneLogger from kaggle\_secrets import…