"Terry Chan的各种资源链接"
Published on Aug. 22, 2023, 12:06 p.m.
Sorry不是所有的资源都开放，有些是私人用的也被列出来了。
这里是一些有用的链接
| 链接 | 说明 |
|---|---|
| 导航 | python使用说明 |
| Webio | Webio各种尝试 |
| tweb | 其他会放在这里 |
| 前端加速 | jsdelivr静态js和css加速,国内已经加速，可以用 |
| tkitdirve | 数据 |
| tkitBackup | 备份mongodb数据库 |
| Python Gui开发demo | Gui开发demo |
| text_relation_data_bulid | MRPC格式数据标记助手，用于做句子对关系数据标注用 |
| tkitJson | Json快速操作库，配置文件读写 |
| python_libs_demo | 一个创建库的demo便于快速创建自己的第三方库 |
| 快速开发工具 | 很多 |
Linux
一些快速的linux相关处理脚本，解决不了的时候不要忘记Docker。
| 链接 | 说明 |
|---|---|
| aria2配置 | aria2配置 |
| anki使用助手 | anki使用助手配置分享 |
| Terry_vim | 一键安装配置Vim |
| Terry_rime | 小狼毫输入积累 |
| rime-idf-dict | 使用idf生成Rime，本来想做预测下面内容的，有点混乱 |
自然语言
这里是一些自然语言相关内容。
| 链接 | 说明 |
|---|---|
| 句子相似 | 利用预训练的中文模型实现基于bert的语义匹配模型 数据集为LCQMC官方数据 |
| Ner标记数据 | 网上流传的各种ｎｅｒ标记数据 |
| 开源描述标注 | 基于实体提取对应文章中的描述 |
| tkitMarker_bert描述标注 | 使用bert做实体描述提取 |
| Tkit_Classification_mark_tools | 文本分类标记工具 |
| reformer_kg_mark_tools | 知识提取标记工具 |
| tmark_kg开放知识提取系统 | tmark_kg开放知识提取系统 |
| reformer-chinese | reformer-chinese版本，替代GPT2的生成器，降低显存消耗 |
| 标题清理数据集 | 对网页标题进行清理的数据集 |
| Annotator_tools | Ner标记数据集转换为训练数据集 |
| Bert_clear_title标题提取 | 对网页标题进行清理模块，提供训练模型 |
kaggle人工智能项目
感激kaggle提供的GPU，可以做各种人工智能相关测试。
主要集中在自然语言相关领域。
| 链接 | 说明 |
|---|---|
| bert-title | 使用Bert训练标题清理，可以对从网页提取的标题进行清理，绝对杀鸡用牛刀 |
| gpt2kg | 借助GPT2模型做知识提取任务，内存消耗太多还是refromer吧 |
| gpt2关键词造句 | 借助GPT2模型训练的关键词造句模型 |
| bert-tmark-description | Bert做描述提取任务，一个ner的升级吧，可以提取实体对应的相关描述信息 |
| AlBert-BiLSTM-CRF-pytorch标记数据 | 提取任务，一个ner的升级吧，可以提取实体对应的相关描述信息 |
| tseq2seq | 俗套的翻译任务，没啥意义 |
| bert判断宠物内容 | 借助Bert来筛选宠物内容，分类任务，只判断是否为宠物内容 |
| Albert判断内容质量 | 借助AlBert来筛选内容 |
| albert分类宠物内容 | 基本同上，不过albert节省资源 |
| reformer提取知识 | reformer做知识提取 |
| reformer提取知识 | reformer做知识提取 |
| reformer提取知识 | reformer做知识提取 |
| reformer提取知识 | reformer做知识提取128 |
| Bert判断作证 | BERT判断佐证是否有效，可以用于知识提取数据集构建 |
| AlBert文本相似度 | 判断文本是否相似，去重复用 |
| 本相似度 | 判断文本是否相似，去重复用 |
| albert提取实体ner | 描述 |
| AlBert-BiLSTM-CRF-pytorch标记数据 ner和关系词标记 | 根基实体从句子中提取对应的关系词，用这个提取知识效率太低了 |
| bert提取实体ner tmark | 描述 |
| bert提取描述tmark_Description | 描述 |
| FastAi | 对图片质量进行判断，用于筛选模糊的图片 |
| bert_seq2seq_train | bert_seq2seq训练 |
| bert_seq2seq_generate | bert_seq2seq生成 |
| 预测下一句transformers | 描述 |
| albert kg自动判断提取知识是否合理 | 描述 |
Pipy
| 链接 | 说明 |
|---|---|
| Pipy | 打包的内容 |
爬虫
| 链接 | 说明 |
|---|---|
| scrapy_start | 爬虫相关资料 |
| scrapy_search | 搜索爬虫，elasticsearch存储数据 |
网络优化
| 链接 | 说明 |
|---|---|
| v2ray_run | 一键运行 |