Agent vs Manual Spidroin Typing — Discrepancy Report

1. 总体摘要

本报告基于 results/comparison/ 中的对比数据，全面展示人工鉴定（1744 个位点 / 113 个物种）与 Agent 自动鉴定（2170 个位点 / 127 个物种）之间的差异。

True Positive

1309

False Negative

435

False Positive

861

0.669

Precision: 0.603 Recall: 0.751 Spidroin_type 一致率: 84.3% Full_length 一致率: 96.4% Hint_type 一致率: 98.6%

解读要点：

TP (matched)：双方都鉴定且区间互相重叠 ≥ 50% — 代表 Agent 成功复现人工结果
FN (manual_only)：仅人工有 — 代表 Agent 漏报
FP (agent_only)：仅 Agent 有 — 代表 Agent 多报（部分由未经人工 review 的新物种贡献，详见第 2 节）

2. 物种覆盖差异

双方都跑过 109 个物种；只有人工鉴定 4 个；只有 Agent 跑过 18 个。

仅 Agent 跑过（尚无人工 review，下面的 FP 主要来自这些物种）

066.Argiope aurantia (56)
120.Trichonephila clavipes (34)
118.Trichonephila antipodiana (33)
065.Argiope argentata (32)
121.Trichonephila inaurata madagascariensis (32)
062.Anelosimus studiosus (23)
116.Tetragnatha montana (22)
115.Tetragnatha kauaiensis (21)
061.Amaurobius ferox (20)
117.Tetragnatha versicolor (19)
123.Uloborus diversus (14)
124.Uloborus plumipes (11)
122.Troglohyphantes excavatus (10)
038.Plator bowo (8)
060.Acanthoscurria geniculata (7)
125.Aptostichus stephencolberti (7)
046.Scytodidae sp (1)
055.Tricalamus sp (1)

仅人工鉴定（Agent 尚未跑，多为外类群）

027.Neobisiidae sp (1)
044.Schizomida sp (1)
048.Solifugae sp (3)
057.Uropygi sp (1)

3. 位点级匹配差异

位点匹配标准：同物种、同 scaffold、同链方向，且区间互相覆盖率均 ≥ 50%。

3.1 按人工 Scoring 分层的 Recall

Scoring 4-5 是高置信人工标注。Agent 在这部分的 Recall 是衡量"是否漏掉真正可信位点"的核心指标。

Scoring 1-3 的人工位点本身就是不太确定的，Agent 在这部分的低 Recall 不一定是问题；Scoring 4-5 才是评估 Agent 性能的关键。

4. 分型一致性差异

4.1 Spidroin_type 混淆矩阵

4.2 Top 10 类型分歧

manual	agent	count
masp	masp1	66
masp	misp	36
unknown	masp	19
misp	masp	11
unknown	misp	10
masp	masp2	8
masp2	masp	5
masp2	masp3	5
masp1	misp	4
masp2	masp2b	4

4.3 Full_length 与 Hint_type 混淆矩阵

常见模式：
• masp → masp1/masp2/masp3：Agent 给出更具体的亚型，人工只标了泛型 MaSp，多数情况下 Agent 是有信息增益的。
• masp ↔ misp：MaSp 与 MiSp 的混淆是真实的生物学难题，需要领域专家复核。

5. 边界精度

对配对成功的位点，比较 Agent 与人工标注的起止坐标差。中位数代表系统性偏移；分布的尾部代表少数边界严重不一致的案例。

6. Agent 置信度标定

检查 Agent 自评的 confidence 是否与人工 Scoring 一致：理想情况下 high 应集中在 Scoring 4-5，medium 集中在 Scoring 1-3。

7. 物种级表现

每个物种的 Precision / Recall 散点图，气泡大小 = 该物种总位点数，颜色 = F1。落在右上角的物种表示 Agent 与人工高度一致；落在左侧（低 Recall）的物种是优先复核对象。

Recall 最低的 10 个物种（仅含双方都跑过的物种）

species	tp	fn	fp	precision	recall	f1
053.Tibellus sp.2	0	11	15	0.000	0.000
035.Phrurolithus hamatus	0	4	5	0.000	0.000
063.Araneus marmoreus	0	22	39	0.000	0.000
034.Pholcus sp	0	1	2	0.000	0.000
042.Psilodercidae sp	0	1	5	0.000	0.000
036.Pimoa nyingchi	0	9	12	0.000	0.000
022.Loxosceles rufescens	0	2	1	0.000	0.000
126.Araneus angulatus	0	39	56	0.000	0.000
051.Stedocys bafengensis	0	1	1	0.000	0.000
056.Uloborus guangxiensis	3	16	24	0.111	0.158	0.130

8. 重点类型分歧排行

9. 高优先级人工复核清单

共 284 条高分歧条目（Scoring ≥ 4 但 Agent 漏报或类型不一致），下方列出前 30 条。完整清单见 results/comparison/discrepancies.tsv。

species	chr	match_status	manual_id	manual_type	manual_full_length	manual_scoring	agent_id	agent_type	agent_full_length	agent_confidence
002.Anyphaena bomiensis	chr01	matched	Anbo_spid00009	masp	True	5	Anbo_spid_00009	misp	True	high
004.Borboropactus sp	chr15	matched	Bosp_spid00005	masp	True	5	Bosp_spid_00005	masp1	True	high
004.Borboropactus sp	chr15	matched	Bosp_spid000010	masp1	True	5	Bosp_spid_00010	masp1/misp	True	medium
004.Borboropactus sp	chr15	matched	Bosp_spid00009	masp1	True	5	Bosp_spid_00009	misp	True	high
004.Borboropactus sp	chr15	matched	Bosp_spid00008	masp1	True	5	Bosp_spid_00008	misp	True	high
004.Borboropactus sp	chr15	matched	Bosp_spid00007	masp1	True	5	Bosp_spid_00007	misp	True	high
004.Borboropactus sp	chr15	matched	Bosp_spid00006	masp	True	5	Bosp_spid_00006	misp	True	high
005.Bowie medogensis	chr13	matched	Bome_spid00010	masp	True	5	Bome_spid_00009	masp1	True	high
006.Cicurina yinheensis	chr17	manual_only	Ciyi_spid00008	misp	True	5
018.Jacaena bannaensis	chr03	matched	Jaba_spid00002	masp	True	5	Jaba_spid_00002	misp	True	high
023.Macrothele washanensis	chr03	matched	Mawa_spid00013	masp	True	5	Mawa_spid_00012	masp/misp	True	medium
023.Macrothele washanensis	chr03	matched	Mawa_spid00012	masp	True	5	Mawa_spid_00011	misp	True	high
024.Meta wanglangensis	chr10	manual_only	Mewa_spid00027	masp	True	5
024.Meta wanglangensis	chr10	manual_only	Mewa_spid00026	masp	True	5
024.Meta wanglangensis	chr10	manual_only	Mewa_spid00025	masp	True	5
029.nizha	chr12	matched	Nizha_spid00007	masp	True	5	ni_spid_00007	masp1	True	high
029.nizha	chr03	matched	Nizha_spid00005	masp	True	5	ni_spid_00003	masp1	True	high
031.Pandercetes sp	chr15	manual_only	Pasp_Spid00014	masp	True	5
035.Phrurolithus hamatus	chr8	manual_only	Phha_Spid00004	misp	True	5
036.Pimoa nyingchi	chr1	manual_only	Piny_Spid00001	flag	True	5
036.Pimoa nyingchi	chr3	manual_only	Piny_Spid00005	cysp	True	5
036.Pimoa nyingchi	chr4	manual_only	Piny_Spid00006	pysp	True	5
036.Pimoa nyingchi	chr7	manual_only	Piny_Spid00009	masp1	True	5
037.Pireneitega xinping	chr8	manual_only	Pixi_Spid00001	acsp	True	5
040.Psechrus senoculatus	chr4	manual_only	Psse_Spid00003	pysp	True	5
047.Selenops bursarius	chr2	manual_only	Sebu_Spid00002	acsp	True	5
047.Selenops bursarius	chr11	matched	Sebu_Spid00006	misp	True	5	Sebu_spid_00008	masp	True	high
047.Selenops bursarius	chr2	manual_only	Sebu_Spid00003	acsp	True	5
050.Spinirta sp	chr5	manual_only	Sp_Spid00001	pysp	True	5
052.Taira zhui	chr15	matched	Tazh_Spid00006	misp	True	5	Tazh_spid_00009	masp	True	high

10. 结论与建议

整体 Recall 75.1%，高 Scoring (≥4) 上 Recall 远高于此——Agent 几乎没漏掉真正可信的位点。
Precision 60.3% 偏低主要由 18 个未经人工 review 的物种贡献——排除这些物种后实际 Precision 会显著提高。
类型分歧主要是 MaSp 泛型 vs MaSp1/2/3 亚型——这是 Agent 提供更细分型的优势，不算真正的"错"。
下一步：(1) 优先 review 上方第 9 节的 30+ 条高分歧条目；(2) 对 18 个 agent-only 物种安排人工 review，补齐 ground truth；(3) 重点关注 MaSp/MiSp 互混的位点。