[洛谷日报第32期]洛谷第四代评测系统技术分析[洛谷日报第32期]洛谷第四代评测系统技术分析洛谷科技百家号0. 前言 - 洛谷评测机的前世今生自2013年洛谷创立以来，已经陆续更新了4代评测技术。在年的洛谷1、洛谷2时代，使用的是基于 Windows 系统的评测机。当时的评测机技术架构十分简单，原理大概是每秒钟自动从数据库获取未评测的程序，在 Windows 系统上进行评测，甚至直接在 Windows 的最高管理员 Administrator 账户下运行，程序运行环境上没有任何的安全限制，也不支持多线程评测等减少用户等待时间的重要功能，不过对于当时还只是小作坊 OJ 的洛谷来说，也算是比较够用了。当时，lzn 站长想了一个比较聪明的办法来保证评测安全：我们知道 gcc -E 指令可以调用 gcc 编译器的预处理器，即输出处理了 #include #define 等定义之后的代码。通过检查预处理之后的代码，隐藏在宏定义中的危险函数调用将无所遁形。洛谷第一代评测系统采用的便是对预处理后的代码进行关键字检查的安全措施，虽然不是万无一失，但至少可以防住大部分小学生————直到当时本文作者 lin_toto 和 kkksc03 打了一个赌，说可以用5种不同的办法在评测机上弹计算器。（结果最后只找到4种）（科普：弹出计算器是安全界比较流行的，证明对Windows系统已经取得控制的方式。）而洛谷第二代评测系统，也就是老一辈用户所熟知的“港记号”，是随着洛谷3一起推出的，基于 Linux 的评测系统。随着当时用户体量和评测量的增大，洛谷也迫切地需要改进的评测技术。洛谷第二代评测系统由洛谷开发组最神秘的 w 主导开发，带来了多线程并行评测等高级特性（因此也常常被称为“跑得快”）。同时，基于 seccomp 系统调用过滤机制的沙箱，也第一次为洛谷的评测系统带来了真正意义上的安全性。随着评测量的不断增长，洛谷研发了试验性的“云端评测”系统，将一些对常数、时限要求不敏感的题目提交到云端评测系统。云端评测系统是真正“无队列”的：当你在洛谷上提交一道云端评测的题目时，不需要进行排队等待，而是系统立刻为你开设新的评测机并立刻开始评测。在云端评测技术逐渐成熟后，洛谷也停止了第二代评测系统的使用，将所有题目均迁移至云端评测。你一定想问，这套系统是如何实现的呢？云端评测技术必须配合公有云服务实现。有些云服务厂商提供一种特殊的服务器：只在运行任务的时候被启用，任务结束立刻停止，洛谷也只需在有运行任务的时候对服务器付费。利用这种服务，我们便可以无限制地运行几乎任意多的评测系统，也无需担心购买太多评测机造成的资源浪费。然而云端评测也有着各种各样的限制。洛谷云端评测在最初期，使用与“港记号”同样的沙箱技术保证评测安全。但在云端评测运行一段时间后，洛谷使用的云服务商毫无征兆地封禁了所有 seccomp 的使用。不过由于每次评测，服务商为洛谷开设的容器是相互独立的，因此即使容器被恶意毁坏，也不会影响到其他的评测。直到近期，十分毒瘤的云服务商开始了“容器重用”的机制，也就是说，洛谷在短时间内向云服务商提交的评测任务，均会共享同一个评测容器。只要其中有一份恶意代码运行，这个容器中所有的评测任务均会全废。云服务商逐渐加入的各种限制使得洛谷越来越难以维护评测系统的安全性，同时也使开发组意识到了一个问题：云端评测系统过于依赖公有云。评测安全问题最后的爆发则在上上周，一位名为@Fedoraer 的用户突然在 GitHub 上公开了恶意破坏评测容器、以及通过越权读取容器数据达到“自动AC”的代码（详见主站右下角小黑屋）。开发组也因此认为，评测机技术的更新迫在眉睫。因此，洛谷第四代评测机于日晚间正式上线，现正服务除提交答案和在线IDE外的所有评测。题外话，洛谷同时对非法滥用并传播云端评测漏洞的多名主要嫌疑人进行了严打，给予了棕名至永久封禁不等的处罚。1. 第四代评测机设计目标第四代评测机在设计上必须考虑的难点，是如何使用较低的成本，服务洛谷今日巨大的评测规模，同时每个用户也能获得较好的评测体验。洛谷今年的用户体量增长有时候会让人感觉巨大得难以置信。根据后台统计，进入今年暑假后，评测量最低的一天，系统都处理了32000条以上的评测。而目前统计的日均值则在条评测的范围，最高纪录则在8月17日的某节48118条评测。要知道，去年NOIP前日的洛谷单日评测量也才5万3千条。洛谷每日晚高峰的评测量则基本在五分钟300条以上，也就是说基本每天到了晚间时分，不到1秒钟洛谷评测机就要处理一条新的评测。而我们历史上统计过的最高值则在4月1日的愚人节月赛，当时达到了5分钟1103条评测的最高记录，相当于1秒钟接近4个。可能老辈的洛谷用户知道早期洛谷点击评测列表，默认和其他OJ相同，是显示完整的评测队列；而某一天突然切换成了默认只显示自己提交的评测。这是因为洛谷高峰的时候评测记录实在更新得太快了；基本上你刚刚提交完还在队列顶部，一刷新网页就到了底下，再一刷新就根本找不到了。总结，洛谷评测机所面临的评测压力，基本和国际大OJ Codeforces 相匹敌，甚至可能超过。使用过 Codeforces 的同学可能都知道，CF 在评测压力大的时候，立刻会陷入排长队的等待局面。而洛谷评测机的设计目标，则是在如此大的压力下，也尽量不让用户“排长队”，甚至在高峰期都能以不输平峰太多的速度获得评测结果。同时，也不能无脑买一堆服务器，然后在平峰时放着闲置，而应该通过技术，智能化评测系统的调度，实现类似云端评测的机队自动扩容。2. 调度和基本架构第四代评测机再次回到了与第二代类似的队列调度，但这不代表技术上的倒退。相反，开发组引进了云端评测时代的先进经验，创造了一套先进的调度系统。当用户提交评测任务时，任务首先由网页端通过内部通信，发送到评测后端的处理程序上。在简单检查评测任务的合法性后，便被放入评测队列等待程序编译。完成编译后，程序的二进制文件被读取放入一个在所有评测机间共享的存储中。同时，评测任务被按照该题的所有测试点打散，安排进入队列，有空余线程的评测机便读取任务，并行进行评测。在评测结束后，负责结果收集的组件将结果发送回网页端，由网页端进行下一步处理。而四代评测系统的队列机制，相比第二代，主要做出了以下改进：智能优先级。并不是所有的评测任务都会被评测机一视同仁，公平地按照先来后到受到安排。例如，对于本身时限就较长的题目，可以适当降低其评测优先级，因为本身评测就需要花费较久时间，此时多等一些也无妨。又例如被系统认为正在对评测机进行恶意攻击的用户，则会被分配很低的评测优先级，甚至直接拒绝评测。智能扩容。因为洛谷不像 Codeforces 服务来自世界五湖四海的用户，用户群主要来自中国，因此评测量有明显的波动。如果购买大量评测机并在平峰的时候闲置则非常的浪费。因此，第四代评测系统具有自行监测评测拥挤度的功能。当发现评测机的负载过大，或用户出现较长时间等待的情况下，便会自动向云服务器厂商提交订单，在1-2分钟内，新的评测机即可上线服务。在高峰结束之后，多余的评测机则会被自动关闭，以节省不必要的资金花费。同时同以往一样，四代评测系统的所有输入、输出文件，均放置在虚拟内存盘中，因此不存在磁盘速度带来的输入输出速度瓶颈。3. 沙箱洛谷第四代评测机采用了基于 lrun(https://github.com/quark-zju/lrun) 且自行研发改进的评测沙箱技术。该沙箱技术不再限制系统调用，其原理与近年大火的容器技术 docker 类似，利用 Linux 内核的 cgroup、rlimit 等功能，对用户程序进行全方位的限制。因此直接可见的效果便是你现在可以随意在洛谷上提交所有你在网上找到的所谓“卡评测机程序”而不会影响洛谷评测机的正常运行。你的程序看到的是一个完整的 Linux 操作系统，然而你所看到的文件系统只是一个经过我们筛选的只读镜像，只包含对于评测必要的文件，而包括评测数据、其他人的程序等敏感数据，都在用户程序无权也无法读取的镜像外的文件系统，因此类似于“AC自动机”的事件的发生可能性被彻底斩断。程序运行时可申请的内存、磁盘空间等资源受到严格的限制，如有超出则会自动被系统停止运行。你无法看到运行在同一台机器上的其他进程，因为 pid namespace 不被共享。基于同样的原因，以及随机的评测用户 uid/gid ，攻击者也无法施展利用 ptrace 逃出镜像文件系统等等的奇技淫巧。同时，由于第四代评测系统的沙箱本质是创建了一个一模一样的镜像操作系统并全方位限制其权限，我们可以非常轻易地使其支持各种各样的编程语言。作为对比，使用 ptrace 或 seccomp 的传统方案则不得不使用一些非常蹩脚、且安全性值得怀疑的手法来进行安全审查，如系统调用计数等。4. 比较器第四代评测系统的比较器全面接入了 Testlib 。包括默认的 NOIP 风格比较器也实现成了类似 SPJ 的形式。简单来说，在第四代评测系统里所有的比较器都是 Special Judge；如果你上传的题目并没有设置 SPJ，评测机则会自动分配默认的 NOIP 风格比较器作为你的 SPJ 。5. 评测数据管理所有题目的评测数据被放置在一个统一的仓库中，评测机根据需要自行获取。为了降低网络 IO ，评测机在本地磁盘对评测数据进行缓存。同时，评测机维护每道题目的评测数据被最后一次使用的时间，当磁盘空间不足时，自动从本地删除最近没有被使用过的缓存评测数据。当评测机需要使用某个测试点时，系统将对应的测试点从磁盘复制到虚拟内存盘中，同时将输入绑定到用户评测程序的 stdin 上。因此，在镜像文件系统中是找不到输入文件的————它存在于外部的文件系统。6. 结语虽然洛谷评测机至今有一些 Bug 还需要解决，但是对于如此大的提交量，我们选择了比较合理的方案，并且一直不断改进。洛谷的评测机系统是凝结了洛谷开发者智慧的结晶，具有诸多创新点。我们之所以要不断地更新换代洛谷评测机，是为了让满足越来越多的用户通过洛谷学习提升的需求，并且增强用户体验。虽然新版本的洛谷还是咕咕咕，但是洛谷生态圈(大家看得到的和看不到的地方)依然是每天都有在改进。一切改进都是为了我们用户。本文发布于洛谷日报，特约作者：lin_toto原文地址：https://t.blog.luogu.org/luogu-judger-4-analysis本文由百家号作者上传并发布，百家号仅提供信息发布平台。文章仅代表作者个人观点，不代表百度立场。未经作者许可，不得转载。洛谷科技百家号最近更新：简介:洛谷 - 计算机科学教育新生态作者最新文章相关文章人民日报！新闻早知道！人民日报！新闻早知道！是否热门百家号要闻全国宣传思想工作会议21日至22日在北京召开，中共中央总书记、国家主席、中央军委主席习近平出席会议并发表重要讲话。李克强22日主持召开国务院常务会议，决定扩大基本医保跨省异地就医住院费用直接结算范围。国务院22日派出31个督查组，分赴各省（区、市）及新疆生产建设兵团，对贯彻落实党中央、国务院重大决策部署情况开展实地督查。国办印发意见，要求校外培训机构不得一次性收取时间跨度超过3个月的费用。吉林省政府22日免去郭洪志的省食品药品监督管理局局长职务。2019年全国硕士研究生招生考试初试时间昨日公布，为日至12月23日。中国第9次北极科学考察队在北极海域成功布放“海-冰-气无人冰站观测系统”并完成信号测试，这将为国际北极观测网建设提供核心装备。美国指责中国与萨尔瓦多建交，外交部昨日回应，美方这种做法毫无道理，中国人民坚决反对。美国财政部21日宣布，制裁两个涉俄实体和两名个人。俄罗斯外交部表示会做出回击。韩联社消息，韩朝联络办公室本月将揭牌成立。社会教育部21日通报陕西延安部分考生中考成绩出错有关问题，要求各地全面排查，防止类似事件再次发生。央行发布数据，截至第二季度末，全国银行卡在用发卡数量71.87亿张，全国人均持有银行卡5.17张，其中人均持有信用卡0.46张。截至21日，上海等11个省份公布2018年企业工资指导线。从涨幅来看，上线多在10%以上，下线多在3%左右。江苏连云港“12·9”重大爆炸事故调查结果公布，事故企业聚鑫公司被罚款500万元、吊销安全生产许可证，45名责任人和10家责任单位被追责。支付宝升级延时转账功能。遭遇诈骗，只要延时转账未到账，及时报警就能冻结交易。一旦警方下达止付指令，转账就能原路退回。沈阳警方侦破一起“校园贷”诈骗犯罪案，抓获嫌犯28人，涉案金额达1000余万元。网友举报陕西吴起一街道办副主任黄登科19年前顶替他人上学。当地纪委已立案调查，黄登科被暂停一切职务。四川南充一患儿奶奶怀疑护士拔针时弄疼了自家孩子，将护士打倒在地。患儿奶奶被行政拘留10日。山东乡村医生张德庆一家三代扎根沂蒙山区，守护群众健康70年。张德庆的儿女正在学医，他们说，将来要回山区继续服务乡亲们。湖南湘潭一80多岁老人深夜迷路，民警任俊春陪老人一路寻找，另有同事驾着警车跟随，用车灯照亮道路，最终将老人送回家。安徽一养老院因强降雨积水严重，17名老人被困。消防员们一边安慰哭的老人，一边在齐腰深的积水中来回运送，将老人们送到安置点。政策国家卫健委下发通知，要求为贫困人口优先提供家庭医生签约服务，重点对高血压、糖尿病等慢性病患者开展规范管理与健康服务。甘肃发出通知，要求将“恶意逃费”的住院患者列入“黑名单”。深圳市交委表示，对于无人认领、联系不上的“僵尸车”，计划视为遗弃物进行处理，拟选择再生资源公司进行回收。杭州出台新控烟条例，明确规定室内公共场所、室内工作场所、公共交通工具内禁止吸烟。安徽黄山发布细则，9月起风景区内帐篷宿营实行实名制预约。生活提示今日天气：东北地区、江南、重庆、贵州、云南、广西、广东、海南岛、西藏、台湾岛等地的部分地区有中到大雨，其中吉林东部、重庆南部、湖北西南部、贵州中部、云南西部和南部的局地有暴雨或大暴雨。外交提示：外交部领事司和中国驻登巴萨总领馆再次提醒中国公民近期谨慎前往龙目岛地震灾区及周边岛屿。微信：支持全国130个城市的社保（医保）查询服务，打开微信钱包-进入城市服务-选择社保服务即可进行查询。在抵达目标之前，我们都要走一段蜿蜒漫长的路。走到半途是最困难的，因为已经付出了很多，却还没看到尽头。此时，只有沉得住气，踏实走好当下每一步，才不会迷失。掌声可能来得很晚，但只要你不放弃，它就不会缺席。新的一天，早安！编辑 孙鹏本文由百家号作者上传并发布，百家号仅提供信息发布平台。文章仅代表作者个人观点，不代表百度立场。未经作者许可，不得转载。是否热门百家号最近更新：简介:原来新闻也可以这么有趣！作者最新文章相关文章手机有网络也有话费怎么就不能上网呢？_百度知道
手机有网络也有话费怎么就不能上网呢？
答题抽奖
首次认真答题后
即可获得3次抽奖机会，100%中奖。
三星问答服务
三星产品问答服务
三星问答服务
三星产品使用咨询服务支持
手机无法通过移动数据上网，三星手机一般建议进行以下操作：1.下滑屏幕顶帘开启移动数据。【提示】SIM卡需要开通上网业务2.若以上操作后仍无法上网，建议重置手机上网参数：设置-移动网络-接入点名称-更多-重置为默认设置。3.更换其他SIM卡或换个时间段尝试，排除网络问题。4.将手机升级至最新版本。5.若无效，请备份手机中数据将机器恢复出厂设置。若问题依然存在，请您携带购机发票、包修卡和机器送到服务中心检查。 三星服务中心地址信息/客服电话，可通过以下方法进行查询：请您登陆三星官网服务中心页面-选择您要查询的产品及所在的省份城市进行搜索。
三星问答服务
三星产品问答服务
三星问答服务
三星产品使用咨询服务支持
如果手机无法通过移动数据上网，建议您尝试操作：1.下滑屏幕顶帘开启移动数据。【提示】SIM卡需要开通上网业务。2.若以上操作后仍无法上网，建议重置手机上网参数：设置-移动网络-接入点名称-更多-重置为默认设置。3.更换其他SIM卡或换个时间段尝试，排除网络问题。4.将手机升级至最新版本。5.若无效，请备份手机中数据将机器恢复出厂设置。若问题依然存在，请您携带购机发票、包修卡和机器送至服务中心检查。
三星问答服务
三星产品问答服务
三星问答服务
三星产品使用咨询服务支持
若手机无法通过移动数据上网，建议您：1.下滑屏幕顶帘开启移动数据。【提示】SIM卡需要开通上网业务哦~2.若以上操作后仍无法上网，建议重置手机上网参数：设置-移动网络-接入点名称-更多-重置为默认设置。3.更换其他SIM卡或换个时间段尝试，排除网络问题。4.将手机升级至最新版本。5.若无效，请备份手机中数据将机器恢复出厂设置。若问题依然存在，请您携带购机发票、包修卡和机器送到三星服务中心检查。
擅长：暂未定制
可能是信号差，或者附近有信号屏蔽器
高冷够了吗
高冷够了吗
采纳数：62
获赞数：38
擅长：暂未定制
可以打客服电话 可能是流量超了或者是你的上网功能关了
擅长：暂未定制
锦书难托。
其他4条回答
为你推荐：
其他类似问题
您可能关注的内容
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。深圳报业媒体群
时政快报：
24小时排行一周排行
办事攻略 便民信息
新鲜热辣的同城活动
经济适用房
酒店式公寓
500-1000万
1000万以上
报料对象：
报料标题：
报料描述：
联系电话：
就医快速预约
罗湖人民医院
罗湖人民医院2
—9.8&-11.18--11.18—10.10
5天之后，万安县涧田乡良富村村民许礼良、张春妹夫妇迎来结婚15周年纪念日，他们打算拍摄人生中第一张婚纱照，纪念走出贫困的点滴岁月。
Contestants competed at the FFC China Free Fighting Professional League.
Colombian fans in Shenzhen gathered at Italian restaurant Baia in the Sea World.
The Guangdong Team comprised five medal-winning gymnasts from Futian District.
筑梦大鹏圳教育盐田区生态文明碳币服务平台新湖之窗心灵茁壮文明盐田文明深圳同心大鹏特区企业文化深圳舆情研究院深圳新闻网深圳食事药闻深圳龙华发布深圳科技创新深圳光明深圳工务署深圳工会深圳发布深圳宝安共青深网房产深思网人才深圳群策龙岗南山教育马田在线龙华人大龙岗统计乐FUN南山健康桥光明文体通凤凰微窗社区家园网大鹏新区社区家园网大鹏公共事业创新南山滨海宝安宝安消防宝安区土地规划监察局宝安教育爸爸书房
深圳报业媒体群 深圳公益网群 合作网站 友情链接 “一带一路”网络联盟
||||||||||
||||||||||
||||||||||||
|||||||||||
||||||||||||
|||||||||||
廉政监督电话：(6 | 报料热线：(7
秒后关闭 [关闭]