Python 中python 内存优化化都应该注意哪些问题

按照了解的很多PHP/LNMP程序员的发展轨迹,结合个人经验体会,抽象出很多程序员对未来的迷漫,特别对技术学习的盲目和慌乱,简单梳理了这个每个阶段PHP程序员的技术要求,来帮助很多PHP程序做对照设定学习成长目标。本文按照目前主流技术做了一个基本的梳理,整个是假设PHP程序员不是基础非常扎实的情况进行的设定,并且所有设定都非常具体明确清晰,可能会让人觉得不适,请理解仅代表一家之言。(未来技术变化不在讨论范围)。第一阶段:基础阶段(基础PHP程序员)重点:把LNMP搞熟练(核心是安装配置基本操作)目标:能够完成基本的LNMP系统安装,简单配置维护;能够做基本的简单系统的PHP开发;能够在PHP中型系统中支持某个PHP功能模块的开发。时间:完成本阶段的时间因人而异,有的成长快半年一年就过了,成长慢的两三年也有。1.Linux:基本命令、操作、启动、基本服务配置(包括rpm安装文件,各种服务配置等);会写简单的shell脚本和awk/sed&脚本命令等。2.Nginx:做到能够安装配置nginx+php,知道基本的nginx核心配置选项,知道&server/fastcgi_pass/access_log&等基础配置,目标是能够让nginx+php_fpm顺利工作。3.MySQL:会自己搭建mysql,知道基本的mysql配置选项;知道innodb和myisam的区别,知道针对InnoDB和MyISAM两个引擎的不同 配置选项;知道基本的两个引擎的差异和选择上面的区别;能够纯手工编译搭建一个MySQL数据库并且配置好编码等正常稳定运行;核心主旨是能够搭建一个可 运行的MySQL数据库。4.PHP:基本语法数组、字符串、数据库、XML、Socket、GD/ImageMgk图片处理等等;熟悉各种跟MySQL操作链接的api(mysql /mysqli/PDO),知道各种编码问题的解决;知道常规熟练使用的PHP框架(ThinkPHP、Zendframework、Yii、Yaf 等);了解基本MVC的运行机制和为什么这么做,稍微知道不同的PHP框架之间的区别;能够快速学习一个MVC框架。能够知道开发工程中的文件目录组织,有基本的良好的代码结构和风格,能够完成小系统的开发和中型系统中某个模块的开发工作。5.前端:如果条件时间允许,可以适当学习下&HTML/CSS/JS&等相关知识,知道什么web标准,div+css的web/wap页面模式,知道 HTML5和HTML4的区别;了解一些基本的前端只是和JS框架(jQuery之类的);了解一些基本的JavaScript编程知识;(本项不是必须项,如果有时间,稍微了解一下是可以的,不过不建议作为重点,除非个人有强烈兴趣)6.系统设计:能够完成小型系统的基本设计,包括简单的数据库设计,能够完成基本的:浏览器&-&&Nginx+PHP&-&&数据库&架构的设计开发工作;能够支撑每天几十万到数百万流量网站的开发维护工作;第二阶段:提高阶段 (中级PHP程序员)重点:提高针对LNMP的技能,能够更全面的对LNMP有熟练的应用。目标:能够随时随地搭建好LNMP环境,快速完成常规配置;能够追查解决大部分遇到的开发和线上环境的问题;能够独立承担中型系统的构架和开发工作;能够在大型系统中承担某个中型模块的开发工作;1.Linux:&在第一阶段的基础上面,能够流畅的使用Shell脚本来完成很多自动化的工作;awk/sed/perl&也操作的不错,能够完成很多文本处理和数 据统计等工作;基本能够安装大部分非特殊的Linux程序(包括各种库、包、第三方依赖等等,比如MongoDB/Redis/Sphinx /Luncene/SVN之类的);了解基本的Linux服务,知道如何查看Linux的性能指标数据,知道基本的Linux下面的问题跟踪等。2.&Nginx:&在第一阶段的基础上面,了解复杂一些的Nginx配置:包括多核配置、events、proxy_pass,sendfile/tcp_*配置, 知道超时等相关配置和性能影响;知道nginx除了web&server,还能够承担代理服务器、反向静态服务器等配置;知道基本的nginx配置调优;知道如何配置权限、编译一个nginx扩展到nginx;知道基本的nginx运行原理(master/worker机制,epoll),知道为什么 nginx性能比apache性能好等知识;3.&MySQL/MongoDB:在第一阶段的基础上面,在MySQL开发方面,掌握很多小技巧,包括常规SQL优化(group&by/order&by/rand优化等);除了 能够搭建MySQL,还能够冷热备份MySQL数据,还知道影响innodb/myisam性能的配置选项(比如key_buffer /query_cache/sort_buffer/innodb_buffer_pool_size /innodb_flush_log_at_trx_commit等),也知道这些选项配置成为多少值合适;另外也了解一些特殊的配置选项,比如&&知道 如何搭建mysql主从同步的环境,知道各个binlog_format的区别;知道MySQL的性能追查,包括slow_log/explain等,还 能够知道基本的索引建立处理等知识;原理方面了解基本的MySQL的架构(Server+存储引擎),知道基本的InnoDB/MyISAM索引存储结构 和不同(聚簇索引,B树);知道基本的InnoDB事务处理机制;了解大部分MySQL异常情况的处理方案(或者知道哪儿找到处理方案)。条件允许的情况,建议了解一下NoSQL的代表MongoDB数据库,顺便对比跟MySQL的差别,同事能够在合适的应用场景安全谨慎的使用MongoDB,知道基本 的PHP与MongoDB的结合开发。4.&Redis/Memcached:在大部分中型系统里面一定会涉及到缓存处理,所以一定要了解基本的缓存;知道Memcached和Redis的异同和应用场景,能够独立安 装&Redis/Memcached,了解Memcahed的一些基本特性和限制,比如最大的value值,知道PHP跟他们的使用结合;Redis了解 基本工作原理和使用,了解常规的数据类型,知道什么场景应用什么类型,了解Redis的事务等等。原理部分,能够大概了解Memcached的内存结构 (slab机制),redis就了解常用数据类型底层实现存储结构(SDS/链表/SkipList/HashTable)等等,顺便了解一下Redis 的事务、RDB、AOF等机制更好5.&PHP:除了第一阶段的能力,安装配置方面能够随意安装PHP和各种第三方扩展的编译安装配置;了解php-fpm的大部分配置选项和含义(如 max_requests/max_children/request_terminate_timeout之类的影响性能的配置),知道mod_php /fastcgi的区别;在PHP方面已经能够熟练各种基础技术,还包括各种深入些的PHP,包括对PHP面向对象的深入理解/SPL/语法层面的特殊特 性比如反射之类的;在框架方面已经阅读过最少一个以上常规PHP&MVC框架的代码了,知道基本PHP框架内部实现机制和设计思想;在PHP开发中已经能 够熟练使用常规的设计模式来 应用开发(抽象工厂/单例/观察者/命令链/策略/适配器&等模式);建议开发自己的PHP&MVC框架来充分让开发自由化,让自己深入理解MVC模式, 也让自己能够在业务项目开发里快速升级;熟悉PHP的各种代码优化方法,熟悉大部分PHP安全方面问题的解决处理;熟悉基本的PHP执行的机制原理 (Zend引擎/扩展基本工作机制);6.&C/C++:&开始涉猎一定的C/C++语言,能够写基本的C/C++代码,对基本的C/C++语法熟悉(指针、数组操作、字符串、常规标准API)和数据结构 (链表、树、哈希、队列)有一定的熟悉下;对Linux下面的C语言开发有基本的了解概念,会简单的makefile文件编写,能够使用简单的 GCC/GDB的程序编译简单调试工作;对基本的网络编程有大概了解。(本项是为了向更高层次打下基础)7.&前端:在第一阶段的基础上面,熟悉基本的HTTP协议(协议代码200/300/400/500,基本的HTTP交互头);条件允许,可以在深入写出稍微 优雅的HTML+CSS+JavaScript,或者能够大致简单使用某些前端框架(jQuery/YUI/ExtJS/RequireJS/Bootstrap之类);如果条件允许,可以深入学习JavaScript编程,比如闭包机制、DOM处理;再深入些可以读读jQuery源码做深入学习。(本项不做重点学习,除非对前端有兴趣)8.&系统设计:能够设计大部分中型系统的网站架构、数据库、基本PHP框架选型;性能测试排查处理等;能够完成类似:浏览 器&-&&CDN(Squid)&-&&Nginx+PHP&-&&缓存&-&&数据库&结构网站的基本设计开发维护;能够支撑 每天数百万到千万流量基本网站的开发维护工作;第三阶段:高级阶段 (高级PHP程序员)重点:除了基本的LNMP程序,还能够在某个方向或领域有深入学习。(纵深维度发展)目标:除了能够完成基本的PHP业务开发,还能够解决大部分深入复杂的技术问题,并且可以独立设计完成中大型的系统设计和开发工作;自己能够独立hold深入某个技术方向,在这块比较专业。(比如在MySQL、Nginx、PHP、Redis等等任一方向深入研究)1.Linux:除了第二阶段的能力,在Linux下面除了常规的操作和性能监控跟踪,还能够使用很多高级复杂的命令完成工作(watch/tcpdump /starce/ldd/ar等);在shell脚本方面,已经能够编写比较复杂的shell脚本(超过500行)来协助完成很多包括备份、自动化处理、 监控等工作的shell;对awk/sed/perl&等应用已经如火纯青,能够随意操作控制处理文本统计分析各种复杂格式的数据;对Linux内部机制 有一些了解,对内核模块加载,启动错误处理等等有个基本的处理;同时对一些其他相关的东西也了解,比如NFS、磁盘管理等等;2.&Nginx:&在第二阶段的基础上面,已经能够把Nginx操作的很熟练,能够对Nginx进行更深入的运维工作,比如监控、性能优化,复杂问题处理等等;看个人 兴趣,更多方面可以考虑侧重在关于Nginx工作原理部分的深入学习,主要表现在阅读源码开始,比如具体的master/worker工作机 制,Nginx内部的事件处理,内存管理等等;同时可以学习Nginx扩展的开发,可以定制一些自己私有的扩展;同时可以对Nginx+Lua有一定程度 的了解,看看是否可以结合应用出更好模式;这个阶段的要求是对Nginx原理的深入理解,可以考虑成为Nginx方向的深入专业者。3.&MySQL/MongoDB:在第二阶段的基础上面,在MySQL应用方面,除了之前的基本SQL优化,还能够在完成一些复杂操作,比如大批量数据的导入导出,线上大批量数据的 更改表结构或者增删索引字段等等高危操作;除了安装配置,已经能够处理更多复杂的MySQL的问题,比如各种问题的追查,主从同步延迟问题的解决、跨机房 同步数据方案、MySQL高可用架构等都有涉及了解;对MySQL应用层面,对MySQL的核心关键技术比较熟悉,比如事务机制(隔离级别、锁等)、对触 发器、分区等技术有一定了解和应用;对MySQL性能方面,有包括磁盘优化(SAS迁移到SSD)、服务器优化(内存、服务器本身配置)、除了二阶段的其 他核心性能优化选项(innodb_log_buffer_size/back_log/table_open_cache /thread_cache_size/innodb_lock_wait_timeout等)、连接池软件选择应用,对show&* (show&status/show&profile)类的操作语句有深入了解,能够完成大部分的性能问题追查;MySQL备份技术的深入熟悉,包括灾备 还原、对Binlog的深入理解,冷热备份,多IDC备份等;在MySQL原理方面,有更多了解,比如对MySQL的工作机制开始阅读部分源码,比如对主 从同步(复制)技术的源码学习,或者对某个存储引擎(MyISAM/Innodb/TokuDB)等等的源码学习理解,如果条件允许,可以参考CSV引擎 开发自己简单的存储引擎来保存一些数据,增强对MySQL的理解;在这个过程,如果自己有兴趣,也可以考虑往DBA方向发展。MongoDB层面,可以考 虑比如说在写少读多的情况开始在线上应用MongoDB,或者是做一些线上的数据分析处理的操作,具体场景可以按照工作来,不过核心是要更好的深入理解 RMDBS和NoSQL的不同场景下面的应用,如果条件或者兴趣允许,可以开始深入学习一下MongoDB的工作机制。4.&Redis/Memcached:在第二阶段的基础上面,能够更深入的应用和学习。因为Memcached不是特别复杂,建议可以把源码进行阅读,特别是内存管理部分,方便深入理 解;Redis部分,可以多做一些复杂的数据结构的应用(zset来做排行榜排序操作/事务处理用来保证原子性在秒杀类场景应用之类的使用操作);多涉及 aof等同步机制的学习应用,设计一个高可用的Redis应用架构和集群;建议可以深入的学习一下Redis的源码,把在第二阶段积累的知识都可以应用 上,特别可以阅读一下包括核心事件管理、内存管理、内部核心数据结构等充分学习了解一下。如果兴趣允许,可以成为一个Redis方面非常专业的使用者。5.&PHP:作为基础核心技能,我们在第二阶段的基础上面,需要有更深入的学习和应用。从基本代码应用上面来说,能够解决在PHP开发中遇到95%的问题,了解 大部分PHP的技巧;对大部分的PHP框架能够迅速在一天内上手使用,并且了解各个主流PHP框架的优缺点,能够迅速方便项目开发中做技术选型;在配置方 面,除了常规第二阶段会的知识,会了解一些比较偏门的配置选项(php&auto_prepend_file/auto_append_file),包括 扩展中的一些复杂高级配置和原理(比如memcached扩展配置中的memcache.hash_strategy、apc扩展配置中的 apc.mmap_file_mask/apc.slam_defense/apc.file_update_protection之类的);对php的 工作机制比较了解,包括php-fpm工作机制(比如php-fpm在不同配置机器下面开启进程数量计算以及原理),对zend引擎有基本熟悉 (vm/gc/stream处理),阅读过基本的PHP内核源码(或者阅读过相关文章),对PHP内部机制的大部分核心数据结构(基础类型/Array /Object)实现有了解,对于核心基础结构(zval/hashtable/gc)有深入学习了解;能够进行基本的PHP扩展开发,了解一些扩展开发 的中高级知识(minit/rinit等),熟悉php跟apache/nginx不同的通信交互方式细节(mod_php/fastcgi);除了开发 PHP扩展,可以考虑学习开发Zend扩展,从更底层去了解PHP。6.&C/C++:在第二阶段基础上面,能够在C/C++语言方面有更深入的学习了解,能够完成中小型C/C++系统的开发工作;除了基本第二阶段的基础C/C++语 法和数据结构,也能够学习一些特殊数据结构(b-tree/rb-tree/skiplist/lsm-tree/trie-tree等)方便在特殊工作 中需求;在系统编程方面,熟悉多进程、多线程编程;多进程情况下面了解大部分多进程之间的通信方式,能够灵活选择通信方式(共享内存/信号量/管道等);&多线程编程能够良好的解决锁冲突问题,并且能够进行多线程程序的开发调试工作;同时对网络编程比较熟悉,了解多进程模型/多线程模型/异步网络IO模型的 差别和选型,熟悉不同异步网络IO模型的原理和差异(select/poll/epoll/iocp等),并且熟悉常见的异步框架(ACE/ICE /libev/libevent/libuv/Boost.ASIO等)和使用,如果闲暇也可以看看一些国产自己开发的库(比如muduo);同时能够设 计好的高并发程序架构(leader-follow/master-worker等);了解大部分C/C++后端Server开发中的问题(内存管理、日 志打印、高并发、前后端通信协议、服务监控),知道各个后端服务RPC通信问题(struct/http/thirft/protobuf等);能够更熟 络的使用GCC和GDB来开发编译调试程序,在线上程序core掉后能够迅速追查跟踪解决问题;通用模块开发方面,可以积累或者开发一些通用的工具或库 (比如异步网络框架、日志库、内存池、线程池等),不过开发后是否应用要谨慎,省的埋坑去追bug;7.&前端:深入了解HTTP协议(包括各个细致协议特殊协议代码和背后原因,比如302静态文件缓存了,502是nginx后面php挂了之类的);除了之前 的前端方面的各种框架应用整合能力,前端方面的学习如果有兴趣可以更深入,表现形式是,可以自己开发一些类似jQuery的前端框架,或者开发一个富文本 编辑器之类的比较琐碎考验JavaScript功力;8.&其他领域语言学习:在基础的PHP/C/C++语言方面有基本积累,建议在当前阶段可以尝试学习不同的编程语言,看个人兴趣爱好,脚本类语言可以学学&Python /Ruby&之类的,函数式编程语言可以试试&Lisp/Haskell/Scala/Erlang&之类的,静态语言可以试试&Java /Golang,数据统计分析可以了解了解R语言,如果想换个视角做后端业务,可以试试&Node.js还有前面提到的跟Nginx结合的 Nginx_Lua等。学习不同的语言主要是提升自己的视野和解决问题手段的差异,比如会了解除了进程/线程,还有轻量级协程;比如在跨机器通信场景下 面,Erlang的解决方案简单的惊人;比如在不想选择C/C++的情况下,还有类似高效的Erlang/Golang可用等等;主要是提升视野。9.&其他专业方向学习:在本阶段里面,会除了基本的LNMP技能之外,会考虑一些其他领域知识的学习,这些都是可以的,看个人兴趣和长期的目标方向。目前情况能够选择的领 域比较多,比如、云计算(分布式存储、分布式计算、虚拟机等),机器学习(数据挖掘、模式识别等,应用到统计、个性化推荐),自然语言处理(中文分词 等),搜索引擎技术、图形图像、语音识别等等。除了这些高大上的,也有很多偏工程方面可以学习的地方,比如高性能系统、移动开发 (Android/IOS)、计算机安全、嵌入式系统、硬件等方向。10.&系统设计:系统设计在第二阶段的基础之上,能够应用掌握的经验技能,设计出比较复杂的中大型系统,能够解决大部分线上的各种复杂系统的问题,完成类似&浏览器&-&&CDN&-&&负载均衡&-& 接入层&-&&Nginx+PHP&-&&业务缓存&-&&数据库&-&&各路复杂后端RPC交互(存储后端、逻辑后端、反作弊 后端、外部服务)&-&&更多后端&酱紫的复杂业务;能够支撑每天数千万到数亿流量网站的正常开发维护工作。兄弟连感恩大回馈,助梦未来程序员,寻觅未来IT大神。程序猿,免费领光盘,免费参加兄弟连网上公开课。另外还有PHP、Linux、Android、UI、iOS、html5等全套学习资料赠送。助梦人,免费领兄弟连礼品(USB风扇,LED灯,菊花皂,钥匙扣)你的每一次转发都有可能帮助到未来程序猿。所有光盘、礼品包邮,点击“阅读原文”报名填写收件信息!活动详情:如果你是程序猿,约6人,一起报名,为你助梦,光盘拿到手。如果你是助梦人,约3人,转发,兄弟连为你点赞送礼品。不管你是谁,一定加QQ:,确保礼品准时发出。或者加二姐微信:zzp_报名方式:点击下方阅读原文,或者加二姐微信咨询欢迎大家添加兄弟连二姐微信哦!微信ID:zzp_长按左侧二维码关注
看过本文的人还看过
人气:38261 更新:
人气:31829 更新:
人气:19650 更新:
人气:19564 更新:
PHP菜鸟训练营的更多文章
大家在看 ^+^
推荐阅读 ^o^
又一项超级工程!中国人用七年建一座桥,创下这么多世界之最
幸福那么缺货,请别肆意挥霍
你老玩手机,这样真找不到对象。
一位退休老人,玩微信两年来的感受!说得太精辟了~
猜你喜欢 ^_^
24小时热门文章
微信扫一扫
分享到朋友圈C程序员要自己管理内存的分配和回收,而Python具有垃圾自动回收的机制,Forcal的动态内存管理兼有二者的特点:既可以手动回收垃圾以提高运行效率,也可以完全依赖于Forcal的垃圾自动回收机制。通常,Forcal中用类似new的函数生成动态对象,而用类似delete的函数销毁动态对象,这一点类似于C,用户可以高效地管理内存;所有用户没有销毁的对象,会由Forcal的垃圾收集器管理,并最终会被Forcal安全地回收,这一点类似于Python。
参考: http://www.forcal.net/wtjd/unusualforcal.htm#dynamicmem
或者: http://www.forcal.net/sysm/forcal9/fchtm/userforcal.htm#dynamicmemory
这种动态内存管理模式有什么缺点?为什么Java、Python等不使用?
回复讨论(解决方案)
因为自动垃圾回收已经够高效了。大家看不到有手动管理的必要。
参考并感谢fibbery、iambic、I_NBFA等朋友以前对该问题的关注和讨论: http://topic.csdn.net/u//59d2c205-34f6-42e3-e06e3d.html
因为自动垃圾回收已经够高效了。大家看不到有手动管理的必要。
也是刚刚看到这个帖子,说明手动内存管理有一定优势: http://topic.csdn.net/u//769aad05-e92e-452f-b6be-60a8f6e124aa.html?71776
从那个楼主的描述,看不出来这是否真的是一个问题(或许只是由于缺乏经验或者无知)。即使真的是一个问题,也未必就是无法解决的。总之得不到什么有意义的结论。
动态内存管理模式和垃圾回收完全不是一回事吧?
C++没有提供垃圾回收机制,但是可以通过智能指针自己实现啊
java好像有垃圾回收机制吧?
怎么感觉楼主走火入魔了。
各有优缺点,说这个没有意义。
看来找一个手动管理内存比自动管理内存更好的例子还是比较困难的。
例如:多线程程序中。
线程1操作对象A,然后销毁A;
线程2等待对象A销毁后执行操作。
此例采用手动管理应该要比自动管理要好,只是此类例子不好找,或者有自动管理下的更好的实现方法。
看来找一个手动管理内存比自动管理内存更好的例子还是比较困难的。
例如:多线程程序中。
线程1操作对象A,然后销毁A;
线程2等待对象A销毁后执行操作。
此例采用手动管理应该要比自动管理要好,只是此类例子不好找,或者有自动管理下的更好的实现方法。
有那么困难吗,根据你的特别需求来建立内存池就是个很好的例子,这样自己管理对内存的分配就恨清楚,至少有个优点是不会产生内存碎片。
c也可以实现内存自动管理,
python也可以内存泄漏。
有那么困难吗,根据你的特别需求来建立内存池就是个很好的例子,这样自己管理对内存的分配就恨清楚,至少有个优点是不会产生内存碎片。
自动管理内存产生更少的内存碎片的确是优点,但其他的,似乎总有办法绕开“对象A销毁后执行操作”,例如可设置一个互斥访问的全局量来传递信息,而不必“对象A销毁后执行操作”。
c也可以实现内存自动管理,
python也可以内存泄漏。
“c也可以实现内存自动管理”,但c程序员还是要花大力气面对如何避免内存泄露等问题,脚本的一个优点就是要使脚本用户在内存管理方面更轻松,通常不必关心内存泄露问题。
“python也可以内存泄漏”,是计数法导致的循环引用使得垃圾收集器无法回收吗?python在哪些情况下会出现内存泄露呢?
while&True:
&&&&a&=&list(range(1000000))
&&&&a.append(a)
这个很快就把内存泄漏完了
Python&code
while&True:
&&&&a&=&list(range(1000000))
&&&&a.append(a)
这个很快就把内存泄漏完了
这个就是计数法导致的循环引用使得垃圾收集器无法回收吧?
对Python不熟悉,但做了个测试:
a&=&list(range(2));&a.append(a);&print(a);&print(a[2]);&print(a[2][2]);&print(a[2][2][2]);&print(a[2][2][2][2])
[0,&1,&[...]]
[0,&1,&[...]]
[0,&1,&[...]]
[0,&1,&[...]]
[0,&1,&[...]]
这说明执行“a&=&list(range(2));&a.append(a);&”后,a指向一个循环链表,即:a=[0,&1,&a]
当循环执行以上语句时,将产生许多循环链表,但a只指向最后一个,前面产生的循环链表都成为了垃圾。
Python&code
while&True:
&&&&a&=&list(range(1000000))
&&&&a.append(a)
这个很快就把内存泄漏完了
兄弟,你很聪明,但是不管测试结果怎么样,请不要把内存用光和内存泄露混淆了。
Forcal是一种嵌入式脚本,采用自动垃圾回收与手动垃圾回收并存可简化脚本使用、扩大脚本使用范围并提高混合编程效率和运行效率。
设主程序语言为C/C++或delphi等,主程序中有一个对象(或结构等)A,要实现在主程序和Forcal脚本中对A的联合操作。
首先,要使主程序和Forcal都能操作对象A,对象A必须注册到Forcal系统中,可注册为两类对象,一种注册对象可被垃圾收集器回收,另一类注册对象垃圾收集器无法回收。此外,还要向Forcal注册一些操作对象A的函数。
有以下多种联合操作方式:
1、注册为垃圾收集器无法回收的对象,基本特点为:
主程序可生成对象A并注册到Forcal系统,对象A也可在脚本中由专用函数生成;
主程序可销毁对象A,Forcal脚本中也可销毁对象A,销毁可以是立即进行的,或者暂存到缓冲池中;
主程序或脚本中都可一次销毁对象A的所有实例;
主程序或Forcal脚本用户没有销毁的实例由Forcal系统最终回收。
2、注册为垃圾收集器可回收的对象,基本特点为:
主程序可生成对象A并注册到Forcal系统,对象A也可在脚本中由专用函数生成;
主程序可销毁对象A,Forcal脚本中也可销毁对象A,销毁可以是立即进行的,或者暂存到缓冲池中;
主程序或脚本中都可一次销毁对象A的所有实例;
主程序或Forcal脚本用户没有销毁的实例由Forcal系统最终回收。
主程序可按一定规则启动垃圾收集器回收垃圾对象;
Forcal脚本中可立即启动垃圾收集器回收垃圾对象;
主程序可设置垃圾收集器不能启动,则脚本中的垃圾收集器也无法运行。
注:Forcal垃圾收集器采用标记清除算法。
3、多种对象并存时,有些对象注册为垃圾收集器可回收的对象,有些对象注册为垃圾收集器不可回收的对象,各自具备各自的特点,不相互影响。
由于自动垃圾回收与手动垃圾回收并存,故无论在主程序,还是在Forcal脚本中销毁一个对象,不必担心会带来任何问题。而只采用自动垃圾回收的脚本系统,在实现复杂功能时,主程序和脚本系统接口上需费很多心思,往往会费力不讨好。
个人认为,自动垃圾回收与手动垃圾回收并存的脚本系统,至少在混合编程方面,最终会获得用户的认可。
参考:http://blog.csdn.net/marising/article/details/2962560
4.对象释放的问题
假如在c++中创建的对象,在python中怎么释放?或者在python中创建的对象,在c++怎么释放?
我的看法是,在一种语言中创建并释放。如果你想在python中创建对象,可以调用c++的函数,比如newClass()来创建,返回一个指针或者引用,使用完毕,调用c++的deleteClass()来释放。否则,python引用计数会特别麻烦,很容易导致内存泄漏等问题。
引用&13&楼&yq_118&的回复:
Python&code
while&True:
a&=&list(range(1000000))
a.append(a)
这个很快就把内存泄漏完了
兄弟,你很聪明,但是不管测试结果怎么样,请不要把内存用光和内存泄露混淆了。
挺逗的(^_^)
Python有个说法,就是“简单就是美!”,只要一种方法可以完成的事,就不要用第二中方法,大概是基于这样的理念,象switch-case这样的语句也不支持,不管你要处理的case有多少,通通给我一条一条地用if-else-if吧。因此,Python有GC了,你就不要指望它用GC以外的方法。
JAVA用的人很多,你也不要指望JAVA改变太多,如果改变太多,就不是JAVA了。曾经听说过,直接内存处理存在安全问题,而当初JAVA主要是要用于网络。
看来找一个手动管理内存比自动管理内存更好的例子还是比较困难的。
例如:多线程程序中。
线程1操作对象A,然后销毁A;
线程2等待对象A销毁后执行操作。
此例采用手动管理应该要比自动管理要好,只是此类例子不好找,或者有自动管理下的更好的实现方法。
这不算个问题,完全可以利用同步手段发个信号消息啥的立时迎刃而解
Python有个说法,就是“简单就是美!”,只要一种方法可以完成的事,就不要用第二中方法,大概是基于这样的理念,象switch-case这样的语句也不支持,不管你要处理的case有多少,通通给我一条一条地用if-else-if吧。因此,Python有GC了,你就不要指望它用GC以外的方法。
JAVA用的人很多,你也不要指望JAVA改变太多,如果改变太多,就不是JAVA了。曾经听说过,直接内存……
的确,各有各的特点。
不妨把各种语言看成工具,实际上就是工具吧。此工具提供这个特点,就会丧失另个特点。各有所长亦各有所短。工具有大小,功能有强弱,适用范围也不一样,但制造和使用工具是人的基本特征,也是人类社会发展的基本动力。
引用&8&楼&forcal&的回复:
看来找一个手动管理内存比自动管理内存更好的例子还是比较困难的。
例如:多线程程序中。
线程1操作对象A,然后销毁A;
线程2等待对象A销毁后执行操作。
此例采用手动管理应该要比自动管理要好,只是此类例子不好找,或者有自动管理下的更好的实现方法。
这不算个问题,完全可以利用同步手段发个信号消息啥的立时迎刃而解
是的,此类例子不好找。
采用手动管理,只是增加了一种可选择的解决问题的方法。
手动管理可选方案的最大问题就在于它引入了手动管理内存的问题,而且把这个问题波及到自动管理内存的代码上。因为一个自动管理内存的对象也可能引用了需要手动管理的对象。手动管理内存所带来的问题反而变得复杂了。
其次,推荐手动管理内存,就让自动内存管理变成了摆设。基本上类似于大家设想的带GC的C++,只在某些限定的情况下使用gc(比如shared&pointer)。而无法把自动管理内存变成一种风格。
Python有个说法,就是“简单就是美!”,只要一种方法可以完成的事,就不要用第二中方法,大概是基于这样的理念,象switch-case这样的语句也不支持,不管你要处理的case有多少,通通给我一条一条地用if-else-if吧。因此,Python有GC了,你就不要指望它用GC以外的方法。
JAVA用的人很多,你也不要指望JAVA改变太多,如果改变太多,就不是JAVA了。曾经听说过,直接内存……
挺逗的(^_^)
手动管理可选方案的最大问题就在于它引入了手动管理内存的问题,而且把这个问题波及到自动管理内存的代码上。因为一个自动管理内存的对象也可能引用了需要手动管理的对象。手动管理内存所带来的问题反而变得复杂了。
其次,推荐手动管理内存,就让自动内存管理变成了摆设。基本上类似于大家设想的带GC的C++,只在某些限定的情况下使用gc(比如shared&pointer)。而无法把自动管理内存变成一种风格。
这个“手动管理问题”,Forcal中是这样解决的,这需要从脚本函数的内部实现(一般用C/C++、delphi等实现)上来理解:函数接收的任一个对象在使用前要进行验证,只有对象有效才进行操作。当然,如果是自动管理,就不存在验证问题,函数接收的每一个对象都是有效的。二者效率的差别在于验证对象所花的时间上,经测试,Forcal验证对象所花的时间极少(与即将对对象进行的其他操作相比),在有缓冲池的情况下,这个时间几乎可以忽略。故可以说,手动管理内存所带来的问题很简单地就解决了,而自动管理的问题似乎会更多些。
自动管理的问题,似乎在混合编程时,主程序与脚本之间进行数据交互时比较突出,例如17#文章中所说的对象释放问题:假如在c++中创建的对象,在python中怎么释放?或者在python中创建的对象,在c++怎么释放?
使用手动管理时,主程序想怎么销毁就怎么销毁脚本中的对象,岂不是很方便?
其次,推荐手动管理内存,并不会使自动内存管理变成摆设。垃圾收集器可回收手动管理遗漏的垃圾。
好吧,还是回到最开始提的本质问题??即使可行,但是没必要……
举个例子,common&lisp的速度是可以非常快的。但是这种快的建立在程序员手工优化,加入一些type&hints的结果。而type&hints可能是不安全的,也会影响代码的可读性,可维护性,移植性(虽然common&lisp的移植性本来就很糟糕)。虽然common&lisp的速度在很多地方上接近C,甚至有些比C还快。但是其他主流语言的社区基本都没采用这种优化技术。Python/JavaScript/Lua,这些动态语言无一例外的使用JIT技术来提高速度,而不是把这些事情交给程序员。即使现在这些脚本语言的速度比common&lisp还有很多不如,甚至差几倍几十倍,但大家一致认为即使速度比不上人家也比让用户type&hints强。而且真正的瓶颈可以干脆用C写。
如果速度不差,更没人选择让用户去做这种事情了。
再举个例子,您的脚本速度和java比如何呢?
GC是一种进步。他让用户写代码的时候关心更少的东西,而把时间和精力集中在真正有意义的地方。
不管您的脚本提供可选方案,这种方案如果干扰到不需要它的用户,那就是一种退步。而显然,你的可选方案已经在很高的层次上影响了语言本身,对所有用户来说都是不可回避的一个主题。
不多讨论了,各种心中自有成见,不太像是能通过沟通达到共识的样子……
打酱油来学习,来围观
LZ还是着手做个成品吧,很多问题在实现过程中就明显暴露出来了。
既然多数人讨厌手动垃圾收集,而且更看重简单易用而不是速度,使用Forcal按以下方法设计,将是完全的自动垃圾收集,不允许手动销毁对象。
1、Forcal核心库没有任何动态对象,这是基础。
2、扩展Forcal时,C/C++程序员不注册销毁对象的函数。
3、Forcal脚本运行时的垃圾对象完全由垃圾收集器收集,垃圾收集器按一定算法启动即可。
==========
做过一些效率测试,但没有和java比较过,java的效率是蛮高的,但它是航空母舰型的东西,且有JIT。
Forcal定位于嵌入式轻量级脚本。
在没有使用JIT技术的情况下,Forcal和Lua效率相当,JIT技术是值得引入的技术。
==========
Forcal的发展以其演示程序【开放式计算程序OpenFC】为基础,在实现过程中暴露出来一些问题,也解决了一些问题,当然OpenFC功能还是简单了些,许多问题尚未遇到,故有此一问:&“这样的内存管理有哪些缺点:自动垃圾回收与手动垃圾回收并存?”
==========
看来许多问题的讨论都没有结果,只能是求同存异。
Forcal将作为提供给用户多种选择的一种脚本工具而存在。
Lua是有垃圾回收的。如果速度仅仅是和Lua相当,手动管理的性能优势就没有体现出来。而且lua的gc还是效率并不那么好的那种,也在改进中。
Forcal目前采用了和Lua相同的垃圾收集技术:标记清除法,此法的缺点就是垃圾收集时耗时较多。
Python的计数法虽然高效,但无法解决循环引用的垃圾问题,还不得不借用GC&module进行收集。
java、C#的垃圾收集算法比较完备,但比较复杂,小脚本中实现的似乎不多。
Lua是有垃圾回收的。如果速度仅仅是和Lua相当,手动管理的性能优势就没有体现出来。而且lua的gc还是效率并不那么好的那种,也在改进中。
测试的代码片段应该没有动态对象和垃圾回收,参考如下网页中的测试例子:
http://www.forcal.net/sysm/forcal8/fchtm/forcalspeed.htm
http://www.forcal.net/sysm/forcal9/fchtm/example.htm
其中与matlab的比较比较旧了,matlab近几年采用JIT后,效率大幅提示,最近的比较可参考我的blog。

我要回帖

更多关于 python 内存优化 的文章

 

随机推荐