WebCore:
[WebKit-https.git] / WebCore / editing / markup.cpp
1 /*
2  * Copyright (C) 2004, 2005, 2006, 2007 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #include "config.h"
27 #include "markup.h"
28
29 #include "CDATASection.h"
30 #include "CSSComputedStyleDeclaration.h"
31 #include "CSSPropertyNames.h"
32 #include "CSSRule.h"
33 #include "CSSRuleList.h"
34 #include "CSSStyleRule.h"
35 #include "CSSStyleSelector.h"
36 #include "CSSValueKeywords.h"
37 #include "Comment.h"
38 #include "DeleteButtonController.h"
39 #include "DeprecatedStringList.h"
40 #include "Document.h"
41 #include "DocumentFragment.h"
42 #include "DocumentType.h"
43 #include "Editor.h"
44 #include "Frame.h"
45 #include "HTMLElement.h"
46 #include "HTMLNames.h"
47 #include "InlineTextBox.h"
48 #include "KURL.h"
49 #include "Logging.h"
50 #include "ProcessingInstruction.h"
51 #include "QualifiedName.h"
52 #include "Range.h"
53 #include "Selection.h"
54 #include "TextIterator.h"
55 #include "htmlediting.h"
56 #include "visible_units.h"
57
58 using namespace std;
59
60 namespace WebCore {
61
62 using namespace HTMLNames;
63
64 static inline bool shouldSelfClose(const Node *node);
65
66 class AttributeChange {
67 public:
68     AttributeChange()
69         : m_name(nullAtom, nullAtom, nullAtom)
70     {
71     }
72
73     AttributeChange(PassRefPtr<Element> element, const QualifiedName& name, const String& value)
74         : m_element(element), m_name(name), m_value(value)
75     {
76     }
77
78     void apply()
79     {
80         m_element->setAttribute(m_name, m_value);
81     }
82
83 private:
84     RefPtr<Element> m_element;
85     QualifiedName m_name;
86     String m_value;
87 };
88
89 static DeprecatedString escapeTextForMarkup(const String& in, bool isAttributeValue)
90 {
91     DeprecatedString s = "";
92
93     unsigned len = in.length();
94     for (unsigned i = 0; i < len; ++i) {
95         switch (in[i]) {
96             case '&':
97                 s += "&amp;";
98                 break;
99             case '<':
100                 s += "&lt;";
101                 break;
102             case '>':
103                 s += "&gt;";
104                 break;
105             case '"':
106                 if (isAttributeValue) {
107                     s += "&quot;";
108                     break;
109                 }
110                 // fall through
111             default:
112                 s += DeprecatedChar(in[i]);
113         }
114     }
115
116     return s;
117 }
118     
119 static String urlAttributeToQuotedString(String urlString)
120 {
121     UChar quoteChar = '"';
122     if (urlString.stripWhiteSpace().startsWith("javascript:", false)) {
123         // minimal escaping for javascript urls
124         if (urlString.contains('"')) {
125             if (urlString.contains('\''))
126                 urlString.replace('"', "&quot;");
127             else
128                 quoteChar = '\'';
129         }
130     } else
131         // FIXME this does not fully match other browsers. Firefox escapes spaces and other special characters.
132         urlString = escapeTextForMarkup(urlString.deprecatedString(), true);
133
134     String res;
135     res.append(quoteChar);
136     res.append(urlString);
137     res.append(quoteChar);
138     return res;
139 }
140
141 static String stringValueForRange(const Node *node, const Range *range)
142 {
143     String str = node->nodeValue().copy();
144     if (range) {
145         ExceptionCode ec;
146         if (node == range->endContainer(ec))
147             str.truncate(range->endOffset(ec));
148         if (node == range->startContainer(ec))
149             str.remove(0, range->startOffset(ec));
150     }
151     return str;
152 }
153
154 static String renderedText(const Node* node, const Range* range)
155 {
156     if (!node->isTextNode())
157         return String();
158
159     ExceptionCode ec;
160     const Text* textNode = static_cast<const Text*>(node);
161     unsigned startOffset = 0;
162     unsigned endOffset = textNode->length();
163
164     if (range && node == range->startContainer(ec))
165         startOffset = range->startOffset(ec);
166     if (range && node == range->endContainer(ec))
167         endOffset = range->endOffset(ec);
168     
169     Position start(const_cast<Node*>(node), startOffset);
170     Position end(const_cast<Node*>(node), endOffset);
171     Range r(node->document(), start, end);
172     return plainText(&r);
173 }
174
175 static PassRefPtr<CSSMutableStyleDeclaration> styleFromMatchedRulesForElement(Element* element, bool authorOnly = true)
176 {
177     RefPtr<CSSMutableStyleDeclaration> style = new CSSMutableStyleDeclaration();
178     RefPtr<CSSRuleList> matchedRules = element->document()->styleSelector()->styleRulesForElement(element, authorOnly);
179     if (matchedRules) {
180         for (unsigned i = 0; i < matchedRules->length(); i++) {
181             if (matchedRules->item(i)->type() == CSSRule::STYLE_RULE) {
182                 RefPtr<CSSMutableStyleDeclaration> s = static_cast<CSSStyleRule*>(matchedRules->item(i))->style();
183                 style->merge(s.get(), true);
184             }
185         }
186     }
187     
188     return style.release();
189 }
190
191 static void removeEnclosingMailBlockquoteStyle(CSSMutableStyleDeclaration* style, Node* node)
192 {
193     Node* blockquote = nearestMailBlockquote(node);
194     if (!blockquote || !blockquote->parentNode())
195         return;
196             
197     RefPtr<CSSMutableStyleDeclaration> parentStyle = Position(blockquote->parentNode(), 0).computedStyle()->copyInheritableProperties();
198     RefPtr<CSSMutableStyleDeclaration> blockquoteStyle = Position(blockquote, 0).computedStyle()->copyInheritableProperties();
199     parentStyle->diff(blockquoteStyle.get());
200     blockquoteStyle->diff(style);
201 }
202
203 static bool shouldAddNamespaceElem(const Element* elem)
204 {
205     // Don't add namespace attribute if it is already defined for this elem.
206     const AtomicString& prefix = elem->prefix();
207     AtomicString attr = !prefix.isEmpty() ? "xmlns:" + prefix : "xmlns";
208     return !elem->hasAttribute(attr);
209 }
210
211 static bool shouldAddNamespaceAttr(const Attribute* attr, HashMap<AtomicStringImpl*, AtomicStringImpl*>& namespaces)
212 {
213     // Don't add namespace attributes twice
214     static const AtomicString xmlnsURI = "http://www.w3.org/2000/xmlns/";
215     static const QualifiedName xmlnsAttr(nullAtom, "xmlns", xmlnsURI);
216     if (attr->name() == xmlnsAttr) {
217         namespaces.set(emptyAtom.impl(), attr->value().impl());
218         return false;
219     }
220     
221     QualifiedName xmlnsPrefixAttr("xmlns", attr->localName(), xmlnsURI);
222     if (attr->name() == xmlnsPrefixAttr) {
223         namespaces.set(attr->localName().impl(), attr->value().impl());
224         return false;
225     }
226     
227     return true;
228 }
229
230 static String addNamespace(const AtomicString& prefix, const AtomicString& ns, HashMap<AtomicStringImpl*, AtomicStringImpl*>& namespaces)
231 {
232     if (ns.isEmpty())
233         return "";
234     
235     // Use emptyAtoms's impl() for both null and empty strings since the HashMap can't handle 0 as a key
236     AtomicStringImpl* pre = prefix.isEmpty() ? emptyAtom.impl() : prefix.impl();
237     AtomicStringImpl* foundNS = namespaces.get(pre);
238     if (foundNS != ns.impl()) {
239         namespaces.set(pre, ns.impl());
240         return " xmlns" + (!prefix.isEmpty() ? ":" + prefix : "") + "=\"" + escapeTextForMarkup(ns, true) + "\"";
241     }
242     
243     return "";
244 }
245
246 static DeprecatedString startMarkup(const Node *node, const Range *range, EAnnotateForInterchange annotate, bool convertBlocksToInlines = false, HashMap<AtomicStringImpl*, AtomicStringImpl*>* namespaces = 0)
247 {
248     bool documentIsHTML = node->document()->isHTMLDocument();
249     switch (node->nodeType()) {
250         case Node::TEXT_NODE: {
251             if (Node* parent = node->parentNode()) {
252                 if (parent->hasTagName(listingTag)
253                         || parent->hasTagName(scriptTag)
254                         || parent->hasTagName(styleTag)
255                         || parent->hasTagName(textareaTag)
256                         || parent->hasTagName(xmpTag))
257                     return stringValueForRange(node, range).deprecatedString();
258             }
259             bool useRenderedText = annotate && !enclosingNodeWithTag(const_cast<Node*>(node), selectTag);
260             DeprecatedString markup = escapeTextForMarkup(useRenderedText ? renderedText(node, range) : stringValueForRange(node, range), false);
261             return annotate ? convertHTMLTextToInterchangeFormat(markup, static_cast<const Text*>(node)) : markup;
262         }
263         case Node::COMMENT_NODE:
264             return static_cast<const Comment*>(node)->toString().deprecatedString();
265         case Node::DOCUMENT_NODE: {
266             // Documents do not normally contain a docType as a child node, force it to print here instead.
267             const DocumentType* docType = static_cast<const Document*>(node)->doctype();
268             if (docType)
269                 return docType->toString().deprecatedString();
270             return "";
271         }
272         case Node::DOCUMENT_FRAGMENT_NODE:
273             return "";
274         case Node::DOCUMENT_TYPE_NODE:
275             return static_cast<const DocumentType*>(node)->toString().deprecatedString();
276         case Node::PROCESSING_INSTRUCTION_NODE:
277             return static_cast<const ProcessingInstruction*>(node)->toString().deprecatedString();
278         case Node::ELEMENT_NODE: {
279             DeprecatedString markup = DeprecatedChar('<');
280             const Element* el = static_cast<const Element*>(node);
281             convertBlocksToInlines &= isBlock(const_cast<Node*>(node));
282             markup += el->nodeNamePreservingCase().deprecatedString();
283             NamedAttrMap *attrs = el->attributes();
284             unsigned length = attrs->length();
285             if (!documentIsHTML && namespaces && shouldAddNamespaceElem(el))
286                 markup += addNamespace(el->prefix(), el->namespaceURI(), *namespaces).deprecatedString();
287
288             for (unsigned int i = 0; i < length; i++) {
289                 Attribute *attr = attrs->attributeItem(i);
290                 // We'll handle the style attribute separately, below.
291                 if (attr->name() == styleAttr && el->isHTMLElement() && (annotate || convertBlocksToInlines))
292                     continue;
293                 if (documentIsHTML)
294                     markup += " " + attr->name().localName().deprecatedString();
295                 else
296                     markup += " " + attr->name().toString().deprecatedString();
297                 if (el->isURLAttribute(attr))
298                     markup += "=" + urlAttributeToQuotedString(attr->value()).deprecatedString();
299                 else
300                     markup += "=\"" + escapeTextForMarkup(attr->value(), true) + "\"";
301                 if (!documentIsHTML && namespaces && shouldAddNamespaceAttr(attr, *namespaces))
302                     markup += addNamespace(attr->prefix(), attr->namespaceURI(), *namespaces).deprecatedString();
303             }
304             
305             if (el->isHTMLElement() && (annotate || convertBlocksToInlines)) {
306                 Element* element = const_cast<Element*>(el);
307                 RefPtr<CSSMutableStyleDeclaration> style = static_cast<HTMLElement*>(element)->getInlineStyleDecl()->copy();
308                 if (annotate) {
309                     RefPtr<CSSMutableStyleDeclaration> styleFromMatchedRules = styleFromMatchedRulesForElement(const_cast<Element*>(el));
310                     style->merge(styleFromMatchedRules.get());
311                 }
312                 if (convertBlocksToInlines)
313                     style->setProperty(CSS_PROP_DISPLAY, CSS_VAL_INLINE, true);
314                 if (style->length() > 0)
315                     markup += " style=\"" + escapeTextForMarkup(style->cssText(), true) + "\"";
316             }
317             
318             if (shouldSelfClose(el)) {
319                 if (el->isHTMLElement())
320                     markup += " "; // XHTML 1.0 <-> HTML compatibility.
321                 markup += "/>";
322             } else
323                 markup += ">";
324             
325             return markup;
326         }
327         case Node::CDATA_SECTION_NODE:
328             return static_cast<const CDATASection*>(node)->toString().deprecatedString();
329         case Node::ATTRIBUTE_NODE:
330         case Node::ENTITY_NODE:
331         case Node::ENTITY_REFERENCE_NODE:
332         case Node::NOTATION_NODE:
333         case Node::XPATH_NAMESPACE_NODE:
334             break;
335     }
336     return "";
337 }
338
339 static inline bool doesHTMLForbidEndTag(const Node *node)
340 {
341     if (node->isHTMLElement()) {
342         const HTMLElement* htmlElt = static_cast<const HTMLElement*>(node);
343         return (htmlElt->endTagRequirement() == TagStatusForbidden);
344     }
345     return false;
346 }
347
348 // Rules of self-closure
349 // 1. No elements in HTML documents use the self-closing syntax.
350 // 2. Elements w/ children never self-close because they use a separate end tag.
351 // 3. HTML elements which do not have a "forbidden" end tag will close with a separate end tag.
352 // 4. Other elements self-close.
353 static inline bool shouldSelfClose(const Node *node)
354 {
355     if (node->document()->isHTMLDocument())
356         return false;
357     if (node->hasChildNodes())
358         return false;
359     if (node->isHTMLElement() && !doesHTMLForbidEndTag(node))
360         return false;
361     return true;
362 }
363
364 static DeprecatedString endMarkup(const Node *node)
365 {
366     if (node->isElementNode() && !shouldSelfClose(node) && (node->hasChildNodes() || !doesHTMLForbidEndTag(node)))
367         return "</" + static_cast<const Element*>(node)->nodeNamePreservingCase().deprecatedString() + ">";
368     return "";
369 }
370
371 static DeprecatedString markup(Node* startNode, bool onlyIncludeChildren, Vector<Node*>* nodes, const HashMap<AtomicStringImpl*, AtomicStringImpl*>* namespaces = 0)
372 {
373     HashMap<AtomicStringImpl*, AtomicStringImpl*> namespaceHash;
374     if (namespaces)
375         namespaceHash = *namespaces;
376     
377     DeprecatedString me = "";
378     if (!onlyIncludeChildren) {
379         if (nodes)
380             nodes->append(startNode);
381         me += startMarkup(startNode, 0, DoNotAnnotateForInterchange, false, &namespaceHash);
382     }
383     // print children
384     if (!(startNode->document()->isHTMLDocument() && doesHTMLForbidEndTag(startNode)))
385         for (Node* current = startNode->firstChild(); current; current = current->nextSibling())
386             me += markup(current, false, nodes, &namespaceHash);
387     
388     // Print my ending tag
389     if (!onlyIncludeChildren)
390         me += endMarkup(startNode);
391     
392     return me;
393 }
394
395 static void completeURLs(Node* node, const String& baseURL)
396 {
397     Vector<AttributeChange> changes;
398
399     KURL baseURLAsKURL(baseURL.deprecatedString());
400
401     Node* end = node->traverseNextSibling();
402     for (Node* n = node; n != end; n = n->traverseNextNode()) {
403         if (n->isElementNode()) {
404             Element* e = static_cast<Element*>(n);
405             NamedAttrMap* attrs = e->attributes();
406             unsigned length = attrs->length();
407             for (unsigned i = 0; i < length; i++) {
408                 Attribute* attr = attrs->attributeItem(i);
409                 if (e->isURLAttribute(attr)) {
410                     String completedURL = KURL(baseURLAsKURL, attr->value().deprecatedString()).url();
411                     changes.append(AttributeChange(e, attr->name(), completedURL));
412                 }
413             }
414         }
415     }
416
417     size_t numChanges = changes.size();
418     for (size_t i = 0; i < numChanges; ++i)
419         changes[i].apply();
420 }
421
422 static bool needInterchangeNewlineAfter(const VisiblePosition& v)
423 {
424     VisiblePosition next = v.next();
425     return isEndOfParagraph(v) && isStartOfParagraph(next) && !next.deepEquivalent().upstream().node()->hasTagName(brTag);
426 }
427
428 static PassRefPtr<CSSMutableStyleDeclaration> styleFromMatchedRulesAndInlineDecl(Node* node)
429 {
430     if (!node->isHTMLElement())
431         return 0;
432     
433     HTMLElement* element = static_cast<HTMLElement*>(node);
434     RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesForElement(element);
435     RefPtr<CSSMutableStyleDeclaration> inlineStyleDecl = element->getInlineStyleDecl();
436     style->merge(inlineStyleDecl.get());
437     return style.release();
438 }
439
440 static bool propertyMissingOrEqualToNone(CSSMutableStyleDeclaration* style, int propertyID)
441 {
442     if (!style)
443         return false;
444     RefPtr<CSSValue> value = style->getPropertyCSSValue(propertyID);
445     if (!value)
446         return true;
447     if (!value->isPrimitiveValue())
448         return false;
449     return static_cast<CSSPrimitiveValue*>(value.get())->getIdent() == CSS_VAL_NONE;
450 }
451
452 static bool elementHasTextDecorationProperty(Node* node)
453 {
454     RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesAndInlineDecl(node);
455     if (!style)
456         return false;
457     return !propertyMissingOrEqualToNone(style.get(), CSS_PROP_TEXT_DECORATION);
458 }
459
460 static PassRefPtr<Range> moveEndpointsBeforeNode(const Range* range, Node* node)
461 {
462     if (!range || range->isDetached())
463         return 0;
464
465     Document* document = range->ownerDocument();
466
467     ExceptionCode ec = 0;
468     Node* startContainer = range->startContainer(ec);
469     ASSERT(ec == 0);
470     int startOffset = range->startOffset(ec);
471     ASSERT(ec == 0);
472     Node* endContainer = range->endContainer(ec);
473     ASSERT(ec == 0);
474     int endOffset = range->endOffset(ec);
475     ASSERT(ec == 0);
476
477     ASSERT(startContainer);
478     ASSERT(endContainer);
479
480     if (startContainer == node || startContainer->isDescendantOf(node)) {
481         startContainer = node->parent();
482         startOffset = node->nodeIndex();
483     }
484     if (endContainer == node || endContainer->isDescendantOf(node)) {
485         endContainer = node->parent();
486         endOffset = node->nodeIndex();
487     }
488
489     return new Range(document, startContainer, startOffset, endContainer, endOffset);
490 }
491
492 // FIXME: Shouldn't we omit style info when annotate == DoNotAnnotateForInterchange? 
493 // FIXME: At least, annotation and style info should probably not be included in range.markupString()
494 DeprecatedString createMarkup(const Range* range, Vector<Node*>* nodes, EAnnotateForInterchange annotate, bool convertBlocksToInlines)
495 {
496     static const DeprecatedString interchangeNewlineString = DeprecatedString("<br class=\"") + AppleInterchangeNewline + "\">";
497
498     if (!range || range->isDetached())
499         return "";
500
501     Document* document = range->ownerDocument();
502     if (!document)
503         return "";
504
505     // Disable the delete button so it's elements are not serialized into the markup,
506     // but make sure neither endpoint is inside the delete user interface.
507     Frame* frame = document->frame();
508     DeleteButtonController* deleteButton = frame ? frame->editor()->deleteButtonController() : 0;
509     RefPtr<Range> updatedRange = moveEndpointsBeforeNode(range, deleteButton ? deleteButton->containerElement() : 0);
510     if (deleteButton)
511         deleteButton->disable();
512
513     ExceptionCode ec = 0;
514     bool collapsed = updatedRange->collapsed(ec);
515     ASSERT(ec == 0);
516     if (collapsed)
517         return "";
518     Node* commonAncestor = updatedRange->commonAncestorContainer(ec);
519     ASSERT(ec == 0);
520     if (!commonAncestor)
521         return "";
522
523     document->updateLayoutIgnorePendingStylesheets();
524
525     DeprecatedStringList markups;
526     Node* pastEnd = updatedRange->pastEndNode();
527     Node* lastClosed = 0;
528     Vector<Node*> ancestorsToClose;
529     
530     Node* startNode = updatedRange->startNode();
531     VisiblePosition visibleStart(updatedRange->startPosition(), VP_DEFAULT_AFFINITY);
532     VisiblePosition visibleEnd(updatedRange->endPosition(), VP_DEFAULT_AFFINITY);
533     if (annotate && needInterchangeNewlineAfter(visibleStart)) {
534         if (visibleStart == visibleEnd.previous()) {
535             if (deleteButton)
536                 deleteButton->enable();
537             return interchangeNewlineString;
538         }
539
540         markups.append(interchangeNewlineString);
541         startNode = visibleStart.next().deepEquivalent().node();
542     }
543
544     Node* next;
545     for (Node* n = startNode; n != pastEnd; n = next) {
546         next = n->traverseNextNode();
547         bool skipDescendants = false;
548         bool addMarkupForNode = true;
549         
550         if (!n->renderer() && !enclosingNodeWithTag(n, selectTag)) {
551             skipDescendants = true;
552             addMarkupForNode = false;
553             next = n->traverseNextSibling();
554             // Don't skip over pastEnd.
555             if (pastEnd && pastEnd->isDescendantOf(n))
556                 next = pastEnd;
557         }
558
559         if (isBlock(n) && canHaveChildrenForEditing(n) && next == pastEnd)
560             // Don't write out empty block containers that aren't fully selected.
561             continue;
562         
563         // Add the node to the markup.
564         if (addMarkupForNode) {
565             markups.append(startMarkup(n, updatedRange.get(), annotate));
566             if (nodes)
567                 nodes->append(n);
568         }
569         
570         if (n->firstChild() == 0 || skipDescendants) {
571             // Node has no children, or we are skipping it's descendants, add its close tag now.
572             if (addMarkupForNode) {
573                 markups.append(endMarkup(n));
574                 lastClosed = n;
575             }
576             
577             // Check if the node is the last leaf of a tree.
578             if (!n->nextSibling() || next == pastEnd) {
579                 if (!ancestorsToClose.isEmpty()) {
580                     // Close up the ancestors.
581                     do {
582                         Node *ancestor = ancestorsToClose.last();
583                         if (next != pastEnd && next->isDescendantOf(ancestor))
584                             break;
585                         // Not at the end of the range, close ancestors up to sibling of next node.
586                         markups.append(endMarkup(ancestor));
587                         lastClosed = ancestor;
588                         ancestorsToClose.removeLast();
589                     } while (!ancestorsToClose.isEmpty());
590                 }
591                 
592                 // Surround the currently accumulated markup with markup for ancestors we never opened as we leave the subtree(s) rooted at those ancestors.
593                 Node* nextParent = next ? next->parentNode() : 0;
594                 if (next != pastEnd && n != nextParent) {
595                     Node* lastAncestorClosedOrSelf = n->isDescendantOf(lastClosed) ? lastClosed : n;
596                     for (Node *parent = lastAncestorClosedOrSelf->parent(); parent != 0 && parent != nextParent; parent = parent->parentNode()) {
597                         // All ancestors that aren't in the ancestorsToClose list should either be a) unrendered:
598                         if (!parent->renderer())
599                             continue;
600                         // or b) ancestors that we never encountered during a pre-order traversal starting at startNode:
601                         ASSERT(startNode->isDescendantOf(parent));
602                         markups.prepend(startMarkup(parent, updatedRange.get(), annotate));
603                         markups.append(endMarkup(parent));
604                         if (nodes)
605                             nodes->append(parent);
606                         lastClosed = parent;
607                     }
608                 }
609             }
610         } else if (addMarkupForNode && !skipDescendants)
611             // We added markup for this node, and we're descending into it.  Set it to close eventually.
612             ancestorsToClose.append(n);
613     }
614     
615     // Include ancestors that aren't completely inside the range but are required to retain 
616     // the structure and appearance of the copied markup.
617     Node* specialCommonAncestor = 0;
618     Node* commonAncestorBlock = commonAncestor ? enclosingBlock(commonAncestor) : 0;
619     if (annotate && commonAncestorBlock) {
620         if (commonAncestorBlock->hasTagName(tbodyTag)) {
621             Node* table = commonAncestorBlock->parentNode();
622             while (table && !table->hasTagName(tableTag))
623                 table = table->parentNode();
624             if (table)
625                 specialCommonAncestor = table;
626         } else if (commonAncestorBlock->hasTagName(listingTag)
627                     || commonAncestorBlock->hasTagName(olTag)
628                     || commonAncestorBlock->hasTagName(preTag)
629                     || commonAncestorBlock->hasTagName(tableTag)
630                     || commonAncestorBlock->hasTagName(ulTag)
631                     || commonAncestorBlock->hasTagName(xmpTag))
632             specialCommonAncestor = commonAncestorBlock;
633     }
634     
635     Node* checkAncestor = specialCommonAncestor ? specialCommonAncestor : commonAncestor;
636     if (checkAncestor->renderer()) {
637         RefPtr<CSSMutableStyleDeclaration> checkAncestorStyle = computedStyle(checkAncestor)->copyInheritableProperties();
638         if (!propertyMissingOrEqualToNone(checkAncestorStyle.get(), CSS_PROP__WEBKIT_TEXT_DECORATIONS_IN_EFFECT))
639             specialCommonAncestor = elementHasTextDecorationProperty(checkAncestor) ? checkAncestor : enclosingNodeOfType(checkAncestor, &elementHasTextDecorationProperty);
640     }
641     
642     if (Node *enclosingAnchor = enclosingNodeWithTag(specialCommonAncestor ? specialCommonAncestor : commonAncestor, aTag))
643         specialCommonAncestor = enclosingAnchor;
644     
645     Node* body = enclosingNodeWithTag(commonAncestor, bodyTag);
646     // FIXME: Only include markup for a fully selected root (and ancestors of lastClosed up to that root) if
647     // there are styles/attributes on those nodes that need to be included to preserve the appearance of the copied markup.
648     // FIXME: Do this for all fully selected blocks, not just the body.
649     Node* fullySelectedRoot = body && *Selection::selectionFromContentsOfNode(body).toRange() == *updatedRange ? body : 0;
650     if (annotate && fullySelectedRoot)
651         specialCommonAncestor = fullySelectedRoot;
652         
653     if (specialCommonAncestor) {
654         // Also include all of the ancestors of lastClosed up to this special ancestor.
655         for (Node* ancestor = lastClosed->parentNode(); ancestor; ancestor = ancestor->parentNode()) {
656             if (ancestor == fullySelectedRoot && !convertBlocksToInlines) {
657                 RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesAndInlineDecl(fullySelectedRoot);
658                 
659                 // Bring the background attribute over, but not as an attribute because a background attribute on a div
660                 // appears to have no effect.
661                 if (!style->getPropertyCSSValue(CSS_PROP_BACKGROUND_IMAGE) && static_cast<Element*>(fullySelectedRoot)->hasAttribute(backgroundAttr))
662                     style->setProperty(CSS_PROP_BACKGROUND_IMAGE, "url('" + static_cast<Element*>(fullySelectedRoot)->getAttribute(backgroundAttr) + "')");
663                 
664                 if (style->length()) {
665                     markups.prepend("<div style=\"" + escapeTextForMarkup(style->cssText(), true) + "\">");
666                     markups.append("</div>");
667                 }
668             } else {
669                 markups.prepend(startMarkup(ancestor, updatedRange.get(), annotate, convertBlocksToInlines));
670                 markups.append(endMarkup(ancestor));
671             }
672             if (nodes)
673                 nodes->append(ancestor);
674             
675             lastClosed = ancestor;
676             
677             if (ancestor == specialCommonAncestor)
678                 break;
679         }
680     }
681     
682     // Add a wrapper span with the styles that all of the nodes in the markup inherit.
683     Node* parentOfLastClosed = lastClosed ? lastClosed->parentNode() : 0;
684     if (parentOfLastClosed && parentOfLastClosed->renderer()) {
685         RefPtr<CSSMutableStyleDeclaration> style = computedStyle(parentOfLastClosed)->copyInheritableProperties();
686         // Styles that Mail blockquotes contribute should only be placed on the Mail blockquote, to help
687         // us differentiate those styles from ones that the user has applied.  This helps us
688         // get the color of content pasted into blockquotes right.
689         removeEnclosingMailBlockquoteStyle(style.get(), parentOfLastClosed);
690         
691         if (style->length() > 0) {
692             DeprecatedString openTag = DeprecatedString("<span class=\"") + AppleStyleSpanClass + "\" style=\"" + escapeTextForMarkup(style->cssText(), true) + "\">";
693             markups.prepend(openTag);
694             markups.append("</span>");
695         }
696     }
697
698     if (annotate && needInterchangeNewlineAfter(visibleEnd.previous()))
699         markups.append(interchangeNewlineString);
700
701     bool selectedOneOrMoreParagraphs = startOfParagraph(visibleStart) != startOfParagraph(visibleEnd) ||
702                                        isStartOfParagraph(visibleStart) && isEndOfParagraph(visibleEnd);
703                                       
704     // Retain the Mail quote level by including all ancestor mail block quotes.
705     if (lastClosed && annotate && selectedOneOrMoreParagraphs) {
706         for (Node *ancestor = lastClosed->parentNode(); ancestor; ancestor = ancestor->parentNode()) {
707             if (isMailBlockquote(ancestor)) {
708                 markups.prepend(startMarkup(ancestor, updatedRange.get(), annotate));
709                 markups.append(endMarkup(ancestor));
710             }
711         }
712     }
713
714     if (deleteButton)
715         deleteButton->enable();
716
717     return markups.join("");
718 }
719
720 PassRefPtr<DocumentFragment> createFragmentFromMarkup(Document* document, const String& markup, const String& baseURL)
721 {
722     ASSERT(document->documentElement()->isHTMLElement());
723     // FIXME: What if the document element is not an HTML element?
724     HTMLElement *element = static_cast<HTMLElement*>(document->documentElement());
725
726     RefPtr<DocumentFragment> fragment = element->createContextualFragment(markup);
727
728     if (fragment && !baseURL.isEmpty() && baseURL != document->baseURL())
729         completeURLs(fragment.get(), baseURL);
730
731     return fragment.release();
732 }
733
734 DeprecatedString createMarkup(const Node* node, EChildrenOnly includeChildren,
735     Vector<Node*>* nodes, EAnnotateForInterchange annotate)
736 {
737     ASSERT(annotate == DoNotAnnotateForInterchange); // annotation not yet implemented for this code path
738
739     if (!node)
740         return "";
741
742     Document* document = node->document();
743     Frame* frame = document->frame();
744     DeleteButtonController* deleteButton = frame ? frame->editor()->deleteButtonController() : 0;
745
746     // disable the delete button so it's elements are not serialized into the markup
747     if (deleteButton) {
748         if (node->isDescendantOf(deleteButton->containerElement()))
749             return "";
750         deleteButton->disable();
751     }
752
753     document->updateLayoutIgnorePendingStylesheets();
754     DeprecatedString result(markup(const_cast<Node*>(node), includeChildren, nodes));
755
756     if (deleteButton)
757         deleteButton->enable();
758
759     return result;
760 }
761
762 static void fillContainerFromString(ContainerNode* paragraph, const DeprecatedString& string)
763 {
764     Document* document = paragraph->document();
765
766     ExceptionCode ec = 0;
767     if (string.isEmpty()) {
768         paragraph->appendChild(createBlockPlaceholderElement(document), ec);
769         ASSERT(ec == 0);
770         return;
771     }
772
773     ASSERT(string.find('\n') == -1);
774
775     DeprecatedStringList tabList = DeprecatedStringList::split('\t', string, true);
776     DeprecatedString tabText = "";
777     bool first = true;
778     while (!tabList.isEmpty()) {
779         DeprecatedString s = tabList.first();
780         tabList.pop_front();
781
782         // append the non-tab textual part
783         if (!s.isEmpty()) {
784             if (!tabText.isEmpty()) {
785                 paragraph->appendChild(createTabSpanElement(document, tabText), ec);
786                 ASSERT(ec == 0);
787                 tabText = "";
788             }
789             RefPtr<Node> textNode = document->createTextNode(stringWithRebalancedWhitespace(s, first, tabList.isEmpty()));
790             paragraph->appendChild(textNode.release(), ec);
791             ASSERT(ec == 0);
792         }
793
794         // there is a tab after every entry, except the last entry
795         // (if the last character is a tab, the list gets an extra empty entry)
796         if (!tabList.isEmpty())
797             tabText += '\t';
798         else if (!tabText.isEmpty()) {
799             paragraph->appendChild(createTabSpanElement(document, tabText), ec);
800             ASSERT(ec == 0);
801         }
802         
803         first = false;
804     }
805 }
806
807 PassRefPtr<DocumentFragment> createFragmentFromText(Range* context, const String& text)
808 {
809     if (!context)
810         return 0;
811
812     Node* styleNode = context->startNode();
813     if (!styleNode) {
814         styleNode = context->startPosition().node();
815         if (!styleNode)
816             return 0;
817     }
818
819     Document* document = styleNode->document();
820     RefPtr<DocumentFragment> fragment = document->createDocumentFragment();
821     
822     if (text.isEmpty())
823         return fragment.release();
824
825     DeprecatedString string = text.deprecatedString();
826     string.replace("\r\n", "\n");
827     string.replace('\r', '\n');
828
829     ExceptionCode ec = 0;
830     RenderObject* renderer = styleNode->renderer();
831     if (renderer && renderer->style()->preserveNewline()) {
832         fragment->appendChild(document->createTextNode(string), ec);
833         ASSERT(ec == 0);
834         if (string.endsWith("\n")) {
835             RefPtr<Element> element;
836             element = document->createElementNS(xhtmlNamespaceURI, "br", ec);
837             ASSERT(ec == 0);
838             element->setAttribute(classAttr, AppleInterchangeNewline);            
839             fragment->appendChild(element.release(), ec);
840             ASSERT(ec == 0);
841         }
842         return fragment.release();
843     }
844
845     // A string with no newlines gets added inline, rather than being put into a paragraph.
846     if (string.find('\n') == -1) {
847         fillContainerFromString(fragment.get(), string);
848         return fragment.release();
849     }
850
851     // Break string into paragraphs. Extra line breaks turn into empty paragraphs.
852     DeprecatedStringList list = DeprecatedStringList::split('\n', string, true); // true gets us empty strings in the list
853     while (!list.isEmpty()) {
854         DeprecatedString s = list.first();
855         list.pop_front();
856
857         RefPtr<Element> element;
858         if (s.isEmpty() && list.isEmpty()) {
859             // For last line, use the "magic BR" rather than a P.
860             element = document->createElementNS(xhtmlNamespaceURI, "br", ec);
861             ASSERT(ec == 0);
862             element->setAttribute(classAttr, AppleInterchangeNewline);            
863         } else {
864             element = createDefaultParagraphElement(document);
865             fillContainerFromString(element.get(), s);
866         }
867         fragment->appendChild(element.release(), ec);
868         ASSERT(ec == 0);
869     }
870     return fragment.release();
871 }
872
873 PassRefPtr<DocumentFragment> createFragmentFromNodes(Document *document, const Vector<Node*>& nodes)
874 {
875     if (!document)
876         return 0;
877
878     // disable the delete button so it's elements are not serialized into the markup
879     if (document->frame())
880         document->frame()->editor()->deleteButtonController()->disable();
881
882     RefPtr<DocumentFragment> fragment = document->createDocumentFragment();
883
884     ExceptionCode ec = 0;
885     size_t size = nodes.size();
886     for (size_t i = 0; i < size; ++i) {
887         RefPtr<Element> element = createDefaultParagraphElement(document);
888         element->appendChild(nodes[i], ec);
889         ASSERT(ec == 0);
890         fragment->appendChild(element.release(), ec);
891         ASSERT(ec == 0);
892     }
893
894     if (document->frame())
895         document->frame()->editor()->deleteButtonController()->enable();
896
897     return fragment.release();
898 }
899
900 }